兩歲隨家移居濟南。其父李澤培，清末秀才，母親畢業於省立女子師範，愛好藝術。李長之幼年隨父在濟南上學，先後在濟南第一師範附屬小學、山東省立第一中學、山東聊城師範就讀。李長之幼年即接受新式教育，1919年初入省立第一師範附屬小學讀書。學用白話文寫詩歌和散文。“五四”愛國運動後，參加“救國十人團”，到藥店檢查日貨。從12歲起所寫新詩、散文、分別發表在《兒童世界》《少年》和《小朋友》等雜誌上。
1929年高中畢業後，考入北京大學預科甲部。在北大學習期間，爲北京《益世報》編輯副刊“前夜”。並在《自由評論》上發表過《我所認識的中山先生者》的文章，頌揚孫中山先生的爲人及其民主革命精神。
1931年秋，他考入清華大學生物系，後轉哲學系。師從著名哲學家張東蓀、金嶽霖和馮友蘭。“九、一八”事變後，他參加清華大學南下請願團去南京要求蔣介石抗日。1933年至1936年，任《文學季刊》編委、《清華週刊》文藝欄主編、天津《益世報》文學副主編等。其間刊行第一部詩集《夜宴》，發表了文學評論專著《魯迅批判》等文章。
1936年至1948年，他先後任清華大學華僑生、蒙藏生導師、京華美術學院教授、重慶中央大學助教、中央大學中國文學系講師、副教授、北京師範大學教授等職。主編過《時與潮》、《和平日報》、《北平時報》副刊。他發表的作品有：《苦霧集》、《文學史學與文藝科學》、《司馬遷之人格與風格》等重要著述和譯著20餘部。
1949年4月，李長之加入新民主主義文化建設協會。翌年，入華北人民革命大學文學政治研究院學習。後爲中國作家協會會員，任北京市文聯文藝理論組組長等職。
1951年，他赴四川參加土地改革，任西南土改工作團副團長。至1956年，又相繼出版所著《龍伯國》、《李白》、《中國文學史略稿》一、二、三卷等作品多部。
1957年，被錯劃爲“資產階級右派”。“文化大革命”中，他被當作“資產階級反動學術權威”遭受迫害。但李長之依然盡心竭力從事教學工作和學術研究，積極參加《紅樓夢》的註釋和《新華字典》的修訂等工作。
李長之不僅在中國文壇上享有盛名，而且在國際漢學界也頗有影響。他撰著的《司馬遷之人格與風格》、《孔子的故事》、《陶淵明傳論》等先後被譯爲日文。日本河出書局出版的《中國新文學字典》、東京堂出版的《世界文藝辭典》，都收有他的條目。
李長之晚年身殘多病，仍積極從事學術研究和著述。1978年12月13日病逝於北京，終年68歲。
