其先世爲拔拔氏(拓跋氏分支)，北魏孝文帝遷都洛陽後，改鮮卑姓名爲漢姓，遂改爲長孫氏。
長孫儉年少時行爲品行端正無邪，有操守和高潔的品行，身材高大魁梧，神情嚴肅，即使在內室，也是整日保持恭敬莊重的態度，生性謹慎不胡亂與人結交，只要不是和自己有共同志向的人，即使是王公貴族登門拜訪，他也不會見。孝昌年間，從家中被啓用擔任了員外散騎侍郎的職務，跟隨爾朱天光攻佔隴西。
賀拔嶽被殺害，宇文泰親赴平涼，凡是與制定謀劃國家大事有關的事情，長孫儉都參與其間。當時西夏州還未歸屬朝廷。而東魏派遣(任命)許和爲刺史，長孫儉用誠信和大義招納他，許和於是率部歸順朝廷。朝廷就讓長孫儉擔任西夏州的刺史，統一管理三夏州的事務。
治理荊州
大統六年(540年)，荊州，襄陽剛剛歸附西魏，宇文泰表彰長孫儉的功勞，對他讚許有加，認爲應該將東南重任交付於他。授予他荊州刺史、東南道行臺僕射的官職。長孫儉部屬鄭縣縣令泉璨被老百姓所告，經過調查審問，證實泉璨確實有罪。長孫儉就召集所有的官僚部屬對他們說：“這樣的事情發生是因爲刺史教導的不夠明確，是我的過錯，並非是泉璨之錯誤。”於是就在廳堂前，肉袒謝罪，來懲罰自己，放過了泉璨，不去追問他的罪責。於是他管轄的地區整飭有法度，沒有人違法亂紀。魏文帝親下詔書慰問他。荊州蠻夷之地，那裏舊有的風俗，晚輩不尊敬長輩。長孫儉反覆地規勸開導，民風民俗大爲改觀。百姓都致力於農桑，閒暇時還兼習武功，所以邊境太平無事，百姓安居樂業。當地的官吏和百姓上表朝廷請求爲長孫儉建造清德樓，立碑刻頌功德，朝廷商議之後，答應了這個請求。在荊州任職七年。
大統九年(543年)，授車騎大將軍、儀同三司。
長孫儉曾經與衆王公大臣在太祖面前侍坐談話。等到告退的時候，宇文泰對身邊的人說：“(長孫儉)這個人舉止情趣嫺靜文雅，我每次和他說話，都嚴正恭敬，擔心有所失誤。”
大統十二年(546年)，宇文泰將他召回任大行臺尚書，兼相府司馬，並將他名字改爲儉，字慶明。
功勳卓著
大統十三年(547年)，加開府。
大統十四年(548年)，除尚書右僕射，加侍中，進驃騎大將軍。
大統十五年(549年)，長孫儉再次被任命爲東南道行臺僕射，都督十五州諸軍事，荊州刺史，十一月，與開府楊忠率兵擊敗樑柳仲禮，攻克隨郡，將柳仲禮長史馬岫包圍於安陸。
大統十六年(550年)春正月，柳仲禮率軍來援安陸，楊忠、長孫儉與之戰於漴頭，大破之，柳仲禮被擒，馬岫在安陸投降，長孫儉增加都督東南道三十六州諸軍事。
大統十八年(551年)，蕭繹在江陵繼承帝位，對外表現敦厚，於鄰國和睦，對內心懷不軌的圖謀。長孫儉暗地裏密報宇文泰，陳述攻取的謀略。於是朝廷徵召長孫儉入朝，宇文泰詳細地詢問他的計劃和打算，應答從容，宇文泰聽後，對他的看法非常認同，於是對長孫儉說：“正向你所說的，我奪取江漢太晚了。”於是命長孫儉返回荊州，祕密準備。
西魏恭帝元年(554年)，與燕國公於謹等出兵江陵，攻下江陵後，由長孫儉鎮守，因爲長孫儉是最早的出謀劃策者，於是賞賜他奴婢三百人。
恭帝二年(555年)，進爵昌寧郡公，授大將軍。
恭帝三年(556年)，移鎮荊州，授總管荊襄等五十二州諸軍事、行荊州刺史，增邑萬戶。
557年，北周建立後，二月楚國公趙貴等人圖謀誅殺權臣宇文護，長孫儉長子長孫僧衍參預其事，事情敗露後，長孫儉受連坐被判處以死刑，宇文護以其功臣，免罪授小冢宰。
去世
保定二年(562年)任浦州(治今重慶萬州)刺史，檢校六防諸軍事，四年(564年)任襄州(湖北襄陽)刺史，仍授柱國大將軍，天和元年(566年)調任陝州刺史、都督八州二十防諸軍事，解荊州總管。
長孫儉曾經進京稟奏相關事宜，當時正值天降大雪，於是立於雪地中等待回覆，從早上一直等到了晚上，始終沒有委靡不振的神情。他對於公家的事情勤奮認真，都類似這樣的情形。
天和三年(568年)，長孫儉疾病回到了京城，擔任夏州總管。冬十一月二十五日辛亥(公曆12月19日)死於京城府第，年七十八。
死後遺文上表宇文邕，請求葬於宇文泰的陵墓之側，並且將所賜的府宅歸還朝廷。宇文泰下詔都依從了他的請求，下詔追封爲鄶公，諡號文。
荊州百姓儀同趙超等七百人，被長孫儉的恩情、德行所感動，進京請求爲長孫儉建廟立碑。朝廷下詔同意了他們的請求。
建德四年(575年)，宇文邕下詔說：“昔日孫叔敖和蕭何都是忠心不二的賢臣，不爲地位錢財所動，拿古代的人和長孫儉相比,他一點都不輸於先哲。而相關部門不識大體，很快拿長孫儉的府第給了別人。現在將它賜還給他的妻子兒女。”子孫後代人丁興。
