崔林大器晚成，年輕時宗族的人都看不起他，只有堂兄崔琰很賞識他。
建安十年(205年)，曹操攻陷鄴城，初步平定冀州。徵召崔林爲鄔縣長。崔林因爲貧窮連車馬都沒有，只好步行去就任。
建安十一年(206年)，曹操親征壺關，進攻反叛的幷州刺史高幹。他到達後詢問哪位官員最有德政，幷州刺史張陟推舉崔林，於是提拔崔林爲冀州主簿，又調任別駕、丞相掾屬。
公正受貶
建安十八年(213年)，魏國建立。崔林逐漸提升爲御史中丞。
黃初元年(220年)，魏文帝曹丕稱帝后，任命崔林爲尚書，又出任幽州刺史。當時北中郎將吳質統領黃河以北的軍務，涿郡太守王雄對崔林的副官說：“吳中郎將(吳質)是皇上所寵幸的顯貴大臣。持節統領軍事，州郡官吏無不敬仰他，而崔使君(崔林)卻絲毫不與他聯繫。如果吳質以不整治邊塞的罪名殺你，崔林又怎能保護得了你呢?”副官將這番話告訴了崔林，崔林說：“我把脫離幽州刺史這個官職，看得如同脫鞋一樣，怎能牽累你呢?幽州與夷狄接壤，應該以溫和平靜的方法來治理，如果擾亂他們就會逼他們生出叛逆之心，這樣便給國家平添北方邊塞的顧慮和憂患。”崔林在任期間，北方少數民族沒有興兵叛亂。
但最終還是因爲不討好上司，被降爲河間太守。人們都爲崔林抱不平(一說是尚書令桓階認爲崔林不適合任尚書，纔將其遷任河間太守)。
改革賞制
崔林後入朝任大鴻臚。龜茲王派侍子來朝見，朝廷嘉獎他們遠道而來，褒賞給龜茲王非常豐厚的禮物。其餘的各國都各自派侍子來朝見，來往使節絡繹不絕。崔林擔心這些國家並不是真心歸順，只是想暫時取得魏國的庇護來對付北方的少數民族，所以才通過互通使節，求得魏國的封號，而朝廷派人一路上保衛護送使者，損失更多。動用人力，花費錢財來做這些無益之事，被夷狄所取笑，這是很久之前就憂慮的事情。於是寫信告訴敦煌郡，並記載前代給予諸國賞賜或豐厚、或略薄的舊事，讓此事有規定。
飽受愛戴
黃初七年(226年)，魏明帝曹睿即位後，賜崔林爵關內侯，又轉授光祿勳、司隸校尉。崔林在司隸校尉所管轄的各郡免除整肅了許多貪官污吏。崔林爲政重誠信，識大體，所以在他離職後，部屬官員常常懷念他。
散騎常侍劉劭奉命作《考課論》，魏明帝詔令將其下達給各級官吏。崔林對此議論說：“考察《周官》中關於考覈官吏成績的內容，條文已經很完備了，自周康王以後，就逐漸地衰落，這就是爲什麼考驗官吏成績的法令，因人而生效，因人而失效。到漢末，難道是因爲官吏的組織法規不健全而招致失敗的嗎?現在的軍隊，有的人鄙陋，有的人膽小如鼠，準備了法令條規，三令五申，但卻仍然增減無常，本就難於一致。而且，魚網張不開就應該去拉動魚網的總繩，衣服皮毛不整齊時就應該去提起衣領。皋陶在虞作官，伊尹在殷爲臣，不仁的人都遠遠地離去。三皇五帝未必一致，而各有政治的清明與紛亂。《易經》上說‘天下的道理都是淺顯易明的’，太祖(曹操)根據情況制定法令，到今天還在使用，也不怕別人說他不效法古人。我認爲如今的法令制度，不能說是簡略、不精密，而在於堅持如一地去執行而不要放棄。如果朝中大臣都能像仲山甫那樣承擔重任，即使有一百條法令，又有誰敢不恭敬職守?”
青龍二年(234年)，山陽公劉協去世，明帝命使持節行司徒事太常和洽前往弔祭，又命崔林以大司農持節行司空事監護喪事。
位列三公
景初元年(237年)，司徒、司空的位置都空缺，散騎侍郎孟康上疏推薦崔林道：“宰相，乃是天下人所仰望效仿的對象，確實應該尋求秉公辦事、行爲端正、品德高尚、主持正義、堪稱表率的人來擔任。我暗中觀察司隸校尉崔林，他秉性正直，胸襟博大。論其長處較之於古代賢人，忠直不阿與史魚匹敵。任州郡的長官，所在的州郡都得到治理，出任地方官時，管區內和順整齊。實在是臺輔的傑出人選，袞職的良才。”
景初二年(238年)，朝廷採納孟康的建議，在這年便任命崔林爲司空，封爵安陽亭侯，食邑六百戶。任三公被封爲列侯的慣例，從崔林開始。不久，又晉封安陽鄉侯。
魯國國相上書說：“漢朝過去立孔子廟，褒成侯(孔子後代封號)一年四季崇奉祭祀，學校行禮儀，必定祭祀先師(孔子)，由皇家提供祭品，春秋兩季舉行大祭儀式。如今宗聖侯(曹魏時孔子後代的封號)祠奉孔子的後嗣，卻沒有祭祀的禮儀。應該給予祭祀用的牲畜祭品，讓重臣敬奉祭祀，將孔子尊奉爲貴神。”魏明帝命令太尉、司空、司徒三府討論這件事情。博士傅祗認爲，按照《春秋傳》上所說享受祭祀的禮儀的要求，孔子是符合條件的。宗聖侯是想承續已經斷絕祿位的世家，頌揚孔子的盛德而已。至於顯揚孔子的學說，崇敬孔子完美的德行，就應該依魯國國相上書中所說的那樣去做。
崔林認爲：“宗聖侯也是按照皇命祭祀的，不能說沒有皇命。周武王加封黃帝、堯、舜的後代，設立三恪，夏禹、商湯時，沒有給當時的三皇后代封王侯名號，又特意命令沒有專職的散官去祭祀。如今周公以上，一直到三皇，忽略而不祭祀，而禮儀也還記載在《周禮》之中。現在惟獨祭祀孔子，是由於時代相近的緣故。以一個大夫的後代，享受如此無限的祭祀，禮儀上超過了七代的帝王，道義上也超過了商湯、周武，可以說是崇尚光大、報答恩德了，不需要讓不是他後代的人再祭祀了。”魏明帝后來又分崔林的食邑，封他的一個兒子爲列侯。
正始五年(244年)，崔林去世，諡號孝。其子崔述世襲爵位。
