衞臻的父親衞茲，節操高尚，曾拒絕三公的徵召。曹操初次到陳留，衞茲就説：“平天下者，必是此人。”曹操也覺得衞茲很奇特，好幾次去他那裏商議大事。後來衞茲跟隨曹操討伐董卓，戰死在滎陽。曹操每次路過陳留，必定派使者前去祭掃他的陵墓。夏侯惇當陳留太守的時候，舉薦衞臻擔任計吏。一次，夏侯惇命衞臻帶着夫人出席宴會，衞臻認為這是末世才有的敗俗之舉，不合正禮。夏侯惇大怒，把他抓了起來，沒過多久又把他放了。以後衞臻做了漢朝的黃門侍郎。東郡朱越謀反，供認衞臻參與其事。曹操下令説：“我和你父共同舉事，對你格外提拔重用。開始聽到朱越的供詞説，我就絲毫不相信，等收到荀令君的書信，那上面把你的忠誠寫得更明白了。”值曹操奉詔為獻帝到魏聘取貴人，他藉此上表讓衞臻留下來擔任參丞相軍事。為追念其父衞茲的功勛，又賜封衞臻為關內侯，轉任户曹掾。
明於事理
公元220年(延康元年)，曹丕繼任魏王后被任命為散騎常侍;稱帝后又被封為安國亭侯。那時候羣臣異口同聲頌揚魏國的功德，好多人貶毀攻擊前朝，惟獨衞臻深明禪讓相授的禮義，稱讚漢室的美德。曹丕幾次看着衞臻説：“天下的珍寶，應該和山陽共同享用。”於是升衞臻為尚書，轉侍中吏部尚書。
公元224年(黃初五年)，曹丕出巡到廣陵，讓衞臻做中領軍，陪同前往。徵東大將軍曹休給曹丕送來表章，説得到了吳軍降將的口供，稱“孫權已經來到濡須口”。衞臻説：“孫權雖然有長江作依靠，卻也不敢和我軍抗衡，這一定是敵軍因害怕而散佈的謠言。”待詳細審問降將後，才知道果然是吳軍守將製造的謊言。明帝曹叡即位，衞臻被晉封為康鄉侯，後轉為右僕射，主管選拔舉薦人才，仍像從前一樣加封為侍中。中護軍蔣濟曾寫信給衞臻説：“漢高祖拜亡虜韓信為大將，周武王提漁父姜尚為太師，出身微賤的尋常百姓，包括那些餵馬的、做飯的，都可以當上王公大臣，何必一定要墨守成法，先考試然後再任用呢?”衞臻回答：“古人憑藉智慧量才而用，也必須經過考核實績才能決定罷免還是升遷;如今你説的就如同要求周朝的成王、康王戰於牧野，漢代的文帝、景帝斬斷白蛇，這種喜好不合常理的行為一旦開了先河，天下人就會趨赴而至了。”
善斷軍事
曹叡繼位後，封康鄉侯。後來轉任尚書右僕射，掌選舉事，亦加侍中。公元228年(太和二年)，蜀漢丞相諸葛亮發動諸葛亮北伐，衞臻建議遺兵入散關搗截蜀軍的運糧道路，明帝採納並任命他為徵蜀將軍，假節督諸軍事，到長安時諸葛亮撤退。回朝復職，並加光祿大夫。
當時，曹叡大興土木，衞臻好幾次懇切地規勸。等到殿中監擅自拘留了蘭台令史，衞臻又把這事報告了曹叡。曹叡下詔説：“宮殿蓋不成，我已經收心了，你怎麼又管起這事來了呢?”衞臻上疏説：“古代制定處理官員的法規，並不是因為針對他們辦事不勤勉，而是因為他們辦的事情收益小而害處大。臣每天觀察這類事情，大多如此。因此，我恐怕將來各職司會逐漸越職，以至犯了大罪。”諸葛亮又出兵斜谷，曹魏同時還接到報告説：“吳國的朱然也領兵過了荊城開始南征。”衞臻説：“朱然是東吳的一員猛將，孫權這次只不過作出南征的樣子，做做幌子罷了。”沒過多久，孫權果然召朱然進駐居巢，然後進攻合肥。
公元234年(青龍二年)，諸葛亮發動第五次北伐，並與東吳一同出兵。孫權進攻合肥，曹叡打算親征孫權，衞臻説：“孫權外表上響應諸葛亮，其實內心只是想在一旁觀望。況且合肥城池堅固，不足為慮。陛下用不着御駕親征，也好節省大軍出征的費用。”但曹叡還是堅持出征，到尋陽時，孫權因受滿寵等守將的抵抗及疾病而退兵。
幽州刺史毌丘儉上疏曹叡説：“陛下即位以來，沒有做出得以書寫記載的業績。眼下吳、蜀倚仗地勢險要，也不是短時間就能平定的，不如姑且用國中閒置的兵力，前去克定遼東。”衞臻對曹叡説：“毌丘儉所説的都是戰國時代使用的瑣屑的計謀，並非成王業者應該做的大事。東吳連年舉兵，進犯邊境，而我國仍舊按兵不動，休養將士，沒有尋找機會討伐他，實在是因為老百姓疲憊勞累的緣故。況且遼東的頭領公孫淵從小生長在海上，對遼東的統治已經沿續了三代，他們對外安撫胡人，對內整修武備習練戰陣，而毌丘儉卻想用一部分軍隊長驅直入，一蹴而就，他的設想太狂妄了。”以後毌丘儉草率出兵果然失利。
去世
公元237年(景初元年)，衞臻遷任司空，後任司徒。正始年間進爵長垣侯，並封一子列侯。後來衞臻多次請辭，獲賜宅，位特進，秩如三司。死後追贈太尉，諡敬侯。
性格特徵
衞臻不愛加入朋黨，如當日曹操未選繼任人時，支持曹植的丁儀邀請衞臻與他們結交，衞臻則以大義拒絕。齊王曹芳時，曹爽專政，派夏侯玄勸請衞臻入守尚書令和為弟求婚，但衞臻都一一拒絕。
歷史評價
陳壽：“陳、徐、衞、盧，久居斯位，矯、宣剛斷骨鯁，臻、毓規鑑清理，鹹不忝厥職雲。”
張懷瓘：“王蒙隸章草，陶侃亞也。”
竇臮：“或仰則鍾瑤，或平視衞臻。”
