衛青後又被任命爲太中大夫，秩比千石，掌議論。從建元三年到元光六年，是衛青成長最快的九年，衛青從皇帝左右，出入禁中，與聞朝政，後又成爲太中大夫，足見其才幹深得武帝信任，爲後來七徵匈奴、甚至任大司馬大將軍爲內朝參決政事，秉掌樞機打下良好基礎。
元光二年，漢武帝策劃了主動對匈奴誘敵殲滅的馬邑之圍。打破了西漢自立朝以來對匈奴被動退讓的和親政策，也拉開了漢匈全面戰爭的序幕。元光六年，匈奴奔襲而來，漢武帝果斷任命衛青爲將軍，至此衛青拉開了戎馬生涯的序幕，匈奴的強敵出現了。
衛青雖是首次出征，但他果敢冷靜，出其不意的深入險境，直搗匈奴祭天聖地龍城，首戰取得勝利，漢武帝一高興封他爲關內侯。謙虛的衛青不獨攬功勞，把軍功歸於他的戰友們，漢武帝更加欣賞他，並稱贊其“真仁義”。
公元前128年秋，衛青爲車騎將軍出雁門，領三萬騎兵，長驅而進斬首虜數千人，這是西漢對匈奴的第一次大戰役。公元前124年春，漢武帝命衛青領三萬騎兵出高闕，奇襲高闕戰捷。
元朔六年，春、夏，衛青爲大將軍兩次領十萬騎兵掃蕩漠南伊稚斜單于大本營。殲敵過萬，二出定襄。元狩四年(公元前119年)春，漢武帝以十四萬匹戰馬及五十萬步卒作爲後勤補給兵團，授與衛青與霍去病各率領五萬騎兵，兵分兩路，跨漠長征出擊匈奴。
漠北之戰被列入‘中國歷史十大戰役’，也是衛青以弱勝強，正奇兼善的代表之作，共殲敵一萬九千餘人。徹底打垮了匈奴的主力，使之再無能力南下窺視漢朝。
