趙貴的曾祖父 趙達，曾任 北魏庫部 尚書，封爵臨晉子。祖父 趙仁，以良家子弟的身份鎮守 武川(今內蒙古武川)，並安家武川。趙貴從小就聰慧過人，有志節氣概。北魏 孝昌年間(525年—528年)，天下戰亂，趙貴帶領鄉人南遷避難。正值 葛榮攻陷中山，於是趙貴被拘禁。葛榮失敗後， 爾朱榮任命趙貴爲別將，隨從征討 元顥有功，賜爵燕樂縣子，授官 伏波將軍、武賁中郎將。又跟隨 賀拔嶽平定關中，賜爵魏平縣伯，食邑五百戶。多次升遷至 鎮北將軍、 光祿大夫、 都督。
永熙三年(534年)，賀拔嶽被 侯莫陳悅殺害後，將領官吏各自逃散，沒有人忠於職守。趙貴對他的親信們說：“我聽說仁義之道難以 持之以恆，實行它就是君子，違背它就是小人。朱伯厚、王叔治感激意氣恩惠，還能保持名望節操，何況我們承蒙賀拔公待以國士之禮，難道能混同於其他人嗎?”說到這裏，趙貴痛哭流涕。於是有五十人隨從趙貴，到侯莫陳悅處假裝投降，侯莫陳悅信以爲真。趙貴乘機請求爲賀拔嶽收葬，言詞慷慨。侯莫陳悅認爲他很有勇氣，答應了他的請求。趙貴於是收殮賀拔嶽屍體而歸，與 寇洛等人糾集部衆，逃往 平涼，共同商議抗拒侯莫陳悅。趙貴首先提議迎接 宇文泰。宇文泰來到後，任命趙貴爲大都督，兼任府司馬。侯莫陳悅被平定後，趙貴以原來的軍職代理秦州政務，擔任秦州大都督。趙貴治事清平恬靜，百姓和下屬官吏都很懷念他。
當時 高歡發兵進攻洛陽，派都督 韓軌進佔蒲阪。宇文泰任命趙貴爲行臺，與 樑御等人率軍征討。還沒有渡過黃河，而北魏孝武帝 元修已經西入 函谷關。趙貴授任 車騎大將軍、 儀同三司，兼任右衛將軍。當時曹泥據守靈州抵抗，趙貴擔任大都督，與 李弼等人率軍征討。晉封侯爵，食邑增加五百戶。 大統元年(535年)，因參與奉立西魏文帝 元寶炬的功勞，晉封公爵，食邑增至一千五百戶。不久任岐州刺史，當時因爲軍國大事繁多，要藉助趙貴的力量，便沒讓他前往岐州就職。並仍然兼任大丞相府左長史，加 散騎常侍銜。
宕昌國君主 樑仚定在河西叛亂，朝廷任命趙貴爲隴西行臺，率軍將其擊敗。趙貴跟隨宇文泰收復弘農，攻克沙苑，因功被任命爲侍中、驃騎大將軍、開府儀同三司、雍州刺史，晉封中山郡公。宇文泰征戰 河橋，趙貴與 怡峯爲左軍，作戰失利，率先退回。又跟隨宇文泰支援 玉壁，迫使東魏權臣高歡逃走。高仲密獻出 北豫州歸降西魏，宇文泰率軍迎接，在 邙山與東魏軍隊作戰。趙貴爲左軍，作戰失利，導致全軍潰敗。因罪被罷免官職，以驃騎、大都督銜統率本部兵馬。
不久恢復官爵，任 御史中尉，加大將軍銜。東魏將領 高嶽、 慕容紹宗等把王思政包圍在 潁川，趙貴率軍支援，東南各州兵馬也歸趙貴調度。東魏軍堵住 洧水來灌潁川城，援軍無法靠近，王思政全軍覆沒。趙貴撤軍返回。不久任柱國大將軍，賜姓乙弗。 柔然侵犯廣武，趙貴將其擊敗，斬殺數千柔然士兵，繳獲其軍用物資，整頓軍隊凱旋而回。六官建立後，任命趙貴爲 太保、 大宗伯，改封南陽郡公。
西魏恭帝三年(556年)，西魏恭帝 拓跋廓被迫禪位於宇文泰之子 宇文覺。次年，宇文覺正式即位，建立 北周，是爲孝閔帝。升任趙貴爲 太傅、 大冢宰，晉封楚國公，食邑一萬戶。
當初，趙貴與 獨孤信等人都與宇文泰的地位資歷相等。孝閔帝宇文覺即位後，晉公 宇文護把持朝政，趙貴自認爲是元勳重臣，對此憤憤不平，便與獨孤信策劃殺死宇文護。到了約定日期，趙貴準備動手，獨孤信卻制止了他。不久，被開府 宇文盛告發，遭到宇文護殺害。
