在希特勒上臺之初，卡納里斯和當時的許多德國軍官一樣，歡迎希特勒的崛起。他認爲希特勒給德國帶來了希望，“國家社會主義運動將給德國帶來了活力”。於是他把自己的靈魂交給了希特勒，換來的則是德國軍事諜報局局長的寶座。然而，隨着納粹黨和德國國家越來越成爲一體，他開始意識到他親愛的祖國落入了魔鬼的手掌中，於是，他對納粹政府的目標和方法愈來愈不滿。在1938年後，他採取的是一種很難讓常人理解與做到的方式：一方面與希特勒保持一定的合作，另一方面則設法推翻他的統治，他在這兩者之間走着鋼絲。知情者因此而把他稱爲“保守德國的哈姆雷特”。雖然他對德國輕率地進入戰爭極爲震驚，但並沒有積極參加祕密反抗活動，只是滿足於保護幾名密謀分子並向協約國提供情報資料。他曾私下不無憂慮地對心腹說：“我覺得德國在這場戰爭中如果遭受失敗，無疑是個災難;但如果希特勒獲勝，那將是更大的災難，因此諜報局不要做哪怕使戰爭延長一天的事。”卡納里斯在1939年8月31日黃昏，即二戰爆發的前一天，得知希特勒第二天就要突襲波蘭，他就曾激動地對心腹說：“德國這一下算完了。”
卡納里斯對希特勒及其侵略戰爭的態度，反映了一部分德國軍人的思想情緒。他們對希特勒那種老愛在剃刀邊緣冒險的行動持保留態度，認爲德國準備不足，不能過早地對英法開戰。於是卡納里斯向希特勒提供的情報往往誇大了英國的實力，似乎在暗中幫助盟國。例如法國的亨利·吉羅將軍(後來曾一度和戴高樂一起同任法蘭西民族解放陣線委員會主席)被納粹投入監獄後，納粹頭目曾要求卡納里斯處決吉羅將軍，但結果卻是吉羅將軍逃出監獄，來到法國維希政府的轄區。卡納里斯對此事的解釋是，他已經把任務交給了佔領區安全總監萊因哈德·海德里希，而後者在佈置行動計劃前就遇刺身亡了。可人們不禁要問，如果沒有卡納里斯在暗中助其一臂之力，不會講一句德語而且只有獨臂的吉羅就算能越獄成功，又怎能逃到法國。英國情報機構後來得到情報，得知卡納里斯與吉羅確實有聯繫。
面對二戰初期德軍的勝利，卡納里斯內心充滿着矛盾。他對希特勒及其走狗的罪惡越來越感到恐懼。特別是德軍征服波蘭後所進行的破壞及對平民百姓的殺戮更使他感到自己對德意志民族有一種犯罪感。1939年9月12日，卡納里斯同最高統帥部參謀長凱特爾在希特勒的火車上進行了一次談話，對波蘭境內的暴行提出了抗議：“我知道已經作出了計劃，要在波蘭進行大規模屠殺，特別是貴族和教士將被全部消滅。可是最後全世界輿論會要德國武裝部隊對這些行爲負責的。”但對希特勒一向俯首聽命的凱特爾乾脆地回答道，“元首已經就這個問題作出了決定，”如果陸軍“不願意參加這類事情，就得同意讓黨衛隊和祕密警察來唱對臺”，這就是說，在每個部隊中都會駐上一名黨衛隊特派員來“執行滅絕政策”。
德軍在蘇聯的所作所爲更加深了他的這種犯罪感。他不能容忍黨衛隊跟在德軍後面，有計劃地捉拿並消滅猶太人、共產黨員、知識分子、俄羅斯人、烏克蘭人及希特勒希望殺害的任何人。因此，到了1941年中期，內心世界的激烈鬥爭明顯地使他憔悴、蒼老、疲憊不堪。他身邊的工作人員也感到他一會兒對一切都淡然處之，一會兒又爲了一點小事而變得歇斯底里。
德國軍事諜報局的死敵英國情報機構也很早就注意到：卡納里斯肯定是德國情報首腦中最通權達變的人，凡事他總取溫和態度，這樣就給自己留下了在適當時機轉變政策的餘地。1938年至1939年，他專注於防止德英戰爭爆發，並企圖攆走希特勒，把政權交給將領集團。從1939年底到1940年夏末或更晚時，他則似乎鼓勵向英國伸出和平觸角。自1940年末開始，他甚至給人一種印象，想利用這些觸角阻止德國人入侵英國。因此，英國情報機構饒有興趣地注視着他的動向。一些高級官員拒絕討論卡納里斯是否是英國潛在的盟友這一問題，對於那些有關卡納里斯同希特勒不和的報告，他們不予置評。一位情報機構負責人甚至威脅他的部屬說，誰敢猜測卡納里斯是英國的祕密盟友，誰就要受到紀律處分。但另外一些英國情報人員認爲研究卡納里斯對各種事件作出任何反應是相當重要的。比如，卡納里斯不僅與上面提到的吉羅將軍有聯繫，還同德軍中的法國反蘇志願兵旅的負責人德朗克爾一起密謀推翻希特勒，以挽救德國。此外，他還通過德朗克與維希法國的達爾朗海軍上將保持接觸。這些事情在戰後都得到了卡納里斯的助手埃爾溫·拉豪森將軍的證實。英國情報機構還更多地注意到這樣一個事實，卡納里斯向希特勒提供的情報往往誇大了英國的實力，而且還扣壓了大量的情報。值得注意的是，不管有意還是無心，卡納里斯只轉交那些有利於盟國的情報。
1940年末，希特勒想佔領直布羅陀，於是於12月4日派遣佛朗哥的私人朋友卡納里斯海軍上將到佛朗哥那兒去，帶去一封私人信件，建議德國部隊於12月10日正式逼過西班牙國界，這將意味着2月的第一週對離國界600英里的直布羅陀開始發動攻擊。代號爲“菲立克斯”的直布羅陀行動指令已經準備就緒;最高統帥部作戰局局長約德爾將軍正在打點行裝準備到馬德里去，到那兒向佛朗哥說明計劃，正在這時從西班牙首都發來一份電報，使一切突然停了下來。7日傍晚，在一次長長的謁見中，佛朗哥說，由於經濟上的原因，1月10日西班牙不能準備就緒：如果運輸系統不能把食品運給飢餓的平民，德國的交貨人對西班牙又有何益呢?另外，英國要奪得加那利羣島，以及西班牙其他海外殖民地。佛朗哥提出，爲了兩國人民的利益，他謝絕希特勒的建議，他不想讓西班牙成爲軸心國的負擔。
希特勒不死心，他命令凱特爾詢問西班牙何時能準備就緒，卡納里斯從馬德里回稟說，西班牙只有在英國瀕於崩潰時方能參戰。聽到這點，希特勒失去了耐心。12月10日，他令各軍將領放棄“菲立克斯”方案。佛朗哥之所以不願參戰實際上與卡納里斯有關，卡納里斯自1938年以來，就一直在反對希特勒。在正式場合，他把希特勒的論點一五一十地告訴西班牙人，私下裏卻勸佛朗哥不要參戰，因爲這場戰爭軸心國是輸定了的。(戰後，德·瓦爾德格勒西阿斯侯爵當着佛朗哥的面問卡納里斯的密友維貢將軍說，卡納里斯海軍上將反對西班牙的利益，這是否屬實?佛朗哥從座椅上跳起來。“不，不，”他解釋說，“卡納里斯是西班牙的好朋友!”“也許，”侯爵評論說，“比起他的祖國，他更親近西班牙。”侯爵回憶說，聽到這點，“佛朗哥非常激動。這證實了我的印象：真是這樣。”)
斯大林格勒戰役後不久，斯大林曾向德國作子一次和平試探。此後，與敵和談便成了德國外交部常常非公開談論的一個話題。卡納里斯海軍上將(他自己就曾試圖通過賓夕法尼亞州前州長喬治·埃勒祕密地與羅斯福打交道，但未成功)認爲，蘇聯的這一提議是嚴肅認真的。於是，他便勸說外長裏賓特洛甫將此建議提交給元首。裏賓特洛甫以備忘錄的形式將它呈送了希特勒。希特勒很生氣，將它撕得粉粹，還威脅說，誰自作主張在暗中調停就將誰處決。他說，不到陸軍重新獲得主動權，談判是絕無可能的。他甚至禁止裏賓特洛甫再提此事。
而英國情報局的聯繫人第一次瞭解到卡納里斯對希特勒和新的德國越來越不滿的情況是頓·胡安·馬奇提供的。此人是住在馬利奧爾卡島的一個文盲漁民的兒子。1916年，他曾在卡塔赫納幫助孟席斯抓過卡納里斯。現在，由於財富的增加，他已上升爲西班牙的貴族。他變得那樣有權勢，以致他不只效忠於一個民族。當西班牙走向內戰之際，他同孟席斯和英國情報局保持着密切的聯繫。同時，他還同卡納里斯和越來越強大的主張德國插手於混亂不堪的西班牙政治的勢力保持着聯繫。當馬奇第一次瞭解到卡納里斯對於希特勒的軍事意圖有極大的保留，他把卡納里斯對事實的承認通知了倫敦的孟席斯。他對孟席斯說，卡納里斯“對他的新主人既不喜歡又不信任”，並說：“目前，他是我們在歐洲的最好的同盟者。”不久，馬奇在另一份報告中告訴孟席斯，卡納里斯“值得注意培養，也許可以爭取過來……‘作爲英國間諜活動的隱名合夥入’”。
一個敵對的情報機關的新任局長可能同英國情報局配合一起反對希特勒——這種可能性對孟席斯來說是具有極大的誘惑力的。但是，會有這種事嗎?英國情報局裏有很多人對此持懷疑態度，甚至認爲這有可能是一個精心策劃的圈套。然而，戰爭開始之前，每個人都承認卡納里斯曾試圖在德國和英國政府之間打開一條祕密通訊線路。由於希特勒還抱有同英國結成聯盟的希望，因此他允許卡納里斯在英國佈置特務，但是，其目的不是進行間諜活動，而是作爲兩國政府間祕密聯絡的渠道。就這樣，1935年卡納里斯命令羅伯特·特雷克上尉(一位漢諾威騎兵)以上流社會貴族的身份搬進了威爾特郡分區的臘金頓莊園，並很快受到當地社交圈的歡迎。特雷克選擇臘金頓莊園爲他的鄉村住宅並不是偶然的，因爲他與孟席斯的莊園只隔一道紫荊樹籬笆。不久他還加入了博福特狩獵俱樂部，原因是孟席斯是該俱樂部的領導成員。特雷克對孟席斯小集團到底滲入到什麼程度無人知道，但事實表明，他實際上成功地扮演了卡納里斯與孟席斯之間的聯絡員的角色，很多“雙方都關心的問題”都是通過特雷克進行“交流”的。同時，卡納里斯通過容留英國特工在德國活動進一步擴大了他與英國情報局接觸的祕密管道。
1942年夏季，英美盟軍在艾森豪威爾的指揮下開始執行“火炬計劃”，準備在北非登陸。當盟軍的500多艘艦艇駛進直布羅陀海峽並準備進攻北非時，潛伏於直布羅陀西班牙一側的德國間諜就向卡納里斯報告：在海峽附近的海面上發現了一支數量異常龐大的盟軍船隊。卡納里斯竟扣下這份電報，沒有向上面發出警告。倒是一向被德國瞧不起的意大利海軍察覺到了，在它們通知了德軍最高統帥部後，卡納里斯竟設法誤導上級，稱盟軍可能在科西嘉島或撒丁島登陸，絕對不會在法屬北非登陸。但“火炬”最後就是在法屬北非海岸點燃的。
1943年5月13日，盟軍終於使非洲成爲了一片淨土。下一步就是要在西西里島登陸了。爲了掩飾盟軍的真實意圖，英國情報官員想出了一個聲東擊西的圈套。他們從停屍房裏選來一具屍體，給他穿上皇家海軍陸戰隊少校軍官的軍服，取名威廉·馬丁，在他的口袋裏裝着幾封信，其中一封是英帝國副總參謀長阿奇博爾德·賴伊上將親筆寫給英國駐西北非司令亞歷山大將軍的。信中“不小心”泄露盟軍下一步將攻打希臘和撒丁島，西西里爲掩護目標。“馬丁”身上的文件很快到了卡納里斯手中。英國情報機關分析認爲：“如果卡納里斯暗中站在盟國一邊，懷疑文件並非真件，那他就會首先站出來表示相信那些文件是真的。”事實果真如此，卡納里斯把“馬丁少校”帶的文件轉交給了德軍最高統帥部。
在戰爭後幾年，儘管卡納里斯很機智，但德國軍事諜報局“越來越糟糕”的工作仍然引起了懷疑。許多人都相信他一定和許多叛國活動有關。狡猾的希姆萊對他採取了一種“滾雪球”的策略，即從不主動地向希特勒本人表示他對卡納里斯的看法，以免落人口實，而是一直耐心等待，直到希特勒本人提出有關卡納里斯的問題。希姆萊還向那些反對卡納里斯的人不斷提供新的對卡納里斯不利的材料，以加強這些人的反對力量。
黑色樂隊
在一些比較進步、開明和有才幹的德國軍官支持下，卡納里斯祕密建立了“黑色樂隊”(這個名字是後來德國黨衛軍和祕密警察給它起的)，開始了他傳奇般的陰謀活動。“黑色樂隊”的隊伍在緊張的政治環境中成長，每打一次敗仗就增加一批新人。隊伍逐步壯大，並積極準備政變計劃。而在發動政變之前，必須要刺死希特勒。
這項規模宏大的暗殺計劃早在1943年已醞釀成熟。腓特烈·弗洛姆大將控制的國內駐防軍參謀部把計劃密封后寄往各軍區。待收到“伐爾克里”暗號後，各軍區才能打開信封。當時無論是東線，還是西線都迫不及待地期待着“伐爾克里”暗號。軍隊裏涌動着支持政變的暗流。軍方的高層人士意識到，希特勒正將德國引向罪惡的深淵：當時德國每月死亡人數超過10萬，這樣不消一年半的時間，國防軍預備役的兵員將全部損耗，那麼最晚不過1945年春天，德國將徹底失敗。因此，除掉希特勒是一項極其迫切的任務。
“黑色樂隊”的組織者一開始計劃“名正言順”地把希特勒趕下臺，但後來情況急轉直下，他們不得不改變計劃，慌忙採取行動。事情的起因是“黑色樂隊”的成員突然受到懷疑。這是一起偶然事件。1943年3月，捷克海關扣留了幾名偷運外幣的軍事諜報局人員，他們被控從事非法外匯活動。蓋世太保立即將被扣留人員引渡。蓋世太保的頭子海因裏希·繆勒正和軍事諜報局的首腦卡納里斯爭風吃醋，因此他下令嚴刑拷打這幾名軍事諜報局人員，因爲受不了折磨，他們供出了刺殺希特勒的計劃。他們提到了卡納里斯的參謀長漢斯·奧斯特將軍和漢斯·馮·杜那尼處長。杜那尼隨即被捕。得到消息的奧斯特衝進杜那尼的辦公室企圖銷燬一些重要文件，但是晚了一步，所有罪證都已經落入到了繆勒手中。繆勒完全可以藉機將祕密小組一網打盡，但是他並沒有這樣做。而且，他竟然沒有逮捕奧斯特，不久杜那尼也被釋放了。
這一事件的謎底至今仍未解開。繆勒對暗殺小組的成員如此寬大究竟是爲什麼?要知道那已經是1943年春天，而離後來的1944年“七·二○”事件還有一年多的時間。現在有人懷疑繆勒是一名蘇聯間諜(繆勒本人是蘇聯內務部特務機關的仿效者和崇拜者，他在納粹政權覆滅之際潛逃，至今下落不明)，不然無法解釋他的行動。
這一事件雖然有驚無險，但仍把卡納里斯及其同謀者嚇得不輕。他們趕緊加快了行動步伐，趕忙制定了“閃電計劃”。“閃電計劃”就是由軍事諜報局的一批將校軍官策劃的一次刺殺希特勒的祕密行動。施行計劃的有國內駐防軍副總司令弗雷德里希·奧爾布里希特將軍、中央集團軍羣參謀長海寧·馮·特萊斯科夫少將及其副官費邊·施拉勃倫道夫中尉。特萊斯科夫少將獻計製造一起飛機失事事件，以除掉希特勒。他成功地說服希特勒前往東線視察。希特勒的斯摩棱斯克之行安排在1943年3月。
2月下旬，卡納里斯先行抵達斯摩棱斯克市，同時抵達的還有一批情報機構的軍官。他們將爲元首的視察做準備工作。卡納里斯的下屬杜那尼、拉豪森將軍(他從前是奧地利陸軍的一個諜報軍官，在參與謀反活動的德國軍事諜報局人員中，他是在大戰結束時是惟一的倖存者)帶來了新式的英國炸藥。其外形很像泥灰，可以輕而易舉地粘在電線杆或輪船的錨鏈上，也可以通過鎖孔塞進門裏，還能放在鐵軌下面。這種酸性炸藥要藉助導線來引爆，而導線需要綁在指針上，爆炸的時間取決於導線的粗細。
杜那尼與特萊斯科夫少將及其副官施拉勃倫道夫中尉在斯摩棱斯克祕密會晤，共商暗殺方案。他們設想了行刺希特勒的種種可能，最後一致決定採用最安全的方法，即在希特勒的專機內安放炸藥。卡納里斯看過計劃後，建議其餘人做一些準備工作以配合行動。
1943年3月13日，希特勒如期來到中央集團軍羣視察。在他乘飛機返回臘斯登堡之前，施拉勃倫道夫請希特勒的隨員總參謀部作戰處首席參謀海因茲·勃蘭特上校將一個裝有兩瓶“白蘭地”酒的包裹帶給他的老朋友、陸軍總司令部組織處處長赫爾穆特·斯蒂夫將軍(他後來被納粹處決)。勃蘭特上校事先已同意替他把禮物交上去。那包裹裏面有枚定時炸彈，時間定在飛機恰好在空中時爆炸。
希特勒站在起飛跑道上與部將談話。施拉勃倫道夫與特萊斯科夫交換了一下眼神，拔掉炸藥包上的鑰匙，將這包看似尋常的東西交給了勃蘭特上校。勃蘭特上校隨後緊跟希特勒上了專機。
炸藥將在30分鐘內起爆，也就是說爆炸將發生在飛往明斯克的途中。卡納里斯及其同謀者相信希特勒這次將在劫難逃。然而炸彈失靈了。希特勒的專機安全着陸，希特勒本人安然無恙。原來，由於高空溫度迅速下降，腐蝕酸滴到連接雷管的金屬線上，撞針還沒有來得及鬆開，腐蝕酸就被凍上了，最終導致引信失靈。
特萊斯科夫與施拉勃倫道夫得到“希特勒已安全到達”的報告後倍感失望，他們原以爲這次行動一定穩操勝券，現在卻不得不採取緊急措施以阻止那包藏有炸藥的“白蘭地”酒落入不知情的斯蒂夫將軍手中。
特萊斯科夫立即給勃蘭特上校打電話，他很抱歉地向對方作解釋：“我請您帶的包裹搞錯了，請您先不要交給斯蒂夫將軍，明天我的副手將，取回包裹。”勇敢的施拉勃倫道夫緊急飛往臘斯登堡，取回了那包危險的禮物。魔鬼保佑了希特勒!
雖然這次刺殺希特勒的行動沒有暴露同時也未獲得成功，但暗殺並沒有因此而罷手，下一次行動仍在策劃之中。儘管每一次行動都精心策劃、小心翼翼，可卡納里斯的行爲還是引起了納粹祕密警察頭子希姆萊的注意。
1943年7月，意大利發生了政變，墨索里尼倒了臺。希特勒爲了摸清意大利新政府的態度，派卡納里斯飛往威尼斯與意大利軍事情報頭子塞扎爾·阿米會談。儘管阿米直截了當地告訴卡納里斯，墨索里尼的繼承者皮特羅·巴多格利奧打算儘快單獨與盟國締結和約，而他沒有立刻採取行動的惟一顧慮是，一旦德國人得到他們馬上要簽訂停戰協議的風聲，德國人會佔領意大利，宣佈和約無效。但當卡納里斯回到柏林時，他卻對希特勒說，巴多格利奧打算繼續站在德國一邊戰鬥下去，意大利是最忠誠的盟國。這是因爲，在卡納里斯的心中，意大利迅速地無條件投降能使戰爭早日結束。
然而，如果說希特勒此前還能容忍卡納里斯的情報工作一而再再而三的失敗的話，那麼當意大利新政府真的於當年9月3日與盟國簽訂停戰協定時，希特勒開始懷疑德國軍事諜報局不僅無用，而且還背叛了納粹德國。
不久，希特勒從西塞羅文件得知，同盟國在1944年1月末安排了佔領羅馬的計劃。所有的跡象都表明，這是在意大利的英國的一個軍於1月17日開始的強大攻勢的目標。但是完全出乎預料——德國軍事諜報局連個預測警告都沒有，1月22日，美國的一個軍突然從海上在德國防線的後方羅馬附近的安齊奧登陸。
由於被卡納里斯的保證引錯了路，不久前意大利德軍司令阿爾貝特·凱塞林空軍元帥根本就沒在安齊奧海岸修築工事，結果在安齊奧只留下兩個營的兵力對付沿20英里的海岸從300條船上下來的美國兵，結果可想而知。希特勒讓約德爾去調查爲什麼情報機關沒能對安齊奧的勢態作出預警。凱塞林宣稱1月中旬他就得到了幾個線索，被卡納里斯海軍上將說成是錯誤的，不予以考慮。
到了1944年2月初，由於德國軍事諜報局的一個重要特務在伊斯坦布爾投降英國，這就給爲卡納里斯準備已久的棺材上了最後一個釘子。埃裏希·凡爾麥倫是諜報局在中東主要大本營伊斯坦布爾的一位年輕的低級官員，他和他的女伯爵妻子逃跑了，他的妻子比他大8歲，是個虔誠的天主教徒。這一下子使得德國在土耳其的整個情報網遭到了破壞，還使西塞羅的行動突然中止了。軍事諜報局拼命地試圖把責任轉嫁給黨衛軍甚至裏賓特洛甫的外交部，但是希特勒已經討厭卡納里斯上將了，而且希姆萊則趁機表明卡納里斯的個人生活與職業生涯的失敗“已經到了不可容忍的地步”。
希特勒終於在1944年2月12日宣佈建立一個“統一的德國祕密情報組織”。這不僅意味着德國陸軍部軍事諜報局要與希姆萊的帝國中央安全辦公室的情報和安全行動組織、外國情報處等機構進行合併，更意味着卡納里斯的下臺。1944年2月18日，希特勒下令解散軍事諜報局，並把德國軍隊的情報機構與中央保安局合併，組成一個新的機構，稱爲軍隊局(Militarische Amt)。卡納里斯則被任命爲最高統帥部特別參謀部商業和經濟作戰局局長。掛上這個空銜之後，這位海軍上將就徹底地退出了德國的歷史舞臺。軍事諜報局壽終正寢表明政府官僚經常干擾情報工作，也表明黨衛隊和德國武裝力量之間有摩擦。特務機構之間的對立，嚴重地影響了這些機構的辦事效率。軍事諜報局的解散，使武裝部隊完全失去了自己的情報機構，並且增加了希姆萊對將軍們的權力。這也是對密謀分子的進一步打擊，現在密謀分子已經沒有任何可以利用的特務機構了。
但卡納里斯的下臺並不意味着他可以清閒地度過晚年。1944年春天，希姆萊曾警告已經下臺的卡納里斯說，他知道得很清楚，有些將軍們和他們的文職朋友正在圖謀反叛。當年7月20日發生了得到相當一部分德國高級軍官支持的行刺希特勒的爆炸案。放炸彈者、國內駐防軍參謀長馮·施陶芬貝格上校借去“狼穴”(希特勒的大本營)向希特勒作報告之機將裝有一顆定時炸彈的公文包放在希特勒所在的桌子下邊，然後以接電話爲名偷偷溜走，4名軍官被炸死，但希特勒只受輕傷，僥倖未死。施陶芬貝格順利逃離“狼穴”後直飛柏林。他要做的第一件事就是給前軍事諜報局局長卡納里斯打電話。
近年來神經高度緊張的生活使57歲的卡納里斯顯得比實際年齡蒼老許多，身材矮小的海軍上將看上去神色緊張而熱情認真，稍稍口齒不清，表情憂鬱，走路時彎腰曲背，兩手緊緊地背在身後。他把女兒和妻子送到巴伐利亞去了，那兒沒有無休止的空襲，相對比較安全，現在在柏林陪伴他的只有廚師和印度男僕，與他往來的朋友極少。
卡納里斯從電話裏清清楚楚地聽到“‘狼穴’的炸彈已爆炸”，他知道自己的電話被竊聽，於是故意大聲說道：“天哪!他死了!什麼人乾的?俄羅斯人?”真所謂智者千慮必有一失，老謀深算的他竟然如此疏忽大意，迫不及待地說希特勒死了。
幾個小時以後，希特勒受了輕微震傷的消息傳來，卡納里斯立即致電大本營，祝賀元首倖免於難並要求嚴懲兇手。
隨後進行了瘋狂的逮捕和審訊。許多高級軍官因此而被捕，卡納里斯平日的所作所爲使他的嫌疑尤爲明顯。因而在7月23日，帝國中央保安局外國情報處處長瓦爾特·舒倫堡來到了卡納里斯位於柏林郊區舍連別爾克的別墅。這位前德國軍事諜報局局長立即知道了舒倫堡的來意。他平靜地上樓換好衣物，隨着後者來到了安全警察學院，並很快同其他20名高級軍官一起被送到蓋世太保的地牢中去(同時入獄的還有其助手奧斯特將軍、前任總參謀長弗蘭茨·哈爾德大將和國內駐防軍司令弗洛姆大將)。蓋世太保無疑是手下無情的，但偵探與審訊者仍未能從這個情報老手中得到任何直接的證據可以證明其與7月20日的陰謀者有牽連。然而在那種瘋狂的氣氛中，僅僅卡納里斯平日與那些陰謀者的聯繫就足以定他死罪。但也有資料說在發生謀殺希特勒事件後，希姆萊從搜查到的大量文件和日記中發現了卡納里斯參與推翻希特勒密謀活動的證據，才把他逮捕的。由於凱特爾設法不讓他被送上人民法庭，所以他在相當長的時間內未接受審判，並且其早期的監禁也要比他的同夥舒服得多。希特勒後來發現了這件事，他對於這一延誤大發雷霆，命令把卡納里斯交給一個黨衛隊的即決法庭審判。
1945年2月7日，卡納里斯被押解到離捷克邊境不遠的魏登附近的弗洛森堡集中營。在那裏，他的代號爲“愷撒”。他的手腳都被戴上了刑具，腳鐐的一端還被鎖在牆上。只有當他在院內短暫放風或是接受刑訊時，手腳才能得到稍許舒展。卡納里斯曾以囚犯發明的一種類似於莫爾斯電碼的方式敲打牆壁。在他隔壁的囚犯聽到：“上一次審訊時我被打破了鼻子。”卡納里斯還對隔壁的囚犯“說”：“我的死期已到。我不是叛徒。我行使着作爲一個德國人的職責。如果你活着出去，請向我的夫人傳遞我的問候。”
1945年3月，正當納粹德國搖搖欲墜，法西斯分子作鳥獸散之際，希特勒和黨衛軍中央保安局局長恩斯特·卡爾登勃魯納聯合簽署命令，判處在押的原德軍統帥部軍事諜報局局長卡納里斯海軍上將絞刑，並立即執行。但這個程序也拖延了一個時期。
1945年4月9日的黎明，卡納里斯和他的從前的助手奧斯特以及其他4個人，終於在德國南部巴伐利亞外怫洛森堡監獄受審，並被判處死刑。卡納里斯全身赤裸、光着腳，被人從牢房裏拖到了絞首架前。多年來對軍事諜報局一直恨之入骨、的黨衛軍分子可不會輕饒卡納里斯，他們把繩索套到了他的脖子上，梯子被踢開……在場的人說“他用了很長時間才斷氣。”對卡納里斯的行刑過程十分殘酷，他們把這位前任局長吊了兩次，在把還沒有斷氣的海軍上將放下來時還說：“我們要讓你嚐嚐死亡的滋味。”此舉或許是爲了得到他最後的自白，或許僅僅是爲了延長他的痛苦。據監刑的黨衛隊員說：“矮小的海軍上將被吊了好久好久才斷氣，他掙扎了兩次。”一位良知未泯的黨衛軍醫生說：“卡納里斯海軍上將死得很勇敢，死得很有氣概。”總之，不是依據法院的判決，而是遵照黨衛軍頭子希姆萊的命令，卡納里斯及其最親密的助手被處以絞刑。也有資料顯示，雖然黨衛軍分子痛恨卡納里斯，但絲毫沒有折磨他，他們始終認爲他是刺殺小組中最關鍵的人物。隨後，他的屍體被焚化，骨灰被拋撒。此刻，巴頓率領的盟軍坦克縱隊離此地僅160公里，距歐洲戰爭結束僅僅只有29天。他的結局是如此地淒涼：沒有墓地，也沒有墓碑，可謂死無葬身之地。
卡納里斯死後，他的遺孀埃裏卡也被驅逐到西班牙，在獨裁者佛朗哥爲她提供的一套公寓裏，據說依靠美國戰略情報局(1947年改名爲中央情報局)局長艾倫·杜勒斯提供的一筆養老金，在對亡夫的沉痛哀悼中度過了其孤獨寂寞的餘生。
