曾國藩，字滌生，湖南湘鄉人，道光十八年進士。作爲鹹同之際地方漢族勢力興起的代表人物，他和祁寯藻之間的關係變化有着重要的意義。(蘇州大學董蔡時先生甚至把他們劃分爲兩個派別，從他們之間的政治衝突來考察晚清政治情況)有些學者將兩人交惡，祁寯藻“貶抑”曾國藩，並因此爲漢族士人非議，作爲祁寯藻“不自安，稱病乞去”(蕭一山著，《清代通史》，《祁寯藻彭蘊章之相業》，第三冊，第412頁)的重要原因。那麼，這樣的看法是否準確呢?
咸豐朝軍興不久就凸現出了一個重要問題，即綠營兵的腐朽問題。面對太平天國來勢兇猛的軍事壓力，進入咸豐政局的各督撫、將軍頗有力不從心之感，敗仗連連。陣腳大亂的咸豐帝頻頻更換主帥，圍剿起義軍。在起義軍實力逐漸龐大後，咸豐帝先後派兩江總督李星沅、軍機大臣賽尚阿、兩廣總督徐廣縉，廣西提督向榮等官員爲欽差大臣，督辦廣西軍務。這些將領在軍事上的連續失利，徒爲耗師糜餉，使咸豐帝憤怒異常，然而又沒有其它辦法。
在這種局面下，有見識的滿州大臣主張要重用漢臣。咸豐帝最器重的滿州大臣文慶就提出這樣的意見。文慶認爲：“當重用漢臣，彼多從田間來，知民疾苦，熟諳情僞。豈若吾輩未出國門、懵然於大計者乎?”並且“常密請破除滿、漢畛域之見，不拘資格以用人”(《清史稿》卷三八六，列傳一百七十三，第11686-11687頁)。在沒有更好辦法的情況下，爲緩解統治危機，咸豐帝被迫仿效嘉慶帝在鎮壓白蓮教起義時的做法，允許南方的在籍漢族大臣自行組織軍事力量，辦團練以助官兵。
咸豐二年，刑部侍郎曾國藩典試江西，中途丁母憂卸任回籍。咸豐軍興後，他奉旨在籍辦理團練，戶部尚書文慶向咸豐帝力言曾國藩可用，使以曾國藩爲核心的湘軍的興起成爲可能，既而擔負起挽救陷於混亂局面的滿清王朝統治的任務。而事實的發展卻出乎許多人的意料，清廷始終沒有在湘軍連戰告捷後，給予曾國藩名義上的地方最高權力。
很多清史研究者認爲，清王朝的這種措施是由於祁寯藻的阻撓，兩者矛盾加深，引起祁寯藻的致仕，多數研究者以薛福成文集中《書宰相有學無識》一文爲論據，來說明這個問題。薛文說“曾文正公以丁憂侍郎起鄉兵，逐賊出湖南境，進克武漢黃諸郡，肅清湖北。捷書方至，文宗顯皇帝喜形於色，謂軍機大臣曰‘不意曾國藩一書生，乃能建此奇功。’某公對曰：‘曾國藩以侍郎在籍，猶匹夫耳，匹夫居閭里一呼，蹶起從之者萬餘人，恐非國家之福也。’文宗默然變色者久之，由是曾公不獲大行其志者七八年”(薛福成著，《庸庵文續編》卷下，《書宰相有學無識》，沈編叢刊第95輯，第550頁)。他在此文前作《書長白文文端公相業》，說：“曾文正公起鄉兵擊賊，爲壽陽祁文端公所牴排”(薛福成著，《庸庵文續編》卷下，《書長白文文端公相業》，沈編叢刊第95輯，第544頁)，並讚揚文慶重用漢人政策，以此來相互對照，形成鮮明的褒貶。民國人黃浚也有“曾文正見扼於祁文端，微肅順左右之，幾不能成功”(黃浚著，《花隨人聖盦摭憶》，第55頁)的說法。《近代名人小傳》上也認爲祁寯藻“抑曾國藩，世頗譏其偏”(費行簡(沃邱仲子)著，《近代名人小傳》，《官吏·祁寯藻》，沈編叢刊第7輯，第88頁)。
這些資料都認爲祁寯藻曾經排擠過曾國藩。從它們的出現來看，薛福成的說法應該是最早的，其曾國藩得意門生的身份也使他的材料看似可信，後面說法的來源應當是薛福成的資料。但是，薛福成的資料有以下三個疑點。其一，從《清實錄》等史料的記載來看，曾國藩率領的湘軍到咸豐四年閏七月底攻克武昌，八月，曾國藩被授予兵部侍郎之銜。十一月湘軍取得“肅清湖北”的戰績，十一月底得到咸豐帝的獎勵，儘管賞賜物品豐厚，但始終沒有授予封疆之任。依據《祁文端公自定年譜》，從咸豐四年六月開始，祁寯藻便因病頻繁請假，很少入值，閏七月十三日祁寯藻最後具摺請假，病休在家以後，直到十一月二十五日奉上諭休致，其間沒有再入值軍機處。所以，在此期間，祁寯藻根本沒有向咸豐帝面奏的機會。而且，從國家圖書館現存的祁寯藻致仕前後所有奏摺中也未見到相關言論。其二，薛福成的看法並沒有其他直接資料證實。不論是他自己的文章還是曾國藩的文集，都沒出現除上述並不確定的傳聞外的其他具體事例。況且薛福成筆記的史料價值在羅爾綱先生的《師門五年記》中有較爲詳細的評價，這裏就不再贅述了。其三，在曾國藩另一門生黎庶昌的《拙尊園叢稿》中，也詳細記載了曾國藩和祁寯藻的事蹟，其所着重的是，在曾國藩任侍郎時，上疏中觸怒了咸豐帝，祁寯藻極力救助曾國藩的往事，並沒有提及薛福成所講的事，如果其事確實，他倆互相爲對方的文集作序，爲什麼黎庶昌會避而不談，甚至意見相左呢?既然傳聞是有證據否定的，附會傳聞的資料當然就是不可靠的。那麼，事實應該是怎樣的呢?
從當時情況來看，湘軍勢力的確是對抗太平軍唯一有效的力量。但隨之而來的嚴重問題是這種軍事勢力對中央集權的威脅。湘軍的組織形式，導致湘軍將士只服從其直接領導，而可以無視其它權威，這本身就有悖於專制統治的政治特點。咸豐二年，曾國藩的湘軍還沒有開始正式打仗，就向清廷要求自辦糧臺，要把地方的糧餉大權掌握在手中。這些情況不能不引起清廷的高度重視，並作出相應的措施加以遏制。首先就是拒絕給予曾國藩名義上的地方督撫職位，儘管中央有文慶、肅順等要求重用漢族武裝的滿州親貴，但他們實質上都是懼怕這種這種力量的。所以，直到咸豐十年以前都沒有授予曾國藩地方督撫的官職。而曾國藩本人顯然對他所受到的待遇感到不滿。曾國藩和祁寯藻的弟弟祁宿藻是同年進士，他在京時和祁氏兄弟是頗有來往的。在曾國藩看來，他的行動理應得到身爲時任領班軍機大臣，且以獎掖後進、領袖學界爲己任的祁寯藻的支持，但實際上，卻沒有得到，曾國藩在其日記中流露出這種怨懟情緒。持這種看法的人並不僅僅曾國藩一人，同爲中興三大名臣之一的胡林翼，在三河鎮失利以後，給祁寯藻的信中就寫到“盜賊未稍息而將才屢失”，並建議說：“吾師學究天人，藎念獨深，固知隱憂之信切耳”(胡林翼著，《胡文忠公遺集》卷四，《書牘·上祁春圃相國言鄂事》，沈編叢刊第89輯，第425頁)。從側面暗示應該不拘滿清“祖制”，任用實幹將才。事實上即使在祁寯藻致仕以後，先後被咸豐帝依爲心腹且名義上要求重用漢族勢力的文慶、肅順也並沒有給予曾國藩與其實力相等的地位，直到咸豐十年，清王朝才勉強授予他總督的頭銜。(即使當年六月授予曾國藩兩江總督，也是當時情況所迫。其一，英法聯軍已進逼天津城下，其二，兩江總督所轄三省僅江西還在清王朝的控制當中。)
很多學者認爲祁寯藻和曾國藩代表了晚清兩個重要的政治派別，他們之間存在着激烈的政治鬥爭。薛福成文章中的事實雖然不可信，但他明確攻擊祁寯藻，卻並非完全空穴來風。我們可以肯定的是，咸豐初年的清王朝已不能和嘉慶時的清王朝相比，中央對地方漢族官僚的控制已比較薄弱了。實際上，在咸豐初年，祁寯藻作爲首席樞相，又長期管理戶部，對滿清中央權利的喪失應該有足夠的敏感。即便祁寯藻抑制漢族團練，其目的還是爲了維護清朝中央集權，而由此引起祁曾兩人後來的交惡也是必然的。但是，一則從現存的祁寯藻所有奏摺，文集來看，沒有明顯反對曾國藩的言論。而從曾國藩的文集中也找不到祁寯藻曾排擠他的實據。二則，在咸豐四年祁寯藻致仕時，曾國藩的湘軍勢力還沒有發展到後來的勢力。咸豐末年，湘系、淮系才形成尾大不掉之勢，對清王朝的中央專制統治構成了非常現實的威脅。從而和彭蘊章等軍機大臣的利益相沖突。其中也包括祁寯藻，他的門生故吏遍及天下，必然會和曾國藩新興的、以軍功起家的勢力產生矛盾。例如，在同治初處理何桂清之獄上祁曾二人之間的嚴重分歧。
綜合以上分析，在咸豐四年祁寯藻致仕時，祁曾之間的矛盾還是不明顯的，到了咸豐後期，他們的矛盾纔有可能凸現出來。所以，如果把逐漸惡化的祁曾關係作爲咸豐四年祁寯藻致仕的原因則是很不充分的。
