普奧戰爭過後，反對派代表朱爾·法夫爾與梯也爾譴責拿破崙犯下戰略錯誤。埃米爾·奧利維耶解散了政府大多數派，明確表示除非皇帝賦予完全自由，否則將不會與政府合作。奧利維耶也組成了第三黨，並要求在1860年的“大法案”基礎上取得更多讓步。根據1864年的協定，法國即將把駐羅馬之軍隊撤回，引來教皇絕對權力主義者的不滿，擔心教皇地位不穩。後來，拿破崙也認爲有必要處理“大法案”的問題，故此其後他重新賦予立法團的質詢權利，並減少對傳媒與集會的限制。歐仁·魯埃想成立“皇朝聯盟”(Uniondynastique)作爲支持帝國的政黨，但未能阻止自由派反對政府。後來發生的國際大事令拿破崙不能抽身處理這些問題。
法國皇帝面對的困境難以解決。他本來希望藉助賦予新聞自由與集會自由，避免在言論自由讓步，並保持他收回這些自由的機會，但是最後反被自己的政策所誤。維克多·雨果的Châtiments、羅什福爾(VictorHenriRochefort，MarquisdeRochefort-LuCay)的Lanterne，以及萊昂·甘必大控訴帝國對路易·夏爾·德萊克呂茲的審判都顯示出自由派與政府之對立。
動員無產階級
那邊廂，教皇絕對權力主義者愈來愈不滿，而先前受保護的工業則因爲自由貿易政策而不滿。工人階級不再政治中立。工人忽略了皮埃爾-約瑟夫·普魯東激昂批評共產主義的理論，漸漸信任第一國際上卡爾·馬克思的集體主義理論與米哈依爾·巴枯寧的革命理論。工人會議因爲被禁止而變得著名——工人在社會中的解放與他的政治解放被認定是不可分開。第一國際代表與共和資產階級的聯盟就此確立。
帝國政府對此感到驚愕，並嘗試同時壓制中產階級與工人階級，迫使他們一起開始革命行動，例如連番罷工。在此期間，1869年5月選舉舉行，令政府再次受挫。雖然政府打着“反對紅色恐怖”的旗號，但折衷派的奧利維耶仍未被它接受。40名自由分子於116名第三黨成員被選出。故此，政府必須讓步，於是在9月8日把一人政府改爲議會君主制。1870年1月2日，奧利維耶成爲首個責任內閣的首長。
普法戰爭
1860年代，普魯士的崛起令法國深感不安，最後兩國因1870年的7月危機釀成戰爭(詳見埃姆斯電報)。7月19日，埃米爾·奧利維耶的政府向普魯士宣戰，而名義上的開戰理由則是有關西班牙王位繼承問題。普法戰爭爆發，法軍多番受挫，在色當戰役大敗於普軍。拿破崙三世與他剩餘的軍士在9月1日向普魯士投降。皇帝投降的消息在三天後傳到巴黎。國民議會被人入侵。9月4日下午，巴黎的代表成立新政府。共和派代表萊昂·甘必大在巴黎大會堂(HoteldeVille)宣佈帝國滅亡，成立法蘭西第三共和國。歐仁妮皇后逃離杜伊勒裏宮，到達英國，正式結束了被廢除的帝國。帝國被法國國防政府取代。
路易·拿破崙在1871年3月才自願流亡英國，在1873年去世。他的兒子、拿破崙王朝最後繼承人歐仁·波拿巴在1879年去世。
