神龍元年(705年)，唐中宗李顯復辟唐朝後，大肆封賞中興功臣，其中張柬之、敬暉、桓彥範、袁恕己、崔玄暐因誅殺張易之兄弟、逼迫武則天退位等功勞，不僅全部擔任宰相職務，並且都被封爲郡公，一時間權勢、威望無人能及，時人稱之爲“五公”。但讓世人沒有預料到的是，張柬之等人在朝中並未待多久，便全部遭遇滅頂之災。
原來，唐中宗某次到上陽宮探望母親時，發現她面容憔悴、披頭散髮，顯得異常衰老滄桑，跟往昔容光煥發的形象大相徑庭，不禁大爲驚訝。武則天看到兒子後，便哭泣着說道：“我把你從房陵接回神都，本來就是打算要把天下託付給你，而張柬之等五賊卻貪求事功，不僅把我驚動到這裏，還讓你落下不孝的罵名，實在是可恨啊!”
武則天畫像
唐中宗聽後悲憤痛苦不已，便跪在地上向母親請罪。經此一事，唐中宗開始對張柬之等五人懷恨在心，並開始讓武三思(武則天之侄)、武攸暨(武則天的堂侄，太平公主之夫)、武延秀(武則天的侄孫，安樂公主之夫)等武氏族人蔘與朝政，尤其是倚重武三思。而正是在武三思的連番構陷下，張柬之等人的命運急轉直下。
太后善自粉飾，雖子孫在側，不覺衰老。及在上陽宮不復櫛頮，形容嬴悴。上入見，大驚。太后泣曰：“我自房陵迎汝來，固以天下授汝矣，而五賊貪功，驚我至此。”上悲泣不自勝，伏地拜謝死罪。由是三思等得入其謀。見《資治通鑑考異·卷十二》。
唐中宗在幽禁房陵期間，曾對韋皇后發下誓言，一旦自己能復辟成功，必將與其共享天下，無論她做何事都不會加以干涉。正因如此，等到唐中宗復位後，韋皇后便頻頻干涉朝政，並公然賣官鬻爵、迫害異己，儼然成爲帝國實際上的主人。有鑑於此，武三思便不斷地攀結韋皇后，不僅跟她聯合作惡，還與其私通，製造了恁多的醜聞。
武三思既然與韋皇后結盟，便不斷地慫恿她在皇帝面前大進讒言，極力排陷張柬之等五人，再加上唐中宗此時已對“五公”心生怨恨，所以在復辟5個月後，便解除他們的宰相職務。張柬之等人被罷相後，全都被進封爲郡王，獲賜丹書鐵券，表面上看是莫大的恩寵，但實際上不過是皇帝誅殺他們的“障眼法”。
武三思不斷地誣陷張柬之等人
果不其然，張柬之等人獲封王爵後半年多時間，便被陸續外放到邊遠州郡做刺史，形勢對他們來講愈發不利。神龍二年(706年)三月，駙馬、光祿卿王同皎因憤恨武三思專權禍國的行爲，便圖謀將他殺死，結果被人告發後遇害。事後，武三思誣陷張柬之5人與王同皎合謀，並說服唐中宗他們的削奪王爵和丹書鐵券。
當年七月，武三思暗中命人將韋皇后的醜事進行大肆宣揚，並嫁禍給張柬之等5人，唐中宗獲悉後大爲震怒，下詔將他們流放到蠻荒之地，並且禁錮終身。但武三思對此並不滿足，隨即唆使太子李重俊，請求夷滅張柬之等人的三族，但遭到唐中宗的拒絕。
張柬之畫像
武三思因爲擔心張柬之等人會復起，便聽從心腹崔湜的建議，矯詔任命酷吏周利貞爲代理右臺御史，命其在途中攔截、虐殺他們。“慶幸”的是，張柬之年老體衰、恚恨成疾，剛剛到達貶所新州便病死，崔玄暐則在流放古州的途中病逝，成功地逃過周立貞的虐殺，但其他3人卻沒有這樣的“好命”。
其中，敬暉在流放瓊州的途中被周利貞抓到，被處以凌遲極刑;袁恕己在流放環州途中被周利貞追及，被逼着喝下野葛汁，毒發後疼痛難忍、以手抓地，但即使指甲磨盡仍然沒有死，最終被大杖活活打死;桓彥範在流放瀼州途中被逮捕，被周利貞命人綁縛着在竹槎之上拖行，以至於皮肉都被刮掉，然後才被亂棍打死。敬暉、袁恕己、桓彥範三人死相之慘，實在是令人悲憤嘆惋。
最後簡單說一下加害張柬之等人的元兇、幫兇的下場。其中，武三思因與太子李重俊交惡，1年後便被滅門;唐中宗因阻礙韋皇后的女皇夢，在張柬之等人死後4年被毒死，17天后，韋皇后又被太平公主、李隆基(唐玄宗)聯合誅殺;崔湜因依附於韋皇后、太平公主而數次拜相，但在太平公主奪權失敗後，被唐玄宗賜死;周利貞苟活到開元初年，因敬暉之子敬讓向朝廷訴冤，被唐玄宗賜死。
