張孝祥是豪放詞繼辛棄疾之後的代表，他從小讀書過目不忘，下筆千言。金兵入侵中原，張孝祥隨父南下避難，遷居到蕪湖。15歲時，他與一位少女自由戀愛，進而同居了。
這位少女姓李，因爲張孝祥後來對李氏諱莫如深，什麼都不說，後人知之甚少，只知道兩人兩情相悅，未婚同居，李氏生了一個兒子。
16歲的張孝祥做了父親。也就是這一年，他通過了鄉試，隨後繼續求學的他陷入了一場愛情糾葛：他與李氏感情深厚，卻不能名正言順地結爲夫妻。他倆生的兒子，取名張同之。這時候的張同之，同李氏一樣，沒有名分，雖然姓張，卻連張家人都算不上，只能算是兩人的私生子。
爲什麼不能和心愛的人結婚?後人對李氏有種種猜測。世上不能成眷屬的情人太多了，追尋原因其實已不重要，重要的是，是不是真的曾經相愛過。
六年之後，張孝祥參加會試，之後，又參加廷試。1154年三月二十一，他被宋高宗欽定爲狀元，這是張孝祥一生中最爲輝煌的時刻。
秦檜原先想讓孫子秦壎做狀元，如意算盤落空後，對張孝祥又羨又恨。秦檜的親信曹泳看在眼裏，就在朝堂之上當衆向張孝祥提親，他說自己女兒貌若嫦娥，文比蔡姬，現待字閨中，如能與張孝祥結合，那是絕配。
剛開始，張孝祥還想敷衍，說自己已娶賢妻。但秦檜顯然看過他的“檔案”，就說：“狀元何必說假話?誰都知道，你家中並無賢妻，你那登記的表格上，不是寫着‘未婚’嗎?”
原來，參加會試時，張孝祥隱瞞了和李氏同居生子的事實，在表格上登記婚姻狀況時，填了“未婚”。這時候，張孝祥進退兩難，如果說已和李氏結婚生子，那不是弄虛作假，犯了欺君之罪?秦檜等人如果繼續以此做文章，就麻煩了。
曹泳要把女兒嫁給張孝祥，張孝祥乾脆裝聾作啞，一聲不吭。我什麼都不說，就是不表態，你總不能把我綁着去做新郎吧!曹泳沒轍，和秦檜一起把張孝祥恨上了。
張孝祥回去後，第一件事就是把李氏與兒子張同之送走。男女之間最悽絕的事情，莫過於情正濃而不得不別，爲了前途，爲了事業，張孝祥“遣送”情人與愛子，實屬無奈之舉。兒子此時已有八歲，正是牽着衣襟叫“爸爸”的年紀。
李氏此番要去的地方是她的老家浮山(今安徽省樅陽縣浮山鎮)。此時一別，說不定就會永隔紅塵，她與他將永無再會之期。送別時間，正是重九前夕，秋風蕭瑟，更增添送別的悲涼。張孝祥寫了一首《木蘭花慢》描述當時的情形：
她走之後，他開始想象自己今後的淒涼時光，天氣涼了，草木搖落露爲霜，再也沒有溫柔體貼的人兒噓寒問暖，把衣服烘乾或者薰上香味這種事，喚誰來做啊?回到兩人曾經的住地，芳蹤宛在，而人已杳如黃鶴，禁不住悲從中來。心裏不舒服乾脆喝酒吧，殊不知，越喝越清醒，那酒不但不能解愁，反而更添了許多愁。
他內心極爲壓抑，但他不得不寫得非常含蓄，否則，秦檜等人對號入座，給他的壓力就太大了。秦檜要拉攏他，曹泳更是願意把女兒嫁給他，他拒絕曹泳之後，把秦檜等人都得罪了，如果這些人知道了他以前還有個“地下情人”，肯定會到皇帝面前參他一本。
李氏回到浮山以後，出家修道，養育幼子，長年與孤燈黃卷相伴，卻塵緣未斷，一顆幽閉在道觀的心悽寂不堪，給他寫來纏綿緋惻的信。
這個時候，李氏也聽說了張孝祥的一些事情。原來，張孝祥是主戰派，曾經上書給皇帝爲岳飛平反，要求朝廷表其忠義，使公道昭明於天下。秦檜大怒，立即尋機報復。他誣告張孝祥父親謀反，將張孝祥等人列入了黑名單，準備痛下殺手。幸虧此時的秦檜年老體弱，得了重病，來不及判決這些人的死刑，就一命嗚呼了。張孝祥這才逃過一劫。
秦檜死後一年，張孝祥與表妹時氏結婚了。時氏嫁給他後，兩三年就去世了，張孝祥寫了三則短短的悼文，除此之外，他的詩詞裏再沒有隻言片語提到過她。可見，他與時氏感情平淡。
兒子張同之長大後，與張孝祥仍有來往，在張孝祥的詩集中保留有與兒子的和詩。而從張孝祥寫給李氏的詩詞來看，他對李氏一直處於深深的懺悔與懷念中，可謂情深意篤。
有一次，張同之遠道來看望張孝祥，張孝祥看到兒子都長這麼大了，十分思念李氏，於是寫了一首《轉調二郎神》：想靜擁孤衾，頻挑寒灺，數行珠淚……
1169年夏天，張孝祥與好友泛舟蕪湖時，突然中暑身亡，終年37歲。宋孝宗聽說後，深爲惋惜，有用纔不盡之嘆。他去世那天，“商賈爲之罷市，兩河之民惶惶如失所恃”。
張同之後來不辜負父母期望，考中了進士。他上表請求蔭封其母李氏，這樣，張同之的墓誌銘上才得以出現“生母李氏”這幾個字。至此張孝祥的這一段地下婚姻，總算露出了冰山一角。
