就在潘素大放異彩的時候,一場災難在等著她。潘素13歲時,母親病逝,父親娶了繼母。兩年後,潘素被王氏以擅長彈琵琶為理由,將她賣到青樓掙錢。“潘素初來上海人出落得秀氣,談吐不俗,揮筆成畫,於是在五方雜處、無奇不有的上海灘,曾大紅大紫過。”(張伯駒好友孫耀東)張伯駒晚年曾寫過一首《瑞鷓鴣》,“姑蘇開遍碧桃時,解後(避逅)河陽女畫師,紅豆江南留夢影,白滔風末唱秋詞。除非宿草難為友,那更名花願作姬,只笑三郎年已老,華清池水恨流脂。”這首詩就是描述自己當年追求潘素的情景。
1937年兩人婚後,潘素在張伯駒的栽培下,成為了著名的青綠山水畫家。潘素跟過當時很多大師畫,比如朱德甫、汪孟舒、陶心如、祁井西等。更關鍵的是,張伯駒家中各種古代畫作應有盡有,這使得潘素能天臨摹,繪畫水平突飛猛進。張大千在看過潘素的畫作後,稱讚道“神韻高古,直逼唐人,謂為楊升可也,非五代以後所能望其項背。”1958年,潘素的山水畫《臨吳歷雪山圖》曾被作為禮物送給英國首相;臨摹隋代展子虔的《遊春圖》,在中國文化代表團訪問東京時,將其贈予了日本天皇。
跟張伯駒結婚20年後,潘素終於揚名天下,這次不是她曾經的美貌,而是那高超的繪畫水平。潘素是幸運的,張伯駒也是幸運的,如果沒有遇上張伯駒,就沒有她的幸福生活和出色的書畫成就;如果沒有潘素的出現,張伯駒的家庭生活就不會那麼和諧多彩。