胡雪巖擁有資產近3000萬兩白銀的家業，田地萬畝。事業有成的胡某人顯露出“暴發戶”的淺薄和荒淫。他在生活方面極盡奢靡，處處顯露出那種趾高氣揚的神氣。《胡光墉傳》記載：胡雪巖修建“第宅園囿，所置松石花木，備極奇珍。姬妾成羣，築十三樓以貯之。”也有資料說“大起園林，縱情聲色，起居豪奢，過於王侯，驕奢淫逸，大改本性。”他耗巨資營造的庭園被譽爲“江南第一豪宅”。
胡雪巖酷愛女色，他經常在街市上尋覓美色，看見有姿色的美麗女子，就請人說和，身價再高也不計較，而且還會給女方的家人安排好差事。他仗着有財有勢，把冒犯他的女子娶回後再休棄，肆意侮辱良家女子。他強買民女，通常只過三五天或一兩個月，新鮮感一過不喜歡了就給銀數百兩，任其改嫁。據《見聞瑣錄》記載，遭到他喜新厭舊拋棄的“凡買而旋遣者，殆數百人。”
《南亭筆記》記載：有一天，胡雪巖穿着樸素的衣裳到一個妓女處。那妓女看胡雪巖的窮酸相以爲沒多少油水，便懶得理他。只有一個老婦人殷勤招待了他。第二天，胡雪巖派人給老婦人送了兩包金葉子。妓女那叫後悔啊，讓老婦人跟着來人去請這位財神。胡也挺給面子，再度光臨，然而卻是徐庶進曹營一言不發，只是捻鬚微笑，嘲諷妓女有眼不識他這座泰山。
《莊諧選錄》載有：胡雪巖一次經過一家裁縫店，見門口一個苗條女子很是上眼，就盯住多看了幾眼，那女子覺察之後，急忙關門進入屋內。胡雪巖的自尊心受到了傷害，於是派人拿巨資向其父親提親要納其爲妾，女子之父見錢眼開答應了。胡雪巖擇日將這女子娶回，在新房裏，胡雪巖自己喝着酒，然後讓新娘子裸體躺在牀上，又讓僕人在一邊高舉着大蜡燭，他來回踱步看着這新人，放聲大笑說：“前幾日你不讓我看，我偏要看。現在你還有什麼辦法制止我?”說完推門而去，到別的小妾房中過夜。第二天派人對這女子說：“這間房中所有的物件都可以拿走，你可以改嫁他人，這裏沒有你的位置。”
胡雪巖姬妾成行，號稱“十二金釵”，分住院內長弄中各樓，按序各佔一室。到了晚上，侍女端上盛有各姬妾牙牌的銀盤，胡雪巖隨手翻一個，侍女就按牌上名字叫這個姬妾侍寢，宛如皇上翻牌子一樣。胡雪巖每天早晨起牀，由傭人端上用翡翠盤盛着的青黃赤白各色寶石若干枚，讓他“養目”。每日合家大小還要鷺序般的去上房恭請晨安。至於唱戲祈福，擺酒張筵，無不窮極奢華。胡雪巖喜歡和衆多的姬妾一起嬉戲、玩樂。他讓諸妾穿上寫着“車”“馬”“炮”字樣的紅藍馬甲，登到在高臺上畫好的棋盤，紅藍對峙，胡雪巖和夫人在欄杆後用竹竿指揮她們，“下活棋”。胡雪巖和姬妾一起過着肉林酒池、歡歌盛宴的奢靡生活。享樂縱慾無度，揮金如湯沃雪。派頭甚至超過了一些勤政節儉的皇帝。
胡雪巖雖聰明一世，在生意場上八面玲瓏如魚得水，但在官場上卻是個“低能兒”，政治上的“不成熟”，不諳官場規則，成爲李鴻章“排左先排胡，倒左先倒胡”策略的祭品，做了左宗棠與李鴻章政治鬥爭的“犧牲品”。
