有人認爲，這可能和他的戀愛與婚姻經歷有關。
2009年，武漢大學教授在“國學班”上課時，對孔子爲什麼會發出“唯女子與小人爲難養也”的感嘆，推測出兩個原因：一是孔子可能在談戀愛的過程中受過挫折;二是孔子在婚後的夫妻生活不太美滿。
網絡配圖
孔子在戀愛過程中是否受過挫折，不得而知，但有這個可能。孔子是一個“白眼仁多，黑眼仁少，鼻孔外翻，牙齒縫大，腦袋四周高中間低，活像個倒扣的痰盂”的人。
孔子的長相參見《史記·孔子世家》、《荀子·非相》、《韓詩外傳》、《論衡·骨相》、《白虎通·壽命》等。
這就是說，這種形象不是很討女人喜歡，而且家境不好，只靠寡母爲生，因而在青春期受過女子的冷落與白眼、落下心理陰影，並不是不可能的。
不過，這總是推測，至於他的夫妻生活不太美滿，卻是真真切切的——孔子是個離過婚的男人。孔子那個時代不叫離婚，叫“出妻”，也就是後來所說的“休妻”，孔子出妻是有據可考的。
網絡配圖
《禮記》記載，“門人問諸子思曰：‘昔者子先君喪出母乎?’”子思是孔子的孫子，以上是說門人問子思：“從前你的父親爲被休出的母親(即孔子之妻)穿孝服、守喪禮嗎?”
宋代的朱熹對此有個註解：“伯魚之母出而死。”伯魚是孔子的兒子，這段史料證明孔子確實離過婚。
夫妻離婚，說明在一起生活不幸福，過得不好。孔子的夫妻生活過不好，這是很有可能的。孔子是一個以事業爲重的男人，妻子對此不一定理解。
網絡配圖
孔子爲了推銷自己的政治主張，實現自己的理想，長年在外，周遊列國，屢屢失敗，甚至如喪家之犬，怎麼顧得上老婆孩子?老婆要養上撫下，長年見不到丈夫，又看不到丈夫的前途所在，怨恨與矛盾是很可能產生的，孔子前行則道路崎嶇，同時“後方”又不穩定，於是找個理由出妻也是必然的，對此，在某種情況下發出“唯女子與小人爲難養也”的感慨也是順理成章的了。
儒家提倡修身、齊家、治國、平天下，“一室之不治，何以天下爲”，孔子活着時，在政治上沒有大的成就，不知道是不是家沒有“齊”好?
