谷崎20多歲時，他有一種奇異的愛好，要找一個娼婦型的女子做妻子。他迷上了一個藝妓，可那個女子已有人包養，就把自己的二妹介紹給了谷崎。這就是谷崎的第一任妻子千代夫人。他們不久結婚，一年後他唯一的孩子——女兒鮎子出生。但婚後不久，他發現千代雖是藝妓的妹妹，本人卻是賢妻良母型，不禁大失所望。他看上了千代15歲的三妹是“可造之材”，於是經常把千代打發回老家照顧他父親，自己卻在東京和三妹半公開地同居起來。這一段培養少女的經歷被他寫成了前期的代表作《癡人的愛》。後來那位三妹在谷崎的資助下成爲了演員。
有一段時間他真心想和三妹結婚，但谷崎是長子，有一種莫名的責任感，覺得一定要幫前妻解決好今後的生活才能離婚。他刻意地經常不在家，拜託他的好朋友詩人佐藤春夫照看妻女，想撮合佐藤和千代。佐藤和千代得到他的暗示，經過一段時間來往，也真的產生了感情。可是事與願違，三妹拒絕了谷崎的求婚。他又想和千代複合，找到佐藤春夫，要和他絕交，說以前的事一律作廢，讓佐藤不要再聯繫千代。佐藤給他玩得昏頭轉向，卻又真心愛上了千代，在絕交期間不能給千代寫信，就寫了很多情詩發表在報刊雜誌上。後來彙總成《殉情詩集》，被譽爲日本近代戀愛詩集的壓卷作。谷崎也根據這段經歷寫了《神與人之間》、《食蓼蟲》等作品。
他們這一絕交就是六年。其間佐藤結了婚，又離了婚。谷崎想和千代重歸於好，但夫妻關係總是坎坷。六年後，他們在東京的一次聚會上又碰面了，一笑泯恩仇。佐藤說起自己家庭生活不如意，谷崎並沒作聲。他們三個人討論之後，聯名給親朋好友發了一張明信片，聲明“千代跟谷崎離婚，跟佐藤結婚。鮎子由千代撫養，谷崎家的住房讓給佐藤和千代。”當時谷崎住在神奈川縣的小田原，這件事被稱爲“小田原事件”，也就是俗稱的“細君譲渡事件”，在社會上引起軒然大波，被作爲文學家道德敗壞的例證。
他和千代夫人關係冷淡期間一直出遊在外。一次，在別人招待芥川龍之介的宴會上，他認識了慕名前來見芥川的根津松子夫人。松子出身於關西的大戶人家，是四姐妹中的老二，當時嫁在大阪數一數二 的大富豪根津家，已生兒育女(也就是《細雪》蒔岡四姐妹的故事原型)，谷崎一見傾心，驚爲天人。可是，雙方都有家庭，而且根津家財大勢大，他只是一介文人，所以雖然仰慕，但也遙不可及。
他一直與松子夫人書信來往，但自己也知道是無望的。谷崎在信中稱松子夫人是激發自己創作靈感的藝術女神，用非常恭敬的謙語，表示願意作松子夫人的奴僕。
但谷崎明知和松子夫人沒有結果，就打算找個新人。他從女祕書帶來的3個女同學中挑選了一個，展開攻勢。這是一個20歲出頭，還充滿幻想的文學女青年。谷崎想把她培養成理想的妻子，好像光源氏培養若紫一樣。1930年，他和千代離婚，第二年和這位丁未子夫人結婚。婚後，谷崎家和根津家仍是鄰居，兩家經常走動。
蜜月後沒多久，谷崎發現要把這個日本娃娃似的年輕夫人培養成心目中的理想女性對40後半期的自己來說太累了。而根津家因爲戶主(松子夫人的丈夫)不擅經營，那時經濟已很拮据，只剩表面的排場，後來甚至把別墅都賣了。而且根津先生有一個公開的情人，很少回家。根津和松子的婚姻也搖搖欲墜。谷崎看到了自己愛情的一線曙光，在根津家的默許下，兩人迅速接近。在谷崎和丁未子短暫的婚姻生活中，數次借住根津家的別墅，沒幾個月，他們就分居了。谷崎甚至在松子的陪同下，在松子孃家出錢建的寺廟裏隱居寫作。
谷崎和丁未子的婚姻只維持了一年，在松子和根津離婚後，谷崎也離了婚，並在49歲時和32歲的松子結婚，終於找到了自己終生的伴侶。
