早在就讀於上海中國公學時，年輕的胡適就寫過一篇《論家庭教育》，發表於1908年9月6日的《競業旬報》上，其中說道：“看官要曉得，這家庭教育最重要的便是母親。因爲做父親的，斷不能不出外幹事，斷不能常住在家中，所以這教兒子的事情，便是那做母親的專責了……現在要改良家庭教育，第一步便要開辦女學堂。”
遺憾的是，胡適後來的妻子江冬秀沒有進過學堂，按胡適的觀點，她是無法成爲一個稱職的母親的。
胡適和江冬秀育有3個子女。長子胡祖望雖接受了高等教育，但遠未能達到胡適對他的期望，胡祖望取得的成績與他的“名父之子”的身份是不相稱的。小兒子胡思杜就完全不成器了，在美國讀了兩個大學都未能畢業，還染上不少壞習氣，最終被美國當局驅趕回國。而女兒素斐5歲那年患病，卻因救治不當夭折。
胡適公務繁忙，無暇照顧、管教孩子，而他的太太江冬秀因沒有接受教育，對孩子，無論是養育還是管教，都不甚得法。對妻子的“教子無方”，胡適似乎很有怨言。這種情感，在他的信中也可見端倪。1927年2月5日，遠在美國紐約的胡適給江冬秀寫了封信，信中談到夭折的女兒。胡適說：“我想我很對不住她。如果我早點請好的醫生給她醫治，也許不會死。我把她糟掉了，真有點罪過。我太不疼孩子了，太不留心他們的事，所以有這樣的事。今天我哭她，也只是怪我自己對她不住。我把這首詩寫給你看看。”
這封信裏，胡適雖然只是自責，但他認爲，女兒是因爲治療不當被“糟掉”的，父親難辭其咎，做母親的，難道就沒有責任?
胡適關於家庭教育的觀點終身未變，晚年，他曾對祕書說過這樣一番話：“娶太太，一定要受過高等教育的;受了高等教育的太太，就是別的方面有缺點，但對子女一定會好好管理教養的。母親有耐心，孩子沒有教不好的;孩子教不好，那是做母親的沒有耐心的關係。”
