這個成語的出處在《舊唐書·長孫無忌傳》，原文是這樣的：“ 褚遂良學問稍長，性亦堅正，既寫忠誠，甚親附於朕，譬如飛鳥依人，自加憐愛。”
當年，褚遂良是唐朝著名書法家，他的書法博採衆長，變化多姿，自成一家。因爲精通書法，被魏徵推薦給唐太宗，並受到太宗的賞識。
唐太宗任命褚遂良擔任起居郎一職，專門記載皇帝的言行起居。有一次，唐太宗問褚遂良：“你每天記載我的言行起居，我可以看看嗎?” 褚遂良回答說：“如今設立起居郎的職務，如同古代的史官，善行惡行 都要記錄在案，以督促皇帝不犯錯。我從未聽說皇帝本人要看這些內容的。”唐太宗又問道：“如果我有不好的言論、行爲，你也要記下來嗎?”褚遂良回答說：這是我的職責所在，您的一言一行，我都要記下來。”
不久之後，唐太宗對長孫無忌說：“我今天要當面評論你們的功過得失，引以爲鑑，使你們警惕。說者沒有過錯，聽者自己改過。”說完他就看着長孫無忌說：“你善於避嫌、隨機應變，但是領兵打仗不是你的長項。高士廉博覽羣書，悟性很高，臨危受難不變節，做官也不拉幫結派，但是缺少直諫的勇氣。”唐太宗將朝中大臣評論一番，最後說到了褚遂良。唐太宗就說了本文開篇的那段話，用現在白話說的意思就是：
“褚遂良在學問方面大有長進，性格很剛直，對朝廷忠心，對我很有感情，平時一副飛鳥依人的模樣，我很是憐愛他啊!”小鳥依人成語由此而得。
