《晉書·謝玄傳》：“ 玄少好佩紫羅香囊， 患之，而不欲傷其意，因戲賭取，即焚之。”說明謝玄小時候喜歡戴紫羅香囊，這紫羅香囊究竟爲何物?爲何其叔父不許佩戴?
謝玄年少時，好戴紫羅香囊，腰間垂掛着繡帕之類的物品，謝安以此爲憂，但又不想傷他的自尊心，於是在某一次遊戲時，將紫羅香囊作爲和謝玄博戲的籌碼，設法把香囊取到手中，把它燒掉，謝玄從此再也不去佩帶這一類物什。
紫羅香囊即用紫羅縫製的香囊，掛着一種叫覆手的飾品，喻指精美之物。其叔父不許佩戴的原因有兩種：
據說那時候流行好男風，佩戴紫羅香囊打扮得跟女人一樣，謝家子弟將來是要做大事的，絕對不可以這樣陰柔，謝安希望謝玄不要沾染那種風氣，希望自家的侄子能像個男子漢，擔起家門的重責。
另一種說法是，謝玄自幼長在高門士族、鍾銘鼎食之家，沾染上貴族男子的習氣，好帶紫羅香囊，掛着覆手，追比風尚。謝氏家族不乏名士，謝安、謝奕、謝萬名聞於世，謝家唯缺將才，謝安一心讓謝玄從武，對他人生選擇特別關注，謝玄的性格趨向讓他很擔憂。
