據記載，公元520—526年，達摩自印度航海來到廣州，傾心佛學的南朝梁武帝蕭衍派人專程迎達摩到南京，儀式十分隆重。
禪宗六祖慧能所著的《壇經》裏記載了梁武帝與達摩見面後的對話。梁武帝問：“朕即位以來，造寺、寫經、度僧不可勝數，有何功德?”可達摩卻說沒有功德，因爲梁武帝修的只是福德或福報;又直言“淨智妙圓，體自空寂。如是功德，不以世求”。這句話的意思是，“完成自我、淨化自我，又淨化他人，普度衆生”纔是功德。這樣的功德，不是靠世俗的有爲來求得的。
雙方話不投機，達摩不辭而別。事後，梁武帝把他與達摩的問答告訴寶誌禪師。寶誌聽後說，達摩的開示很好，是觀音菩薩乘願再來，傳佛心印。
梁武帝深感懊悔，得知達摩離去的消息後，馬上派人騎騾追趕。追到幕府山中段時，兩邊山峯突然閉合，一行人被夾在兩峯之間。達摩正走到江邊，看見有人趕來，就在江邊折了一根蘆葦投入江中，化作一葉扁舟，飄然過江;並北上北魏都城洛陽，後來經面壁九年修煉，成爲我國佛教禪宗的開山祖師，併成就了嵩山少林寺。因此，人們仍把幕府山的這座山峯叫做夾騾峯，把山北麓達摩休息過的山洞稱爲達摩洞。
今日江北長蘆禪寺內的一葦堂，就是爲紀念達摩渡江後參拜長蘆寺而建的。達摩“一葦渡江”後，在江北長蘆寺停留，後又至定山寺面壁修行。定山寺至今留有“達摩巖”、“宴坐石”、達摩畫像碑等遺蹟。其中，達摩畫像碑爲國內最早的達摩造像碑，比嵩山少林寺的祖師碑要早120多年。定山寺成爲禪宗重要叢林，被譽爲“達摩第一道場”。
乾隆曾在永濟寺三尋生父
相傳清朝乾隆皇帝曾五下江南，兩次登上幕府山，留下了許多詩詞，他曾贊幕府山“建幕當年識茂宏，渡江事業賴經營。濟時宜進曹樊輩，乃在賀循與顧榮”。觀音山“玲瓏懸峭壁，漩復帶長江。幕府遙開璋，樓船正掛雙。濤聲在几席，煙景暗軒窗。葦渡西來意，長明珠殿”;遊觀音山永濟寺“綠壁飛樓鐵鎖牽，下臨無地上惟天。須彌海水依空住，棗葉龍宮現偶然”等詩詞。
此外，該山的石棋盤、虎跑泉、青牛腳印、化龍縫、一筆壽等景點都有各自的傳說。乾隆皇帝永濟寺內三尋生父、唐伯虎船泊燕子磯錯過紅顏知己、朱元璋爲修建南京城牆的村子御賜“窯上村”一名等民間故事，更是動人，流傳千古。
