中國士大夫與佛道兩教，尤其是與佛道兩家思想的關係，由來已久。早在東漢末張道陵創立道教以前，神仙說流行之初，文學之士中便有一派，“祇以神仙、仙山或帝鄉來寄託自己的情懷，不必信其為必有，或可求底，這派可以稱為騷人派。”如屈原的《離騷》以深沉的道家思想寫其騷人情懷。又如賈誼的悲觀愁怨情調，司馬相如的瀟灑出塵之想。佛教傳入以後，士大夫與高僧往還，史不絕書，如晉代慧遠與蓮社諸賢往還。禪宗興起以後，則有王維的詩畫禪，白居易、蘇軾的禪悅。入宋以後，會通儒釋，以至三教同源的思想逐漸發展。沿至明代，三教合一的傾向越來越明顯。
吳漁山的十一世祖吳訥，晚年辭官歸里以後，過妷“松扉敲月訪舊友，禪房啜茗譚真空”的隱居生活。南朝齊永明中，有龍虎山道士張道裕隱居虞山，棲於致道觀丹井，訥作〈題虞山丹房圖〉詠其事云：“虞山高哉幾千尺，屹立巍巍倚空碧。中有山人號中陽，燒丹避世全形跡。晴空煜煜丹光浮，丹房正對西湖頭。⋯⋯丹砂石髓藏深崖，瑤草琪花滿幽路。⋯⋯君不見蓬壺渺渺稱神仙，古今馳慕求長年。陰陽妙合聚復散，海波日日多桑田。中陽一去不復返，星移物換俱茫然。獨存長松覆荒井，至今夜夜聞啼鵑。”可知這位從祀子游祠的儒學名臣，對神仙服食之說雖然感到渺茫，受釋道兩教的影響郤顯而易見。明清易代之際，士大夫多以習儒、參禪、學道兼通三教為榮。明遺民中，逃禪與禪悅，一時成為風氣。江南、滇南和嶺南，可謂千里同風。漁山江南師友與佛道兩教的關係，便是這一時代的產物。有明於此，始可進而瞭解漁山為修士前與佛道兩教的關係。