樂山大佛景區規模不大，景區內除大佛之外，還有凌云禪院、靈寶塔、載酒亭、蘇園、東坡樓等小景點尚可一看。其中蘇園、載酒亭、東坡樓都與蘇東坡有淵源，甚至樂山市區內還有東坡路，那么樂山大佛與蘇東坡究竟有什么關系？
蘇軾是四川眉山人，地理上眉山距離樂山不過4、50公里，歷史上眉山曾屬嘉州（樂山），直到1997年眉山縣還屬于樂山市代管，出身上似乎有點聯系。但蘇軾終其一生，有據可查的只是路過樂山大佛游玩過一次，所以說也沒有太大的聯系。樂山有關蘇東坡的傳說大多是后人編造的。
北宋嘉佑四年（公元1059年），當時二十多歲的蘇東坡曾與父親蘇洵和弟弟蘇澈同游樂山大佛所在的凌云山，此后不久出川參加科舉考試，雖然后來又因父母去世兩次回眉山守孝，但并沒有再游樂山大佛的記錄。
不過，蘇東坡對樂山的風景還是念念不忘的。三十多年后，蘇東坡做杭州太守時，一位姓張的朋友要去嘉州做太守，蘇東坡就寫了一首《送張嘉州》相送，首四句是“生不愿封萬戶侯，亦不愿識韓荊州。但愿身為漢嘉守，載酒時作凌云游。”這頭兩句看似是揶揄李白。因為李白年輕時曾寫過一首“生不用封萬戶侯,但愿一識韓荊州”獻給一個姓韓的荊州官吏，雖然貌似真誠，但其實還是在拍“韓荊州”的馬屁，表達了求薦做官的意愿。蘇東坡則更瀟灑，連“韓荊州”也不愿意去結識，只想去做漢嘉守（即嘉州太守），這樣就可以時常到凌云山喝酒游玩了。
只因這一句詩，后人便在現在景區的山路上蓋了一座“載酒亭”，明代嘉州知事郭衛宸更在旁邊手書了“蘇東坡載酒時游處”幾個大字。其實蘇東坡到樂山只有“一游”，從未“時游”過。
至于大佛景區內的東坡樓，傳說蘇東坡曾在讀書生活。但此處原本曾是明朝魏忠賢為自己建的生祠，后來魏倒臺，就將祠改為紀念蘇東坡的東坡樓。蘇東坡并未在此讀書生活過，所謂蘇東坡在此求學、蘇東坡在此教龍王三太子讀書等民間傳說也都是群眾創造的。
東坡樓橫匾上的三個字是從黃庭堅的手跡中收集來的。黃庭堅是蘇軾的學生，“蘇門四學士”之首，也是北宋文壇、政壇著名人物，因為詩歌上的造詣與蘇軾合稱“蘇黃”，又因為書法上的造詣和米芾、蔡襄四人共稱“蘇黃米蔡”。1100年，黃庭堅在貶官戎州（今宜賓）期間曾到老師蘇東坡提到過的樂山大佛游玩，并在此地留下一首《 凌云紀游 》。
“凌云一笑見桃花，三十年來始到家。
從此春風春雨后，亂隨流水到天涯。”
也許是一語成讖，詩成一年之后，貶居海南多年的蘇東坡收到朝廷恩準北歸，途中病逝于江蘇常州。四年之后，黃庭堅在更加遙遠偏僻的廣西宜州去世。
