相傳在很久前，日本遭受大洪水，而有一棵大樹被沖到近江置高島縣，這相當於現在滋賀，也就是琵琶湖那一帶，靠近白鬚神社那裡，而有居民把樹的末端砍掉，當地就發生房子起火及流行病肆虐，把這人嚇得不敢動那樹，後來輾轉有人又來到此，發願要將這樹作成十一觀音像，將樹用繩索拖到長谷地區做成了十一面觀音，後來又有神明託夢，建成了奈良長谷寺來供奉這座十一面觀音。
而鐮倉長谷寺，相傳是在西元721年，當時德道上人用同一株巨大樟木雕刻成兩尊觀音佛像，一尊被供奉在奈良長谷寺，另一尊被推入海中，希望菩薩去有缘之地，普渡眾生。於是在15年后，這個觀音像出现在神奈川三浦半島的海邊。人們為了供奉觀音菩薩，而在西元736年建了鐮倉長谷寺。長谷寺內的十一面觀音，觀音像高9.18米，是日本現存最大級别的木雕觀音佛像。這高度相當於三層樓高啊，觀音菩薩辛苦了，在海上漂流了15年呢！