A legenda szerint erre járt a gyermek Jézus Szűz Máriával és Szent Józseffel szamárháton. A kő mellett elmenve, a szamár odakapott a szikla oldalán kinőtt fűcsomóhoz, ezért lett a kő neve Szamárkő. A két nyom pedig Jézus lábnyoma és a szamár patájának nyoma. Más történet szerint a követ a tihanyi tűzhányó dobta át ide. Vagy a vízözön hagyta itt. Valaki szerint pedig a Szentföldről hozták a keresztes vitézek. A valóság ettől sokkal profánabb: a kő helyben képződött a vulkáni utóműködés idején. A mélyből feltörő gőzök és gázok, a forró víz és a benne lévő ásványi anyagok cementezték össze a homokot szilárd kőzetté. A szürke homokkőben megkövült csigák láthatók.

Később a kelták is megülték e helyet, és a kő körül földvárat építettek. A honfoglalás óta a kő határjelként szerepelt. A múlt században a zsellérek kapták meg ezt a domboldalt legelőnek állataik számára. Itt őrizték disznaikat, birkáikat, kecskéiket, szamaraikat egy falkában. A gyerekek szívesen eljátszadoztak a kövön és környékén. 1942-ben Margittay Richárd író és villatulajdonos kutatta a kő eredetét és szerepét. A követ fehér ló áldozati kövének tartotta. Ajánlotta a kő megásását. 1961-ben a Balatoni Intéző Bizottság megásatta a kő környékét, de semmi értékesebb lelet nem került elő.