A római korban egy épület állt itt, amit az 1958-ban feltárt, toronyhoz tartozó templomrom hajójának falaiban látható, halszálka szerűen rakott kövek bizonyítanak. Ezt a fajta falszövetet a rómaiak alkalmazták, a hazai középkori épületekben, romokban hasonlót nem Valószínűleg ez időben már hanyatlóban volt a régi település, mely az 1420-ban írt oklevél szerint a XV. század elején már teljesen elnéptelenedett.
Pusztulása már a török támadásai során /1558/ megkezdődött, s helyzete a hódoltság alatt csak tovább romlott.

Az elnéptelenedett falu templomát az ország töröktől való felszabadítása után sem állították helyre, s az tovább pusztult. Köveit a falu házainak építéséhez hordták el. Szigliget újratelepülése a mai falu helyén, a vár alatt indult meg erőteljesebben a 18. században. Ilyen régi építményekhez általában mindenhol fűződnek hiedelmek, legendák. Ez alól az Avasi -torony sem kivétel.

Ehhez a templomhoz a kőkecske legendája fűződik.
„… A templom előtt volt régen egy kőkecske. A gyerekek azon szoktak játszani, lovagolni… Régen történt, hogy egy vasárnap odajött egy katona és egy nagy bárddal kettévágta a kőkecskét. Tele volt aranypénzzel. A kőkecskét még a törökök hagyták itt. A katona is török volt, így ő tudta, hogy mit rejt a kőkecske. A katona elvitte a sok pénzt. A kecskét meg később szétverték a gyerekek.”

A toronyhoz sokféle más hiedelem fűződik. Van aki azt mondja, hogy „török hagyomány”, más meg a „vörösbarátok” templomromjának tartja. Ahogy a környéken lakó emberek mesélik, igen elvadult hely volt ez régen. Az útépítésekor és a környező házak alapjainak ásásakor sok csont és koponya került elő a torony környékén. Sokan féltek is itt lakni eleinte, mert akkor még a halottakat is a toronyban helyezték el temetésig. Azóta azonban már beépült környéke és történetére is némi fény derült.

Formailag, szerkezetileg hasonlít az egregyi és a felsőörsi templomok tornyaihoz, de arányában és a részletek kidolgozásában sokkal egyszerűbb, művészi szempontból kisebb értékű alkotás.