Ανάμεσα στα χωριό Άγιος Ματθαίος και Μεσογγή, πάνω σε έναν λόφο, βρίσκεται το Κάστρο Γαρδικίου, ή μάλλον τα ερείπια του βυζαντινού αυτού κάστρου, το οποίο την περίοδο της ακμής του προσέφερε προστασία στους κατοίκους των γύρω περιοχών από τις επιδρομές των πειρατών.
Επίσημα στοιχεία για την περίοδο κατασκευής του δεν υπάρχουν, θεωρείται όμως σχεδόν βέβαιο ότι κτίστηκε στις αρχές του 13ου αιώνα, την περίοδο που διαφέντευε την περιοχή ο ηγεμόνας του Δεσποτάτου της Ηπείρου Μιχαήλ Α΄ Άγγελος Κομνηνός.
Το Κάστρο Γαρδικίου, με το Κάστρο Κασσιόπης στα βορειοανατολικά του νησιού και το Αγγελόκαστρο στα βορειοδυτικά αποτελούσαν ένα αμυντικό τρίγωνο που διασφάλιζε την άμυνα του νησιού.
Το Κάστρο Γαρδικίου ήταν ένας επιβλητικός όγκος οκταγωνικού σχήματος με οκτώ διώροφους ορθογώνιους πύργους σε ακτινωτή διάταξη, εκ των οποίων πιο σημαντικός είναι ο νότιος. Σε αυτόν εντοπίστηκαν λείψανα τοιχογραφιών και πιθανολογείται ότι είχε μετατραπεί σε παρεκκλήσι. Στην τοιχοδομία του κάστρου βρίσκονται ενσωματωμένα μέρη και υλικά από αρχαιότητες της περιοχής. Το Κάστρο Γαρδικίου είχε δύο πύλες από τις οποίες σήμερα χρησιμοποιείται η νότια.