Ο μοναδικός βυζαντινός ναός που σώζεται μέχρι σήμερα είναι ο Άγιος Αντώνιος, βρίσκεται σε απόκρημνη και ερημική τοποθεσία στη βόρεια ακτή του νησιού, σε απόσταση πάνω από δύο ώρες από τη Χώρα και είναι μετόχι της Μονής της Χοζοβιώτισσας Αμοργού. Ο ναός αποτελείται από δύο καμαροσκέπαστους χώρους με ημικυκλικές αψίδες που επικοινωνούν με μεγάλο τοξωτό άνοιγμα και εντοιχισμένα μερικά αρχαία αρχιτεκτονικά μέλη. Στο βόρειο κλίτος, που άλλοτε ήταν «κατάγραφο» (ζωγραφισμένη όλη η επιφάνεια) διατηρούνται ακόμα τοιχογραφίες. Διακρίνονται με ζωηρά χρώματα η παράσταση της Υπαπαντής, πάνω από αυτήν το κάτω τμήμα της Γέννησης και αριστερά τους τμήμα από την παράσταση της Ανάληψης. Ένα έργο ασυνήθιστα καλής ποιότητας για τις σύγχρονες Κυκλάδες, έχει χρονολογηθεί στις αρχές του 14ου αιώνα. Πάνω και εμπρός της εκκλησίας αυτής υπάρχει ένας τεράστιος βράχος το Κατράκη όπως λέμε σήμερα, πάνω στο οποίο υπάρχουν κτίσματα που δεν έχουν χρονολογηθεί.