Ο λόφος του μεσαιωνικού Κάστρου αποτελεί τον πυρήνα του οικισμού από την εποχή της πρώτης εγκατάστασης (4η χιλιετία π.Χ.) μέχρι σήμερα. Το Κάστρο έκτισε ο Ενετός δούκας της Νάξου Σανούδος (13ος αι.) με αρχιτεκτονικά μέλη αρχαίων ιερών. Η αρχαιολογική έρευνα έχει εντοπίσει εντοιχισμένα μέλη τριών αρχαϊκών ναών και δύο της κλασικής εποχής. Από αυτούς σώζεται μόνο ένα μικρό τμήμα του αρχαϊκού ναού της Αθηνάς (6ου π.Χ. αι.) στην κορυφή του λόφου. Δίπλα στα θεμέλια του ναού αποκαλύφθηκε τμήμα του πρωτοκυκλαδικού οικισμού. Στη βόλτα μας στο Κάστρο θα συναντήσουμε μικρά εκκλησάκια, πολλά από αυτά ενσωματωμένα στα τείχη, όπως η Παναγία του Σταυρού, η Αγία Άννα, ο Άγιος Μάρκος, ο Άγιος Στυλιανός και ο εκπληκτικός σε αρχιτεκτονική ναός του Αγίου Κωνσταντίνου, με στεγασμένο προαύλιο και καταπληκτική θέα προς την θάλασσα, ένας από τους ωραιότερους στο Αιγαίο.
