Στεγάζεται σ’ ένα από τα πιο επιβλητικά κτήρια του Κάστρου, ένα περιφερή πύργο με τέσσερα επίπεδα και απίστευτη θέα προς το λιμάνι, που βρίσκεται κοντά στη βορειοδυτική πύλη.
Είναι ο μοναδικός πύργος που σώθηκε από τους (υποτιθέμενους) δώδεκα που προστάτευαν το Κάστρο του Σανούδου.
Τα οικόσημα των Μπαρότση και Κρίσπι, αντίστοιχα στην κύρια είσοδο και στο υπέρθυρο της εσωτερικής θύρας του πύργου, υπενθυμίζουν δύο από τους ιδιοκτήτες του που υπήρξαν αρχικά η οικογένεια των Κρίσπι και στη συνέχεια ο Φραγκόπουλος, ο Ιωσήφ Μπαρότσης και τέλος η οικογένεια Π. Γλέζου.
Οι τελευταίοι τον δώρισαν στο κράτος γι ‘αυτό και είναι γνωστός ως πύργος του Γλέζου ή της Απειραθίτισσας, λόγω της καταγωγής των δωρητών.
Σήμερα το κτήριο, που είναι πλήρως αναστηλωμένο, λειτουργεί σαν βυζαντινό μουσείο των Κυκλάδων και φιλοξενεί μια πολύ αξιόλογη έκθεση βυζαντινής γλυπτικής από τη Νάξο και τις Κυκλάδες της περιόδου από τον 7ο έως τον 12ο αιώνα.