Το κάστρο, σήμα κατατεθέν της Αστυπάλαιας, μέχρι τον 19ο αιώνα αποτελούσε τον μοναδικό οικισμό του νησιού. Όλα τα σπίτια έξω από αυτό τα έλεγαν σταύλους.
Από το 1930 και μετά άρχισαν να κατασκευάζονται σπίτια έξω από το κάστρο και να μετατρέπονται οι σταύλοι σε σπίτια προσθέτοντας νέους χώρους ή ορόφους. Αυτά ονόμαζαν ξώκαστρα. Στο εσωτερικό του κάστρου υπήρχαν περίπου 400 σπίτια, όλα τριώροφα και κτισμένα κολλητά το ένα με το άλλο, με στενά δρομάκια που μόλις χωρούσε να περάσει άνθρωπος. Τυπικός οχυρωμένος οικισμός που κάποτε έφτανε τις 4000 ψυχές σύμφωνα με μαρτυρίες επισκεπτών.
Την σημερινή μορφή του την πήρε το 1413 με την ανακατασκευή του Τζιοβάνι IV Κουϊρίνι. Χτισμένο σε πλάτωμα 4.000 τ.μ. επιλεγμένο για τις αμυντικές θέσεις των κατοίκων. Το τείχος του κάστρου σχηματίζει δακτυλίδι που ουσιαστικά αποτελείται από δύο παράλληλα τείχη που ενδιάμεσα τους στους ελεύθερους χώρους διαμορφώνονται κατοικίες. Η μοναδική είσοδος πλαισιώνεται από δύο ισχυρούς με αγκωνάρια κτισμένους πύργους.
Το εσωτερικό είναι κτισμένο με χαμηλό σταυρόλιθο (αδιάψευστο στοιχείο της φραγκικής αρχιτεκτονικής). Στην βάση της εισόδου ανοίγεται η στοά όπου δεξιά και αριστερά υπάρχουν λίθινα πεζούλια που χρησίμευαν για να κάθονται και να ξεκουράζονται οι κάτοικοι κάνοντας κοινωνικές επαφές και εμπορικές συναλλαγές.
Στην νότια άκρη του κάστρου βρίσκεται ο άλλος πύργος, τετραώροφος γνωστός ως Σαράι και αγναντεύει όλο το πέλαγος. Το κάστρο διέθετε άριστος αποχετευτικό δίκτυο που εξασφάλιζε στους κατοίκους υγιεινή διαβίωση.
Οι Αστυπαλιώτες την ημέρα δούλευαν έξω στα κτήματα και το βράδυ κλείνονταν μέσα στο κάστρο από τον φόβο των ληστών – πειρατών. Πάνω από την πόρτα στο κάστρο υπάρχει ακόμη μια τρύπα, ο φονιάς, από την οποία έριχναν καυτό νερό ή άφηναν ελεύθερα μελίσσια για να διώξουν τους ληστές.
Μεγάλη επέμβαση στην πύλη του κάστρου θεωρείται η ανέγερση του ναού την Παναγίας αφιερωμένος στον Ευαγγελισμό της Θεοτόκου. Χτίστηκε στα μέσα του 19ου αιώνα το 1853 αφού γκρεμίστηκε η κατοικία της βενετικής οικογένειας των Κουϊρίνι.
Στο εσωτερικό του κάστρου βρίσκεται και ο αρχαιότερος ναός του Αη Γιώργη όπου κτίστηκε το 1790. Ο ελεύθερος χώρος μπροστά στην εκκλησία αποτελούσε τη μπλάτσα (πλατεία) όπου γίνονταν γιορτές πανηγύρια και χοροί της καστροπολιτείας.
Το κάστρο υπέστη καταστροφές από τους σεισμούς, βομβαρδισμούς των Γερμανών αλλά και από τους κατοίκους που έπαιρναν από τα ερειπωμένα σπίτια τα δομικά υλικά για να κτίσουν σπίτια έξω από αυτό.
Σήμερα αποτελεί πόλο έλξης για τους επισκέπτες του νησιού χωρίς κανένα ιδιαίτερο ρόλο στην ζωή της σύγχρονης Αστυπάλαιας.