Το φρούριο Castel Selino κτίστηκε από τον Ενετό Δούκα Marino Gradenigo το 1279, πάνω σε ένα φυσικά οχυρό βραχώδες ύψωμα, με σκοπό την προστασία των Βενετών εποίκων της περιοχής. Το φρούριο έπεσε κάποια στιγμή στα χέρια ντόπιων επαναστατών οι οποίοι το κατεδάφισαν. Παρά τις αντιδράσεις των ντόπιων, η ενετική διοίκηση φρόντισε να το ανοικοδομήσει. Το 1539 το οχυρό πολιορκείται από τον πειρατή Χαϊρεδίν Μπαρμπαρόσα, οποίος το κατέλαβε αφού κατέστρεψε με κανονιοβολισμούς την πύλη του. Παρά την πυρπόληση και την λεηλασία, οι κάτοικοι γλύτωσαν τις ζωές τους κρυμμένοι σε μια από τις στέρνες. Το 1595, επισκευάζεται από τον ρέκτορα Χανίων Benetto Dolfin και τίθεται ξανά σε πλήρη λειτουργία. Το 1653 η περιοχή του Σελίνου καταλαμβάνεται από τους Οθωμανούς, οι οποίοι εύκολα το κατακτούν χωρίς όμως να δείξουν κανένα περεταίρω ενδιαφέρον για την συντήρησή του. Έκτοτε παρακμάζει λόγω της εγκατάλειψης και μόνο το 1867, στο πλαίσιο της νέας οθωμανικής οχυρωματικής πολιτικής, ανακατασκευάζεται εν μέρει. Κατά την περίοδο της Γερμανικής Κατοχής 1941-1944, χρησιμοποιήθηκε λόγω της θέσης του σαν πολυβολείο.
Το Castel Selino κατατάσσεται στην παλαιότερη ομάδα φρουρίων της Κρήτης μαζί με αυτά του Φραγκοκάστελλου, της Ιεράπετρας και της Κισάμου. Απεικονίζεται από τους χαρτογράφους του 17ου αι. G. Corner (1625), F. Basilicata (1630), R. Monanni (1631), M. Boschini (1651) καθώς και στις φωτογραφίες του περιηγητή G. Gerola το 1903.
Πρόκειται για κτίσμα λίγο – πολύ τετράγωνο με αρκετές αποκλείσεις λόγω της διαμόρφωσης του εδάφους. Διέθετε τέσσερις τετράγωνους πύργους στις γωνίες και ανάμεσά τους ευθύγραμμα κάθετα τμήματα (cortine) με οδοντωτές πολεμίστρες. Ο καλύτερα διατηρημένος σήμερα πύργος είναι της βορειοδυτικής γωνίας, ο οποίος φαίνεται να ήταν διώροφος. Σύμφωνα με τα σχέδια του 17ου αιώνα, στο εσωτερικό του φρουρίου υπήρχαν αρκετά κτίσματα καθώς και μια μονόχωρη καμαροσκέπαστη εκκλησία.
Τα τελευταία τριάντα περίπου χρόνια έχουν πραγματοποιηθεί εργασίες συντήρησης του φρουρίου καθώς και αρχαιολογικές έρευνες. Αποκαλύφθηκαν τα θεμέλια πολλών κτισμάτων, όπως κατοικίες των αξιωματικών, στρατώνες, αποθήκες, στέρνες καθώς και τα ίχνη εκκλησίας, επιβεβαιώνοντας έτσι την ακρίβεια των παλαιών χαρτών. Πολύ ενδιαφέροντα είναι επίσης και τα αντικείμενα καθημερινής χρήσης που βρέθηκαν, όπως θραύσματα ιδιαίτερα αξιόλογων αγγείων εισηγμένων από εργαστήρια της Δύσης, κυρίως της Βενετίας, αλλά και της Ανατολής, τύπου Ιζνίκ (Νίκαιας), οπλισμός, εξαρτήματα ρουχισμού και νομίσματα.