Το σπουδαιότερο σήμερα σωζόμενο κτίσμα του κάστρου είναι ο πύργος που υψώνεται στο δυτικό άκρο του πευκόφυτου λόφου και είναι γνωστός ως “Πύργος του Ορέστη”. Ο ισχυρότατος αυτός πύργος κτίστηκε σε αρχαίο φρούριο που υπεράσπιζε την πόλη τον Ζ΄ και ΣΤ΄ π.χ αιώνα.
Η ίδρυση της βυζαντινής Ακρόπολης ανάγεται στον 9ο μ.χ αιώνα , όπου πηγές αναφέρουν οτι ο αυτοκράτορας Νικηφόρος Φωκάς κατασκεύασε οχυρωματικά έργα στην πόλη των Σερρών. Κατα τη Βυζαντινή Περίοδο αναφέρεται σε πολλά χρυσόβουλα των βυζαντινών αυτοκρατόρων ως «Κάστρο».
Μετά την κατάκτηση των Φράγκων επικράτησε η ονομασία «Καστέλι» που διατηρήθηκε εως τα χρόνια της τουρκοκρατίας. Οι τούρκοι ονόμαζαν την Ακρόπολη «Μπας Κουλέ» και απο αυτό το όνομα προήλθε και η ονομασία “Κουλάς” που ισχύει εως σήμερα.
Την περίοδο των βυζαντινών χρόνων η ακρόπολη περιβαλλόταν από ισχυρό τείχος με ατρακτοειδές σχήμα. Στο εσωτερικό του περιέκλειε τις κατοικίες των εκάστοτε διοικητών και αξιωματούχων του κράτους. Το τείχος της Ακρόπολης, σύμφωνα με τον τούρκο περιηγητή Εβλιά Τσελεμπή, είχε δύο πύλες στην ανατολική και δυτική πλευρά, τα ίχνη της οποίας (δεύτερης) διασώζονται εως και σήμερα.
Μεγαλόπρεποι πύργοι αποτελούσαν μέρος του τείχους. Ο ακριβής αριθμός αυτών δεν είναι γνωστός, διότι υπάρχει διαφωνία μεταξύ περιηγητών και ερευνητών. Ο γάλλος ROBERT DE DREUX αναφέρει τέσσερις πύργους, ενώ ο Π.Παπαγεωργίου κάνει λόγο για έξι. Σήμερα έχει διασωθεί «ο πύργος του Βασιλέως» στη δυτική πλευρά, το ψηλότερο μέρος του οποίου είναι κατεστρεμμένο. Μιά δεύτερη εκδοχή για το χρόνο κτισίματος του κάστρου της Ακρόπολης, παραπέμπει στην επιγραφή που βρίσκεται στο δεξιό άκρο του πύργου του Βασιλέως, για την ερμηνεία της οποίας εκφράστηκαν πολλές απόψεις. Η επικρατέστερη είναι ως «Πύργος του Ανδρονίκου Βασιλέως ον έκτισεν Ορέστης». Πρόκειται για τον αυτοκράτορα Ανδρόνικο τον Γ΄, που στα 1341 μ.χ. ετείχισε την Αμφίπολη και το Δεμίρ Ισάρ (Σιδηρόκαστρο) και πιθανότατα και την πόλη των Σερρών.
Ο επιβλητικός λόφος του Κουλά, στους πρόποδες του οποίου απλώνεται η πόλη των Σερρών, αποτελεί χρόνια τώρα πόλο έλξης όχι μόνο για τους Σερραίους, αλλά και για κάθε εθνικότητας επισκέπτες που στο Κάστρο, όσο και στα εναπομείναντα τείχη θα νιώσουν να ξεπηδούν ήρωες της ιστορίας και να ξεφυλλίζουν τις σελίδες της.