Το βυζαντινό κάστρο, χρονολογείται από τον 6ο αιώνα επί Μεγάλου Ιουστινιανού. Το 1014 αποτέλεσε έδρα του Βασίλειου Β’ κατά τη «Μάχη στο Κλειδί» με τα στρατεύματα του Βούλγαρου τσάρου Σαμουήλ. Το κάστρο, που χτίστηκε με κροκάλες και άμμο από τον Κρουσοβίτη, αποτελεί πρόδρομο της αρχιτεκτονικής εξέλιξης των σύγχρονων οχυρώσεων. Είναι περιτειχισμένο με μικρά τείχη, τμήματα των οποίων σώζονται ακόμη, ενώ ημικυκλικοί πύργοι υψώνονται σε απόσταση 40 με 50 μ, μεταξύ τους. Στο εσωτερικό και στο ψηλότερο σημείο, βρισκόταν η Ακρόπολη με τις διοικητικές υπηρεσίες), ενώ θεμελιώσεις προσδιορίζουν τη θέση μια εκκλησίας. Σώζεται επίσης μια κινστέρνα όπου αποθήκευαν νερό και τρόφιμα. Στην αντίπερα όχθη του Κρουσοβίτη, βρίσκεται ο τετράπλευρος πύργος του Ανδρόνικου, κατοικία του εκάστοτε ηγέτη.