L'emplacement du bâtiment qui subsiste aujourd'hui a été choisi pour des raisons défensives, deux ans après la destruction de la ville par les pirates. Uluj Ali (1571). Les travaux de construction ont été supervisés par le recteur. Alvise Lando et son maître artisan Yiannis Skordilisselon les dessins de Sforza Palavicini. La fortification a été achevée en 1580, après 76 800 jours obligatoires de travail forcé, par les habitants de toute la préfecture. Le résultat final était une structure de forme polygonale irrégulière, avec quatre bastions et trois angles.

Le château s'est avéré inefficace pour la défense car il n'avait pas de douves ni d'ouvrages extérieurs susceptibles de ralentir les attaques, mais l'intérieur était plutôt bien conçu. Une place avec le Cathédrale d'Agios Nikolaos. La mosquée Ibrahim Khan avec la résidence du recteur dans la partie centrale. Il avait deux étages, 49 portes, 81 fenêtres et sa conception suivait le modèle du palazzo de la Renaissance. Deux magasins à poudre à l'intérieur du bâtiment.  Il y avait aussi plusieurs citernes, une résidence pour le personnel de l'administration de l'État, un bâtiment que l'on croit être un Épiscopat, des salles de stockage, et deux églises (Agia Ekaterini et Agios Theodoros), ainsi que des maisons privées. La porte centrale se trouvait sur le côté est, entre les bastions de Agios Loukas et Agios Nikolaos. Sur le côté extérieur du portique d'entrée, il y avait le Lion de Saint-Marc, l'un des cinq qui ornaient la forteresse.

La Fortezza est tombée sans gloire aux mains des conquérants turcs le 4 novembre 1646. Les rares ruines des bâtiments vénitiens, des murs, des citernes et de la mosquée (Église d'Agios Nikolaos) sont visibles aujourd'hui. Tous les bâtiments qui ont survécu jusqu'au XXe siècle ont été détruits par les Allemands, qui ont placé des mitrailleuses sur le côté nord-est de la forteresse et y ont également retenu de nombreux otages.