Après avoir occupé l'île de Rhodes en 1309, les chevaliers de l'ordre des Johanites ont commencé la construction d'un palais qui devait servir principalement de résidence au plus haut chevalier de leur ordre, mais aussi de forteresse et d'habitation pour les chevaliers Johanites eux-mêmes. Le palais accueillait également des réunions commerciales et diplomatiques, ainsi que des activités religieuses.
Pour la construction, les chevaliers de Saint-Jean ont choisi le point le plus élevé de Rhodes et ont entouré la zone du palais de 4 kilomètres de murs massifs. Tout au long de son histoire, le Palais des Grands Maîtres a été le témoin de plusieurs tremblements de terre. Les Turcs ont pris le contrôle de l'île de Rhodes en 1522. L'année 1856 fut fatale : la foudre frappa la poudrière et provoqua une explosion, laissant le palais en ruines.

La restauration du palais est l'œuvre des Italiens, qui ont en partie rebâti le site entre 1937 et 1940. Le bâtiment devait servir de résidence au gouverneur de la colonie et aux résidences du dirigeant Mussolini et du roi Victor Emmanuel III. En reconstruisant l'extérieur du palais, les architectes italiens se sont inspirés du modèle historique.

Les fondations de l'ancien temple du dieu du soleil Hélios se trouvaient à l'endroit même où s'élève aujourd'hui le Palais des Grands Maîtres, et le légendaire Colosse de Rhodes se trouvait probablement au même endroit dans l'Antiquité.

Le Palais des Grands Maîtres est un point de repère de la ville de Rhodes et domine le port de Mandraki. Au premier coup d'œil, le palais de pierre jaune pâle semble imprenable, s'élevant à une hauteur de 15 mètres. Il est surmonté de créneaux. Le palais est entouré de doubles murs, il y a plusieurs portes d'entrée, des douves et des canons.

L'entrée du palais est située à l'extrémité de Knights Street et est gardée par deux grandes tours en pierre. On accède au palais par un grand escalier et les sols du palais et de la grande cour sont décorés de mosaïques colorées. À l'intérieur du palais se trouve la magnifique salle des colonnes, dominée par deux rangées de colonnes, surmontées d'arcs, et dont le sol est décoré de mosaïques chrétiennes du Ve siècle. Les salles les plus célèbres comprennent également la salle avec la sculpture de Laocoon et ses fils ou la salle avec la mosaïque représentant la mythique Méduse.

Le Palais des Grands Maîtres abrite deux expositions, l'une retraçant la vie antique dans la ville de Rhodes et l'autre contenant des expositions sur la vie dans la Rhodes médiévale.