Das Kaisersaalgebäude und der Schlossgarten wurden Ende des 17. Jh. südlich der Burganlage errichtet. Das Gebäude diente als Wohnraum sowie als Orangerie und bildete mit dem barocken Garten eine funktionale und gestalterische Einheit. Mit der Erhebung von Graf Ludwig Friedrich von Schwarzburg-Rudolstadt in den Reichsfürstenstand wurden die Gründungslegende und die Familiegeschichte der Schwarzburger in einen metaphorischen Zusammenhang zur Symbolik und Pflanzkultur der Zitrusgewächse gesetzt.
Im regelmäßigen Garten befanden sich Blumenanlagen, ein Wasserbecken, sowie zahlreiche Formbäumchen und Aufstellungsflächen für die Citruspflanzen. Mit abnehmendem Interesse Ende des 18. Jh. wurde der Garten verpachtet und zum Gemüseanbau genutzt. Ab 1825 kam es zu einer landschaftlichen Umgestaltung durch Ludwig Magnus von Holleben. Gegen Ende der 1990er machte der schlechte Zustand des Gartens eine Neugestaltung unter Einbeziehung der vorhandenen Altbäume notwendig. Die neue Gestaltung greift Bezüge des historischen Barockgartens auf. Die wesentlichen Strukturelemente wurden wieder aufgenommen und unter Verwendung moderner Materialien neu interpretiert.