Das Grundstück in der Schloßgartenallee, auf dem heute das sogenannte „Alte Hofgärtnerhaus“ steht, erhielt der Hofgärtner Christian Daniel Friedrich Klett (1774–1845) als Geschenk des Großherzogs. Er bebaute es 1822 mit einer Büdnerei, welche später wieder in den Besitz des Großherzogs überging und nach 1840 vermutlich vorwiegend als Wohnhaus für Gärtner genutzt wurde.
1909 wurde das Gebäude in der Formensprache eines zeittypischen Landhausbaus modernisiert und erweitert. Zusammen mit dem auf dem Gelände erhalten gebliebenen Kalthaus, das der Überwinterung von Pflanzen diente, stellt es einen wesentlichen Bestandteil der Anlagen der ehemaligen Schlossgärtnerei dar.