Das Museum ist Zeugnis der Kulturpflege der Großherzoglichen Familie, die nicht nur Künstler förderte, sondern auch Kunstschätze sammelte. Den Anfang machte Herzog Christian Ludwig II. , welcher ein ausgesprochener Liebhaber niederländischer Kunst war und den Grundstock zur heute vorhandenen Sammlung, eine der größten Sammlungen von Werken niederländischer Meister, legte.
An der Stelle des heutigen Museumsgebäudes plante Großherzog Paul Friedrich, als er 1837 die Residenz von Ludwigslust nach Schwerin zurückverlegte, einen repräsentativen Schlossneubau. Das alte Schloss auf der Insel genügte den an ein Großherzogtum gestellten repräsentativen Erfordernissen nach achtzig Jahren Abwesenheit nicht mehr.
1842 – es waren gerade die Fundamente fertiggestellt worden – verstarb der Großherzog jedoch überraschend und sein Sohn übernahm die Regentschaft. Statt den Neubau weiter voranzutreiben, entschied sich Friedrich Franz II. als Zeichen kontinuierlicher Machtausübung dafür, das alte Schloss auf der Insel aus- und umzubauen.
Erst mit den Reparationszahlungen aus dem Deutsch-Französischen Krieg war der Großherzog finanziell in der Lage, ein für die umfangreiche Sammlung dringend notwendig gewordenes, eigenständiges Museumgebäude errichten zu lassen.
Dieser technisch wegweisende Bau ist das Hauptwerk des Hofbaumeisters Hermann Willebrand. Das historische, von ihm erdachte Lüftungssystem funktioniert bis heute und repräsentiert die damalige fortschrittliche Haustechnik.
Am 22. Oktober 1882 konnte das neu entstandene Museum feierlich eröffnet werden.
Mit der Abdankung Friedrich Franz IV. ging es 1918 ebenfalls in das Eigentum des Staates über.
Im Zweiten Weltkrieg wurde das Kunstgut ausgelagert; das Gebäude diente fortan bis zum Ende des Krieges als Uniformfabrik und Flüchtlingsunterkunft.
Seit 1945 dient es wieder seiner musealen Bestimmung. Heute beherbergt es mehr als 100.000 Kunstwerke und gehört seit 2018 zu den Staatlichen Schlössern, Gärten und Kunstsammlungen M-V.
Am 30. Juni 2016 fand die feierliche Eröffnung des Neubaus der Galerie Alte und Neue Meister statt, der von nun an der Moderne mehr Platz einräumt. Der Museumsanbau in unmittelbarer Nähe der Galerie entstand unter strengen denkmalpflegerischen Auflagen, um die Welterbe-Bewerbung nicht zu beeinträchtigen.