Mit dem Ankauf der Sammlung Rheinen legte die Stadt Mülheim an der Ruhr am 4. Februar 1909 die Grundlage für ein Museum, aus dem das Heimatmuseum im Tersteegenhaus und das heutige Kunstmuseum erwachsen sind. Zunächst wurde die Städtische Sammlung in Robert Rheinens Wohnhaus in der Schollenstraße 2 und ab 1912 als „Städtisches Museum“ in der klassizistischen Vorsterschen Villa präsentiert.
Unter der Leitung des Kunsthistorikers Werner Kruse zog das Museum 1922 in das Landratsamt in der Teinerstraße. Ein Bombenangriff im Juni 1943 zerstörte das Museumsgebäude mit einem Großteil der Sammlung, des Inventars, der Akten und der Bibliothek. Die verbliebenen Überreste wurden im Keller des Rathauses gelagert und in der Nachkriegszeit in Provisorien untergebracht.
In den 1960er-Jahren wurden Teile der Sammlung auf Schloß Styrum und im „Kunstkabinett“ der Stadtbücherei präsentiert. 1970 konnte das Museum erstmals wieder eigene Räume an der Leineweberstraße 1 für sich beanspruchen. Mit dem Umzug 1994 in das Gebäude der „Alten Post“ erhielt das Kunstmuseum nach langen Wanderjahren ein dauerhaftes Domizil.
