Das denkmalgeschützte Gebäude aus Wilhelminischer Zeit wurde in den Jahren 1885/1886 auf dem Schollenfeld errichtet. Die Eröffnung des Kaiserlichen Hauptpostamts fand am 17. Mai 1897 statt. Hinter der prachtvollen Fassade mit Stilelementen der Spätgotik und Renaissance befanden sich die Verwaltungsräume der Postbeamten, die Telegrafie- und Fernsprechstelle sowie eine Dienstwohnung für den Amtsvorsteher.
Nach dem Auszug des Postamts wurde 1985 die ehemalige Schalterhalle zunächst in eine Bürgerbegegnungsstätte umgewandelt. Im Trakt, in dem zuvor die Paketstation untergebracht war, schloss sich ein Saal für Wechselausstellungen an. Nach langer Umbauphase wurde am 27. August 1994 das Gebäude endgültig seiner neuen Bestimmung als Kunstmuseum übergeben.
An die Ursprünge der „Alten Post“ erinnern heute noch der nostalgische blaue Briefkasten und der Schriftzug über den Fenstern der ersten Etage. Ebenfalls erhalten geblieben sind der dekorative Wandfries und die verblendeten Säulen aus dunkelgrün glasiertem Stabmosaik im Foyer, in dem sich einst die Postschalter befanden. Die weitläufige Eingangshalle bildet heute das Entrée mit Kasse, Sitzmöbeln und Museumsshop. Hier finden viele Veranstaltungen und Ausstellungseröffnungen statt.
