Der kühne Museumsbau, den der österreichische Architekt Hans Hollein entworfen hat, thront wie eine moderne Festung auf dem Abteiberg. Hollein berücksichtigte bei der Planung das historische Stadtbild und die extreme Hangsituation des Abteigartens. Der 1982 eröffnete Bau erschließt sich den Besuchern von oben nach unten und überrascht in seiner Raumgliederung, die speziell für die zeitgenössischen Werkgruppen entwickelt wurde, mit Funktionalität und Eigenwilligkeit und einer Vielfalt architektonischer Ideen.

Das Museum besitzt eine kleine Sammlung expressionistischer Kunstwerke sowie eine umfassende fotografische Kollektion von Man Ray. Die wichtigsten Werkkomplexe stammen freilich aus den sechziger und siebziger Jahren; ganze Künstlerräume sind Joseph Beuys, Marcel Broodthaers, Richard Serra, Ulrich Rückriem und Gerhard Richter gewidmet. Aus den achtziger und neunziger Jahren stammen die Säle mit Werken von Sigmar Polke, Martin Kippenberger und Franz West; Arbeiten amerikanischer Künstler wie Bruce Nauman, Andy Warhol und Gordon MattaClark ergänzen die Bestände des international renommierten Hauses.

Künftig sollen Projekte von jüngeren Künstlern vorgestellt werden, die sich gezielt mit dem Museum auseinandersetzen, mit seiner Architektur und der Ideengeschichte. 2002 entstand eine Erweiterung zum Skulpturengarten, der dem steil abfallenden Abteiberg ein neues Gesicht verleiht. An die „Reisterrassen“ von Hans Hollein in der oberen Hälfte schließt sich im unteren Bereich ein pseudobarockes Parterre an, das sich zu einem Park mit alten Rotbuchen und Kastanien erweitert. Das Skulpturenensemble verbindet die disparaten Teile miteinander und schafft zugleich den Bezug zum Museumsraum, wo man weiteren Werken der verschiedenen Künstler begegnen kann. Das Zentrum ist das „Arolsen-Piece“ des amerikanischen Minimalkünstlers Larry Bell an der Schnittstelle der scheinbar unvereinbaren gartenarchitektonischen Konzepte. Die beiden Doppelkuben aus azurblauem und pinkfarbenem Verbundglas wurden in dem vorhandenen Wasserbecken zu beiden Seiten der Fontäne plaziert, so dass sich reizvolle Licht- und Farbspiele ergeben. Das Barockklischee, das 1975 von Karl Birkigt entworfen wurde, erfährt auf diese Weise eine ironische Brechung.

Drei Arbeiten wurden speziell für den Abteigarten entworfen. Dazu gehört Stefan Kerns „Baumhaus“ aus Aluminium und Plexiglas, das in luftiger Höhe um den Stamm einer alten Kastanie angeordnet ist und in Material und Gestaltung Ideen des Museumbaus aufgreift. Ein weiteres ortsspezifisches Werk ist der sechs Meter hohe „Anulo“ (Ring) von Mauro Staccioli. Die mächtige Skulptur aus Cor-Ten-Stahl scheint den Hang der unteren Wiese hinunter zu rollen und ist damit zugleich ein Beispiel für die humorvolle Haltung mancher Künstler bei der Positionierung der Plastiken. Lokal geprägt ist auch der Beitrag von Dan Peterman, der die Wurzel einer Rotbuche in einer Turmruine der Stadtmauer zum Herzstück seiner begehbaren Skulptur machte. Platten und Sitze aus recyceltem Kunststoff sind um die tote Wurzel angeordnet und bilden einen stillen, beschaulichen Winkel, in dem der Kreislauf von Werden und Vergehen erfahrbar wird. Franz Wests „Flause“, eine drei Meter hohe rosafarbene Wurstform, die aus Aluminiumteilen zusammengestückelt ist, bildet einen provokanten Kontrapunkt zum benachbarten mittelalterlichen Münster, während Maria Lehnens bronzener Torso „Idol XII“ kraft seiner weiblichen Erotik eine gedankliche Sichtachse zum männlichen „Königstuhl“ von Anatol herstellt.