In den späten fünfziger Jahren kaufte sich der Maler und Bildhauer Otto Pankok das Haus Esselt, ein versteckt gelegenes Gebäude aus dem 17. Jahrhundert im Ortsteil Drevenack, das er schon zu seinen Lebzeiten zu einem Museum ausbaute. Pankok schuf während des nationalsozialistischen Regimes Bildwerke wie den „Passions“-Zyklus. Seine Arbeiten sind durchtränkt von existenzialistischen Erfahrungen, die ihn in eine Reihe mit Ernst Barlach und anderen Künstlerpersönlichkeiten der ersten Hälfte des 20. Jahrhunderts stellen.

Nach dem Tod des Künstlers 1966 wurde in seinen privaten Räumlichkeiten eine Dauerausstellung eingerichtet, die sein Leben und Werk vor Augen führt. Die idyllische Landschaft bot dem expressiv-realistischen Maler, der zeitweise wie besessen arbeitete, die gewünschte Rückzugsmöglichkeit. Hier entstanden viele seiner typischen Menschen-Tier- und Landschaftsdarstellungen. Pankoks umfangreicher Nachlass umfasst mehr als 6.000 Kohlegemälde, fast 800 Holzschnitte, 400 Lithographien und 200 plastische Arbeiten, die hier in einer regelmäßig veränderten Auswahl gezeigt werden.