Im Gelände des ehemaligen Mühlsteinbruches „Scherer“ in der Mühlsteinstraße 43 ist das Steinbrecherhaus erhalten geblieben. Mit Recht darf gesagt werden, dass es sich hier um das letzte derartige Gebäude handelt.
Im Jahr 1802 errichtet, kann man in der Stube und einer Kammer noch sehr gut die Lebensbedingungen einfacher Menschen nachempfinden, auch eine Rauchkuchl ist zu sehen.
Im Ausstellungsraum wird die Arbeit der Steinbrecher anhand von Bildmaterial, Steinobjekten und Werkzeugen dokumentiert.
Im angrenzenden Steingarten wurde eine Arbeitshütte rekonstruiert, wie sie von Perger, Mühlsteinhauern und in den Granitsteinbrüchen verwendet wurden.

Der Schwerpunkt des Museums ist die Tradition der Perger Mühlsteinhauer, die seit dem Mittelalter von großer überregionaler Bedeutung waren.
In den besten Zeiten wurden in der Perger Mühlsteinbrüchen bis zu 2.000 Mühlsteine gewonnen und in der Monarchie und darüber hinaus verkauft. Im alten Scherer Mühlsteinbruch, ganz in der Nähe des Museums, ist die Abbaumethode exakt zu erkennen.