A Mátra Múzeum Gyöngyös keleti részén, a Mátra felé vezető 24. számú út mellett, az egykori Orczy-kastély épületében kapott helyet. Elsősorban a várossal és a Mátra-vidékkel kapcsolatos emlékeket, dokumentumokat gyűjti, egy részüket állandó kiállításon mutatja be.

A múzeum jelenlegi állandó kiállítása tematikailag több önálló részből áll.

A földszinti helyiségekben vadászati és vadászattörténeti tárgyakat, tárlókat láthatunk. Az emeleti termek egy részében természettudományi kiállítás kapott helyet, ahol különleges ásványokat, a Mátrában fellelt kovásodott fatörzseket, különféle kövületeket állítanak ki. A múzeum különlegessége a fedett udvaron felállított mamutcsontváz, mely kb. 80%-ban eredeti csontokból áll. Ez az egyetlen teljesnek tekinthető mamutcsontváz az országban.

Az állandó kiállítás harmadik része a város történetével foglalkozik, bemutatva az egyes korok jellemző tárgyait, dokumentumait. Itt rendezték be azt a külön helyiséget is, amely a gyöngyösi születésű orvos, természettudós és nyelvújító, Bugát Pál munkásságának állít emléket. Szintén az emeleten látható az Orczy-család történetét megörökítő két terem, falait a felújítás során előkerült eredeti barokk falfestmények díszítik.