A ma álló Grassalkovich-stílusú épület elődjét, a várkastélyt a Kacsics nemzetségből származó Szécsényi Tamás vagy a fiai kezdték el építeni a 14. század második harmadától. Írásos dokumen-tumok a 15. században már várkastélyként említik. A várkastély és a vár, több nógrádi erődít-ménnyel együtt a végvárrendszer része volt a török időkben. A kastélytól északra elterülő „Borjú-páston“ tartották 1705-ben a szécsényi országgyűlést. A ma látható barokk épületet az elpusztult várkastély romjainak felhasználásával a Forgách család építtette1753-1763 között. Az épület alatt húzódó pince legrégebbi része a 14. században épült.