A kastély és a szilvásváradi uradalom életében három jelentősebb nemesi család játszott szerepet: a Keglevich, az Erdődy és a Pallavicini család.
A Keglevich grófi család 1666-ban kapta meg hűbér birtokként az akkoriban nagyon értékes waradi uradalmat. A kastély elődjének építtetése feltehetően gróf Keglevich Béla nevéhez köthető és Ybl Miklós tervei alapján készült.
A Keglevichek majd 230 évig, 1894-ig birtokolták a kastélyt. A család birtoklása alatt épült a klasszicista stílusú református Kerektemplom, az iskola, az új grófi kastély számos uradalmi épülettel és a református temető. A templom egyik ékessége a hímzett, Keglevich-címert ábrázoló fekete selyem úrasztali terítő, melyet Keglevich Gáborné (született Sándor Matild) készített.
A Keglevich család egyik tagja, Miklós (1798-1847) a kor fenegyereke volt. Országos hírnevét különcségeinek, vaskos csínytevéseinek köszönhette. Nem véletlen, hogy ahogy azt Jókai Mór feljegyzéseiből tudjuk, Kárpáthy János figuráját (Egy magyar nábob), illetve Bálvándy gróf (És mégis mozog a föld) vérbő, különc alakját a szilvásváradi gróf ihlette.
Ezt követően egy rövid ideig az Erdődy család volt a birtokos, majd a Pallavicini őrgrófi család lett a tulajdonos. A kastélyt a Pallaviciniek építették át neobarokk stílusban és 1944-ig a család tulajdonában maradt. Őrgróf Pallavicini Alfonz Károly birtokaival nagyon alaposan törődött, s bár minden kérdésben magának tartotta fel a döntési jogot, igazából az erdőt szerette a legjobban. Kedvenc birtoka volt a szilvásvárad-nagyvisnyói, ahol az év nagy részét, különösen a nyári meleg hónapokat töltötték kedvező klímája miatt.
A II. világháborút követően a kastélyt államosították, s hosszú évekig SZOT üdülőként működött. Utolsó komolyabb renoválása 1981-ben, a Szilvásváradon megrendezett fogathajtó világbajnokság alkalmából volt. A rendszerváltást követően több más SZOT üdülőhöz hasonlóan a HUNGUEST HOTELS szállodalánchoz került, s ebben a kötelékben működött kétcsillagos szállóként egészen 2005-ig.
„A Kastély a mai formáját a 2007-ben kezdődött felújítás során nyerte el.
Nemes anyagú, gazdagon hímzett függönyök, Swarovski kristálycsillárok, kézzel faragott recepciós pult, tágas, márvány lapokkal burkolt folyosók, garantálják a hamisítatlan Kastélyélményt.
A főépület ékessége a történelmi lépcsőház és benne az 5m magas kb 400 db kristálycseppekből álló Swarovski kristálycsillár.
A Kastély 650 m2-es wellness részlege két panoráma üvegfalának köszönhetően egyedülálló élményt kínál a kikapcsolódni vágyóknak.
A 2010-ben átadott, minden igényt kielégítő konferenciaközpont 200 fő befogadására alkalmas
A 2012-ben átadott Udvarház jól kiegészíti a Kastély épületét, tartva a megszokott magas színvonalat és eleganciát. A két épületben összesen 80 db szoba áll a vendégek rendelkezésére.”