Het landgoed waarop aan het eind van de 17de eeuw De Voorst verrees, was al sinds de 16de eeuw in het bezit van het Gelderse adellijk geslacht Van Keppel. Arnold Joost van Keppel (1670 - 1718) was een gunsteling van Koning-stadhouder Willem III die hem tot graaf van Albemarle verhief; dankzij financiële steun van de koning kon hij omstreeks 1700 De Voorst bouwen; een paleisachtig buitenverblijf, dat een vergelijking met Het Loo goed kan doorstaan.
In de 18de en de 19de eeuw wisselde De Voorst herhaaldelijk van eigenaar, met onttakeling van het interieur als gevolg.
Ook de tuinen werden ingrijpend gewijzigd. In 1943 werd het huis door een zware brand getroffen. Het resterende deel van het interieur ging daarbij verloren.
Tegenwoordig wordt het landgoed gebruikt voor feesten en partijen. Rondom het huis ligt een loofbospark waar u vrij kunt wandelen.
