De vroegste vermelding van kasteel Nederhorst in Nederhorst Den Berg dateert uit 1301. Het kasteel was toen waarschijnlijk een compact zaaltorenkasteel. Omstreeks 1635 werd het kasteel omgevormd tot een ‘modern’ woonkasteel en kreeg het kasteel zijn huidige opzet met vier forse zeshoekige torens.
Hierna volgde in de vroege achttiende eeuw een verbouwing in combinatie met een modernisering van de terreinaanleg en de bouw van
een koetshuis. Daarbij kwamen een nieuwe brug en een omlijste entreepartij tot stand. In het interieur werd nu op de bel-etage en verdieping een middengang aangelegd. Vermoedelijk werd in diezelfde periode ook de achtergevel en een deel van de linker zijgevel vernieuwd. Deze gelaagde situatie bleef tot in de vroege twintigste eeuw grotendeels behouden.
In 1911 vond een grote restauratie plaats, maar hierbij konden niet alle bouwkundige problemen worden hersteld. Hierna volgde een periode waarin nauwelijks onderhoud werd gepleegd. Pas vanaf 1960 vond opnieuw een ingrijpende restauratie plaats van het toen inmiddels behoorlijk vervallen kasteel. De restauratie was nauwelijks afgerond of een grote brand verwoestte in 1971 grote delen van het kasteel, waarna dit opnieuw werd hersteld.
Het bouwhistorisch onderzoek, in opdracht van Stadsherstel Amsterdam, werd bemoeilijkt doordat vrijwel alle houten onderdelen bij de brand waren vernieuwd. Veel informatie moest daarom worden ontleend aan foto’s die tijdens de restauratie en direct na de brand in 1971 waren genomen. Doordat veel authentiek materiaal bij de brand verloren is gegaan ligt een belangrijk deel van de historische waarde in het herstelde beeld en het nog voor een belangrijk deel authentieke muurwerk.
Aansluitend op het onderzoek van het kasteel is ook het in de vroege achttiende eeuw gebouwde koetshuis onderzocht. Dit gebouw werd omstreeks 1879 en 1911 fors uitgebreid. Na een grote restauratie in de jaren zestig van de twintigste eeuw werd het complex uitgebreid met een grote studiohal voor de bekende Toonder Studio’s, die hier uiteenlopende mediaproducten op het gebied van beeld en geluid produceerde.