A puszta nevét - Fenyőharaszt - egy itt előforduló ritka növényfajról kapta. Fenyőharasztpuszta neve régóta szerepel okleveleken, katonai térképeken. A kastélyt környező települések: Verseg és Kartal, egyaránt Árpád-kori falvak, véres és viharos történelemmel.
A Podmaniczkyak 1913-ig birtokolták a kastélyt, mely, urának gyakori vendégei, Zádor Anna és Rados Jenő megállapítása szerint "a kastély nagyvonalúsága kétségtelenül jelentős mester kezére vall". A múlt század második negyedében, a híres műgyűjtő és művészpártoló, báró Hatvany-Deutsch család szerezte meg a késő klasszicista épületet és a környező birtokokat.
A kastélyba a II. Világháború során német, őket követően pedig az orosz csapatok költöztek be. 1947-ben a kastélyt államosították, majd elindult a fokozatos pusztulás útján. Ezen időszak alatt a kastélyt igen változatos, ám múltjához méltatlan célokra használták: katonai raktár, TSZ. iroda, kollégium, valamint cirkuszból kiöregedett állatok menhelyéül is szolgát. A romokban heverő épületet végül, 1986-ban a Chemolimpex Vállalat vásárolta meg és műemlék jellegének megőrzésének szem előtt tartásával újította fel. A 90-es évek elején a kastély a Budapesti Ingatlan Rt. tulajdonába került és ma, - majd két évtizedes múltra visszatekinthetően - kastélyszállóként üzemel.