A kastély 1810 és 1815 között, az ország "leggazdagabb köznemese", Festetics Antal (1764-1853) császári és királyi kamarás megbízásából épült, aki a tervezéssel az általa már korábban is foglalkoztatott neves építészt, a magyar klasszicista építészet kiemelkedő képviselőjét bízta meg. A kastély park felőli homlokzata a Magyar Nemzeti Múzeum épületére emlékeztet - nem véletlenül, hiszen mindkét épület tervezője Pollack Mihály (1773-1855) volt. A múzeum történelmi nevezetességű lépcsőjével ellentétben azonban Dégen nem lépcső, hanem kavicsos rámpa vezet a parkba.
Rendhagyó építészeti megoldások közé tartozik az is, hogy az ovális dísztermet nem az épület központi részén, hanem sarokszobájában alakították ki. Ezzel átellenben pedig a szintén ovális alaprajzú, ám intim méretű grófnői fürdőszoba bújik meg.
Az 1920-as években Festetics Sándor átalakíttatta, korszerűsítette a kastélyt: ekkor született a belső terek ma látható, a klasszicizmus formavilágát követő dekorációja.
A Festetics család 1944-ben elhagyta a kastélyt, amelyben az 1945-ös államosítás után 1996-ig gyermekotthon működött. Az épület eredeti berendezését nem ismerjük, mivel azt a II. világháború végén, illetve után elpusztították, valamint eltulajdonították. Máig megcsodálhatók azonban az előcsarnok és az egykori grófi dolgozószoba kandallói, a díszterem a maga teljességében.
Az elmúlt években a kutatók a termek egyszínű festékrétegei alatt színvonalas klasszicizáló (19. és kora-20. századi) díszítőfestésekre bukkantak.
A park tavának szigetén álló, festői megjelenésű épületet 1891-ben, egy korábbi épület helyén emelték. Földszintes része tehénistállóként szolgált (az itt lakó és a szigeten legelésző hat tarka tehén a park fontos látványelemének számított), emeletes részében pedig a tüdőbeteg Festetics Andorné gyógyítására berendezett lakosztály kapott helyet, mivel az ammónia tartalmú istálló levegőjét és a frissen fejt tejet gyógyító hatásúnak tartották. A szigetet eredetileg dróton áthúzható csónakon lehetett csak megközelíteni a kastély felől, a mai híd később épült.