I middelalderen var Bygdøy vekselvis eid av kongemakten og Cistercienserklosteret på Hovedøya. I tiden som klostereiendom drev de kunnskapsrike munkene landbruk og sannsynligvis hagebruk på Bygdøy. Etter reformasjonen lå stedet under Akershus slott og ble disponert av de danske stattholderne eller stiftsamtmannen. Da oppstod navnet «Ladegaards Øen», ladegård betyr at driftsbygningene ligger atskilt fra hovedbygningen. Av navnet kan man slutte at det i senmiddelalderen antakeligvis ikke var noen hovedbygning her.
Stattholder grev Christian Rantzau oppførte i 1733 hovedbygningen som fortsatt er i bruk. Ved de danske kongebesøkene i 1733 og 1749 besøkte de kongelige stattholderens sommerresidens. Fra 1775 hadde staten bortbygslet parseller av halvøya til private for å øke statsinntektene og for å få en mer effektiv utnyttelse av arealene.
Under sin periode som konge i Norge fra mai til oktober 1814 brukte Christian Frederik hovedbygningen på Ladegaardsøen mye. Det var også her kongen abdiserte 10. oktober 1814.
Bernadottene
Under unionen med Sverige (1814–1905) var det et nytt dynasti som interesserte seg for Ladegaardsøen. Kong Carl Johan kjøpte i 1819 en større løkkeeiendom her, dagens Rohdeløkken og Oscarshall med Gartneriet. Da den fattige norske staten la Ladegaardsøens Hovedgaard ut for salg i 1836 kjøpte kongen også eiendommen. Kongens idé var å anlegge en offentlig park. Sønnen Oscar I fortsatte arbeidet med folkeparken og startet oppføringen av lystslottet Oscarshall i 1847. Kong Carl XV solgte i 1863 hele eiendommen tilbake til den norske staten, som stilte eiendommen til disposisjon for den regjerende konge. Kong Oscar II utvidet Bygdø Kongsgårds areal ved kjøp av løkkene Strømsborg i 1876 og Hengsengen i 1883.
- 1/1
Illustrasjon fra Holst, Christian (red.) 1865. Beretning om Ladegaardsøens Hovedgaard for 1862 og 1863. Illustrasjon fra Holst, Christian (red.) 1865. Beretning om Ladegaardsøens Hovedgaard for 1862 og 1863.
Fra 1878 ble navnet fra middelalderen; Bygdø tatt i bruk. Det betyr den bebodde øya. Den konservative formen med Bygdø uten y praktiseres fortsatt.
En norsk kongefamilie
Etter unionsoppløsningen i 1905 ble hovedbygningen sommersted for den nye kongefamilien. Kong Haakon og dronning Maud tilbrakte mye tid på Kongsgården. Spesielt dronningen la sin elsk på hagen og videreutviklet den etter engelske forbilder. Den nærmeste hagen rundt hovedbygningen ble gjerdet inn i 1913, med deler av gjerdet fra Paléhagen som ble flyttet fra sentrum. Kronprins Olav bodde som nygift med kronprinsesse Märtha i Villa Victoria i Kongeskogen i 1929. Senere fortsatte kong Olav tradisjonen med å tilbringe store deler av sommersesongen på Kongsgården.
Fra 2004 sa kong Harald fra seg disposisjonsretten over gårdsbruk, skog og park, med unntak av hovedbygningen og Oscarshall. Staten overførte bruksretten og forvalteransvaret til Stiftelsen Norsk Folkemuseum, og Statsbygg som har ansvaret for bygningsmassen.