název Folly pochází ze starého anglického výrazu, který znamená “ husté listy.“Když Evropané poprvé přistáli na ostrově na počátku roku 1600, objevili domorodý americký kmen zvaný Bohickets. Není jasné, co se s nimi stalo poté, co byla země v roce 1696 deededed na William Rivers. Piráti byli známí plout podél pobřeží Jižní Karolíny a mnoha zátok, zvuky, zálivů vytvořených bariérových ostrovů a moře ostrovů, jako je Letohrádek Ostrov. Dva z nejpamátnějších byli Edward Teach, známý jako Black Beard, a Stede Bonnet.,
po určitou dobu byl ostrov Folly známý jako Coffin Island ne kvůli úmrtím nebo pohřbům, ale kvůli jeho vlastnictví rodinou rakví, vlastníky plantáží Beaufort a Charleston kraje.
pouze Občanské Války, týkající se boje se vyskytují na ostrově byla dne 10. Května 1863, kdy Konfederační síly zaútočily síly Unie. Vzhledem k tomu, že Konfederace byly na misi zjišťování faktů, boje byly ve velmi malém měřítku. Pošetilost obsadila v srpnu 1863 Svazová armáda a sloužila jako zásobovací sklad a tábor pro jednotky obléhající Město Charleston.,
pošetilý ostrov zůstal po zbytek války pod unijní kontrolou. To bylo používáno jako inscenační oblast pro bitvy Fort Wagner, které byly bojovány mezi červencem a zářím 1863. Morris Island byl místem Fort Wagner; Druhá bitva o Fort Wagner byla vyobrazena ve filmu Glory z roku 1989.
Bermudian První Seržant Robert John Simmons Společnosti B 54th Massachusetts Volunteer Infantry Regiment napsal dopis Letohrádek Ostrov krátce předtím, než byl smrtelně zraněn na Fort Wagner. Dopis byl zveřejněn v New York Tribune dne 23. prosince 1863.,
Hloupost Island, Jižní Karolína,
18. července, 1863;
Jsme na pochod na Fort Wagner, k bouři. Právě jsme dokončili náš úspěšný ústup z Jamesova ostrova; ve čtvrtek ráno jsme tam bojovali v zoufalé bitvě. Tři společnosti z nás, B, H, A K, byli na picket asi dobrou míli před plukem. Byli jsme napadeni brzy ráno. Naše společnost byla v rezervě, když byly základny napadeny povstaleckou pěchotou a kavalérií. Byl jsem vyslán naším kapitánem ve velení skupiny mužů, aby podporoval levé křídlo., Kulky kolem nás docela pršely; když jsem se tam dostal, chudí chlapi padali kolem mě, s žalostným sténáním. Naše krumpáče čítaly jen asi 250 mužů, asi 900 jich bylo napadeno. Předpokládá se, že linie bitvy v dálce, že byly podporovány rezervou 3000 mužů. Museli jsme vystřelit a ustoupit směrem k vlastnímu tábořišti. Jeden náš ubohý seržant byl sestřelen vedle mě, několik dalších bylo zraněno poblíž mě.
Bůh mě chránil tímto, mým prvním ohnivým, olovnatým pokusem, a já mu dávám slávu a chválím jeho svaté jméno., Můj ubohý přítel Vogelsang je prostřelen plícemi; jeho případ je kritický, ale doktor říká, že může pravděpodobně žít. Jeho společnost velmi trpěla. Chudák dobrý a statečný seržant (Joseph D.) Wilson z jeho společnosti, poté, co zabil čtyři rebely bajonetem, byl střelen do hlavy pátým. Chudák! Nechť jeho vznešený duch odpočívá v pokoji. Generál pochválil plukovníka za galantnost a statečnost svého pluku.,
V létě roku 1934, skladatele George Gershwina a autorem DuBose Heyward, šel do Letohrádek Ostrov k práci na jejich Americké lidové opery, Porgy a Bess.
Pláž Folly je občas ovlivněna hurikány pohybujícími se po pobřeží Atlantiku ve formě větru, deště a těžkého surfování, které způsobují erozi pláže. Hurikán Irene v roce 2011 způsobil těžkou erozi a přinutil uzavření parku Folly Beach County, populárního veřejného přístupového bodu na pláž.,
The Folly Beach Public Safety and Charleston County Bomb Squad stále, dodnes, odkrývá dělové koule po špatných bouřích, zejména hurikán Matthew. Během Matthew 16 dělové koule byly objeveny v tom, co členové EOD nazývá „loading position“. Je pravděpodobné, že se jednalo o dělové koule z doby občanské války, které zůstaly pozadu kvůli jejich těsné blízkosti a skutečnosti, že žádná nevybuchla. Naposledy jedna velká dělová koule, pravděpodobně konfederace, byla nalezena 13. března 2017 na dalekém severovýchodním konci ostrova. Charleston County EOD stále vyšetřuje.