Octagon Mansion ble bygget i 1798 og var opprinnelig plassert blant felt og skoger. I dag står den allerede i sentrum av et fasjonabelt boligområde, på hjørnet av 118th Street og New York Avenue. Den første eieren av strukturen var oberst Tayloe, som brukte den som et byhus i Washington. Historien til dette huset er full av rapporter om spøkelser og spøkelser innenfor murene. Hovedstedet for akkumulering av "spøkelseshendelser" er trappene. Siden 1850-tallet hevdet mange øyenvitner som ankom 1. eller 3. etasje at de hørte menneskelige skritt i andre etasje (som det ikke var noen på), en trist kvinnestemme, observerte uforståelige skygger der og følte en tilstedeværelse der noe usynlig.
Også, ganske ofte i huset var det problemer med belysning og sannsynligvis hørbare trinn i ikke-boliglokaler. Overvåkeren av herskapshuset var mange ganger ikke fornøyd med det faktum at han fant dørene åpne nesten umiddelbart etter at han personlig låste dem, og lyset var på etter at han slo det av med egen hånd.
Den ene saken fikk mye omtale da politiet ringte oppsynsmannen midt på natten og sa at lysene var på i huset. Mr. K. måtte pakke sammen og kjøre til herskapshuset for å gå ned i kjelleren og slå av lyset. Da han kom til kjelleren i huset, hørte mannen tydeligvis noen fotspor på stedet for herskapshuset, i nærheten av han gikk for bare et minutt siden. I full forferdelse løp mannen ut trappene, men han så ingen der. Museets vaktmester husker også at hun, når hun jobbet i andre etasje, mer enn en gang hørte trinn i tredje etasje, som var helt øde og lukket. En dag bestemte hun seg for å nøye sjekke hva som skjedde i den etasjen, og da hun gikk opp dit, fant hun flere lette spor på det støvete gulvet. De var så lette at et menneskeben tydeligvis ikke kunne forlate dem. Slike sporifølge kvinnen var det bare en nesten vektløs jente som kunne dra.
