Sebbene George Washington abbia scelto il sito della Casa Bianca nel 1791, non ha mai vissuto lì. A partire dal 2014, è l'unico presidente che non risiede nella Casa Bianca.
John Adams e la sua famiglia furono la prima famiglia presidenziale a vivere alla Casa Bianca. Nel 1814, gli inglesi diedero fuoco alla casa; è stato ricostruito. Nel 1817, James Monroe si trasferì. Harry S. Truman iniziò il restauro della Casa Bianca e tornò alla Casa Bianca nel 1952.
Sotto alcuni presidenti, la Casa Bianca ha attraversato una costruzione che non ha richiesto alla Prima Famiglia di trasferirsi. Theodore Roosevelt fece trasferire gli uffici del presidente nell'ala ovest e William Howard Taft fece costruire l'ufficio ovale.
