Il colore originale della Casa Bianca era bianco. Secondo l'Associazione Storica della Casa Bianca, quando le mura furono terminate nel 1798, furono imbiancate per impedire alla pietra di congelarsi in inverno.
I muri della Casa Bianca furono imbiancati due anni prima che il presidente John Adams e sua moglie Abigail entrassero nell'edificio come primi abitanti nel 1800. Secondo una storia spesso raccontata ma errata, la Casa Bianca fu dipinta di bianco nel 1814 , dopo che fu bruciato dagli inglesi durante la guerra del 1812. Sebbene ci siano prove che la casa del presidente sia stata chiamata la Casa Bianca già nel 1812, Theodore Roosevelt rese ufficiale il nome nel settembre del 1901.