La Casa Bianca fu dapprima resa bianca perché nel 1798 fu usata una calce a calce quando furono completate le sue mura. La calce ha contribuito a proteggere dal congelamento la pietra porosa della Casa Bianca.
Non è noto esplicitamente perché la Casa Bianca sia stata successivamente dipinta di bianco, ma potrebbe anche darsi che, a mano a mano che la calce fosse sbiadita, cominciasse a sembrare sporca.
La Casa Bianca iniziò come soprannome per la residenza del presidente all'inizio della storia americana. Nel 1812, il membro del Congresso Bigelow scrisse una lettera a un collega, riferendosi al fatto che chiamavano la residenza presidenziale "la Casa Bianca". Nel 1901, Theodore Roosevelt rese la Casa Bianca il nome ufficiale della casa del presidente.