Le pareti esterne della Casa Bianca sono realizzate in pietra arenaria Aquia Creek dipinta di bianco, estratta dagli schiavi. Questa è la stessa pietra usata per costruire l'edificio del Campidoglio.
James Hoban progettò la Casa Bianca dopo aver vinto una competizione che Thomas Jefferson, allora Segretario di Stato e il Presidente George Washington organizzarono nel 1792. Hoban nacque in Irlanda e vi si formò come architetto. La leggenda narra che Jefferson, lui stesso un architetto, entrò nella competizione sotto uno pseudonimo e perse. La Casa Bianca è stata rinnovata più volte da quando è stata costruita; tuttavia, i muri esterni sono gli stessi muri inizialmente costruiti.
