Molte persone vedono il più grande fallimento di Thomas Jefferson nel rinunciare alla sua lotta contro la schiavitù. Mentre vedeva la schiavitù come "una brutta macchia" sull'umanità e fece diversi tentativi per la sua abolizione, alla fine lo diede su, decidendo di combattere solo quelle battaglie che poteva vincere.
In effetti, come autore principale della Dichiarazione di Indipendenza, Jefferson ha incluso una clausola che denunciava la schiavitù, ma è stata buttata fuori prima che il documento potesse essere approvato. Sebbene il fatto sia ancora spesso contestato, la presidenza di Jefferson è stata ulteriormente danneggiata dall'affermazione di essere il padre di cinque figli della schiava Sally Hemings. Infine, l'istituzione dell'atto di Embargo di Jefferson, intesa a interrompere le ostilità tra Gran Bretagna e Francia, paralizzò l'economia del Sud, alienando i sostenitori che aveva lasciato.