La principale cosa negativa di cui Andrew Jackson è ricordato è il trasferimento forzato di molti nativi americani, in particolare nella parte sud-orientale degli Stati Uniti. Ha anche innescato una depressione economica rifiutando di rinnovare la carta della Seconda Banca degli Stati Uniti e quindi istituendo politiche di controllo dell'inflazione che hanno scatenato il panico, ma questo è stato principalmente attribuito al suo successore, Martin Van Buren.
Nel 1830, Jackson firmò l'Indian Removal Act, che aveva lavorato per far passare il Congresso. Questo atto gli ha permesso di negoziare trattati di rimozione con tribù native americane, che la Corte Suprema aveva governato non erano autorizzati a possedere legalmente le loro terre ancestrali. Jackson credeva che i nativi americani fossero inferiori ai coloni bianchi e volevano costringerli a ovest del Mississippi. Credeva che gli Stati Uniti non avrebbero espanso oltre quel confine, così i nativi americani potevano governarsi da soli.
Il risultato fu che molte tribù furono ingannate o costrette a lasciare le loro terre se si rifiutarono di andare volontariamente, causando molte morti da schermaglie con soldati, nonché da fame e malattie. I Cherokee in particolare furono costretti a subire una marcia forzata che divenne nota come Trail of Tears. Sono stati costretti a lasciare la loro terra così velocemente da non essere in grado di raccogliere forniture adeguate e oltre 4.000 cherokee sono morti per denutrizione e esposizione. Jackson ha supervisionato la rimozione di oltre 46.000 nativi americani dalle loro terre.
