Andrew Jackson ha avuto vari scontri con John Calhoun che sono sorti da origini sociali e politiche. Jackson non era d'accordo con il modo in cui la moglie di John Eaton, il segretario di guerra di Jackson, fu trattata dalle mogli e dalle figlie degli ufficiali di gabinetto, inclusa la moglie di Calhoun; guardarono la moglie di Eaton e ricordò a Jackson il trattamento che sua moglie, Rachel, aveva ricevuto dallo stesso gruppo. Politicamente, i due uomini non sono d'accordo sulla questione dei diritti degli stati, con Calhoun e il suo partito per i diritti degli stati che tentano di intrappolare Jackson nel sostenere le loro opinioni.
L'animosità personale tra Jackson e Calhoun ruotava attorno al maltrattamento della moglie del suo segretario di guerra. Hanno anche spettegolato su di lei. Questo ha infiammato Jackson, visto che anche sua moglie era considerata una persona di classe inferiore dallo stesso circolo sociale.
In occasione di una festa di compleanno per Thomas Jefferson nel 1832, Calhoun e altri nel suo campo fecero brindisi nel tentativo di stabilire una connessione tra l'annullamento e la visione del governo dei diritti degli stati. Jackson non partecipò, ma invece diede un brindisi al sindacato federale e notò che doveva essere preservato, e sostanzialmente umiliato Calhoun, che era il suo vicepresidente, pubblicamente. Calhoun alla fine si è dimesso dal suo vicepresidente.
