James Madison aveva tre fratelli e tre sorelle che vivevano nell'età adulta: Francis, Ambrose, Nelly, William, Sarah e Frances. I suoi genitori avevano un totale di 12 bambini. Cinque dei fratelli di Madison morirono sia come neonati che come bambini.
Il fratello di Madison, Francis, era un piantatore nella contea di Orange, in Virginia. Suo fratello Ambrose era un capitano della milizia della Virginia. Era anche un piantatore e sorvegliava gli interessi della famiglia nella contea di Orange. William Madison ha servito durante la guerra rivoluzionaria. Era anche un avvocato e prestava servizio nella legislatura della Virginia. Tutte e tre le sorelle di Madison, Nelly, Sarah e Frances, erano sposate da adulti.
