I genitori di James Madison erano Nelly Conway Madison e Col. James Madison, Sr. James Madison nacque nel 1751. James Madson, Sr. sposò Nelly Conway nel 1749 e la coppia ebbe 12 bambini. James, che era il primo figlio nato, era il quarto presidente degli Stati Uniti.
La famiglia Madison era tra le famiglie più antiche e prestigiose della Virginia. Il padre di Madison era un importante coltivatore di tabacco in Virginia, cresciuto in una tenuta a Orange Country, in Virginia, che in seguito ereditò. La madre di Madison era la figlia di un importante commerciante di tabacco. È nata nel 1731 in Virginia.