I fratelli del presidente James Madison includono il generale William Taylor Madison; Il capitano William Ambrose Madison, Sr .; Eleanor "Nellie" Conway Hite (Madison); Frances "Fanny" Rose (Madison); Mollie Davis; Francis Taylor Madison; Robert Cole Madison; Sarah Catlett Madison; Elizabeth Madison; Catlett Madison; Reuben Madison; e John Madison. Due dei suoi fratelli sono morti mentre i bambini.
Il presidente Madison è nato James Madison, Jr., come primogenito di James Madison, Sr. e Nelly Conway Madison. James trascorse la sua prima infanzia a Montpelier, la sua tenuta di famiglia in Virginia. All'età di 12 anni, andò alla scuola di Donald Robertson, dove imparò il latino e il greco e studiò aritmetica e geografia. Si è laureato al College of New Jersey.
