La prima moglie di Jimmy Dean era Mary Sue Wittauer e la sua seconda moglie era Donna Meade. Il suo primo matrimonio finì con il divorzio dopo 40 anni e il suo secondo durò 19 anni fino alla sua morte all'età di 81 anni, una coppia mesi prima del suo 82esimo compleanno.
Dean e Wittauer avevano tre figli insieme, ma non ne aveva nessuno con la sua seconda moglie, Donna. Meno di un anno dopo il suo divorzio da Wittauer, Dean sposò Meade, che era anche una cantante e cantautrice. I due vivevano a Varina, in Virginia, in una proprietà di 200 acri che è stata ricostruita dopo che è stata bruciata in un incendio.