Il primo matrimonio di Jim Boeheim, durato circa 18 anni, è durato dal 1976 al 1994. La sua prima moglie è stata Elaine Boeheim, con cui ha una figlia, Elizabeth, ora junior al Colby College in Maine a partire dal 2015.
Boeheim, l'attuale capo allenatore della squadra di pallacanestro maschile della Syracuse University, è ora sposato con Juli Boeheim, con la quale ha tre figli: James Arthur III e i gemelli Jack e Jamie. La coppia si è sposata dal 1997. Dopo che Boeheim ha sofferto di cancro nel 2001, hanno fondato insieme la Fondazione Jim e Juli Boeheim, che si dedica al benessere dei bambini e alla cura e alla prevenzione del cancro.
