James Spader e la sua prima moglie, Victoria Kheel, divorziarono nel 2004. Spader e Kheel si incontrarono all'inizio degli anni '80 e si sposarono nel 1987. Durante le interviste successive al divorzio, Spader si rifiutò di discutere la questione e il motivo della coppia il divorzio è sconosciuto.
Spader e Kheel avevano due figli insieme mentre erano sposati. Questi due erano in aggiunta al bambino che Kheel aveva avuto da una precedente relazione che Spader aiutò a sollevare dopo che lui e Kheel stavano insieme.
A partire dal 2014, Spader aveva frequentato l'attrice Leslie Stefanson per quasi tutto il decennio dal suo divorzio da Kheel. Spader e Stefanson hanno un figlio insieme.
