Pharell Williams ha quattro fratelli: Catone, Psolomon, Faraone e David. Il faraone Williams III e David Williams sono i suoi fratellastri dal primo matrimonio di suo padre con Vanessa T. Williams. Cato, Psolomon e Pharell hanno tutti lo stesso padre e madre, il faraone Williams e Carolyn Williams.
Cato Williams è uno skateboarder professionista, mentre David Williams è un venditore in Delaware. Pharell è il figlio maggiore; ha 10 anni in più di Catone e 20 anni in più di Psolomon. È cresciuto con i suoi fratelli a Virginia Beach, in Virginia. Pharell Williams è sposato con Helen Lasichanh e la coppia ha un figlio, Rocket Williams.