Roy Clark è figlio di due musicisti dilettanti, ma dal 2015 non ci sono informazioni sui suoi genitori o sulla sua famiglia immediata al di fuori di sua moglie. Sposò Barbara Joyce Rupard nel 1957.
Mentre Roy Clark è nato in Virginia, è cresciuto a New York, trascorrendo la maggior parte del suo tempo a Washington, DC. Fin dalla tenera età, aveva un forte background musicale e all'età di 14 anni ha iniziato a suonare il mandolino, la chitarra e il banjo. Attraverso la sua dedizione alla sua musica, ha vinto due campionati nazionali di banjo. Mentre ha proseguito la sua carriera musicale, ha anche perseguito una carriera sportiva, provando come un giocatore di baseball, poi un pugile. Alla fine, ha deciso di concentrarsi sulle sue capacità musicali, e ha fatto la sua prima apparizione sul Grand Ole Opry quando aveva solo 17 anni.
Durante la metà degli anni '50, Roy Clark si esibì regolarmente nello show televisivo di Jimmy Dean, ma alla fine Dean lo licenziò per il suo ritardo. Tuttavia, la carriera musicale di Roy Clark non finì qui, e suonò per Wanda Jackson negli anni '60. Durante questo periodo, ha anche perseguito la sua carriera da solista. Nel 1963, firmò con la Capitol Records e registrò diversi successi prima di registrare per la ABC Records.