Il carbonio è stato scoperto per la prima volta in epoca preistorica come carbone di legna. È stato riconosciuto come un elemento nel XVII secolo, dopo che Robert Boyle aveva classificato un elemento come una sostanza che non poteva essere scomposta in sostanze più semplici.
Il carbonio è stato nominato dallo scienziato francese Antoine Lavoisier mentre conduceva una serie di esperimenti per rivelarne le proprietà. In uno dei suoi esperimenti, Lavoisier ha usato una lente d'ingrandimento per focalizzare i raggi del sole su un diamante e ha visto il diamante bruciare e scomparire. Ha notato il diamante combinato con l'ossigeno per formare diossido di carbonio che lo ha portato a concludere che il diamante e il carbone erano entrambi realizzati in carbonio.
Nel 1770, Carl Wilhelm Scheele mostrò che anche la grafite bruciava per formare l'anidride carbonica e quindi scopriva un'altra forma di carbonio. Ancora un'altra forma di carbonio, fullerene, fu scoperta nel 1985 da Robert Curl, Harry Kroto e Richard Smalley. Fullerene era anche chiamato "buckminsterfullerene", perché le sue molecole assomigliavano alle cupole geodetiche progettate dall'architetto Buckminster Fuller per la World's Fair del 1967. La forma di carbonio più recentemente scoperta è il grafene, che consiste in un singolo strato di atomi di carbonio disposti in esagoni. Il grafene è stato scoperto nel 2004 da Kostya Novoselov e Andre Geim, che utilizzavano del nastro adesivo per staccare un singolo strato di atomi dalla grafite per produrre questa forma di carbonio.
