I migliori tipi di rocce da utilizzare nel giardinaggio di roccia sono quelli che si trovano in natura, specialmente nell'area locale del giardiniere. Le rocce stagionate o invecchiate funzionano meglio in un giardino roccioso rispetto alle pietre appena tagliate fresche da una cava. Rocce più dure e resistenti come granito e scisto offrono scelte migliori rispetto a rocce morbide e porose come calcare e scisto.
Se un giardiniere sta costruendo un giardino roccioso nella parte orientale della California o nel Nevada occidentale, la roccia più comune è di gran lunga il granito. L'utilizzo di grandi pezzi di granito nel giardino roccioso conferisce un senso di continuità visiva al giardino, aiutandolo a integrarsi con il paesaggio circostante. Inoltre, è probabile che grossi pezzi di granito siano prontamente disponibili in questa parte del paese.
Tuttavia, se il giardiniere vive nel sud-ovest e vuole costruire un giardino roccioso, la pietra scelta è l'arenaria o l'arkose. L'arenaria è principalmente marrone chiaro o arancione, mentre l'arkose è tipicamente marrone con piccole inclusioni rosa di un minerale chiamato feldspato. Mentre è più morbido del granito, l'arenaria regge abbastanza bene l'esposizione agli agenti atmosferici. L'arenaria metamorfica, detta quarzite, è anche un'affascinante roccia da giardino, in quanto ha lo stesso colore dell'arenaria pur essendo una pietra molto più dura e resistente.
