La pioggia acida causa l'erosione reagendo chimicamente con alcuni minerali nella roccia, facendola dissolvere nell'acqua e altrimenti sfuggire alle strutture in cui è legata. Questo è particolarmente un problema con calcare e rocce derivate da esso, come il marmo. Il costituente di base del calcare è il carbonato di calcio, che è molto vulnerabile ai composti acidi.
La pioggia acida si crea quando i processi industriali e altri processi moderni rilasciano composti di zolfo nell'atmosfera. Questi reagiscono con l'acqua, creando acido solforico, il principale componente attivo delle piogge acide. Questo acido disciolto viene trasportato con pioggia su calcare o marmo e il carbonato di calcio nella roccia reagisce con esso. Questa reazione genera acqua, anidride carbonica, ioni calcio e ioni solfato. Tutti questi prodotti vengono poi portati via con l'acqua piovana che scorre. Questo erode entrambe le strutture naturali e artificiali fatte di calcare e esaurisce il suolo di importanti composti di calcio.
La pioggia acida danneggia anche l'ambiente in altri modi. La pioggia acida si accumula in corpi d'acqua, come i laghi, rendendoli più acidi. Questo può rendere i laghi così acidi che non supportano più la maggior parte dei pesci e altri tipi di organismi. Inoltre, la dissoluzione del calcio e di altri composti nel suolo può rilasciare nell'ambiente alluminio tossico e altri ioni.