Nonostante il suo colore intenso, la torta di velluto rosso possiede un sapore di cioccolato molto delicato. Tradizionalmente le torte di velluto rosso usano una piccola quantità di cacao in polvere, e alcuni richiedono latticello e vaniglia o altri estratti, che possono variare il sapore.
I sapori esatti della torta possono variare secondo la ricetta, a seconda dell'uso di estratti, come la vaniglia o gli agrumi, il tipo e la quantità di polvere di cacao e l'uso del latticello nella torta.
Le moderne ricette per la torta di velluto rosso spesso richiedono grandi quantità di colorante alimentare rosso, e questo può influenzare il sapore. Queste ricette utilizzano spesso quantità minori di cacao elaborato in Olanda, in quanto possono far diventare la torta marrone invece che rossa.
Alcune ricette utilizzano una piccola quantità di polvere di cacao naturale combinata con un ingrediente acido, come il latticello o l'aceto, per produrre un colore rosso naturale.
