La situazione abitativa dello schiavo dipendeva dal suo lavoro e dalla situazione sociale del suo proprietario. Le famiglie della classe media con pochi schiavi lasciano spesso che gli schiavi risiedano nelle loro case. Nelle piantagioni e in altre grandi proprietà, gli schiavi che lavoravano nel campo vivevano in speciali case di schiavi. I cuochi e le cameriere vivevano spesso all'interno delle stesse case dei loro proprietari, in genere in una stanza sul retro o in un attico.
Le compagnie ferroviarie usavano anche gli schiavi per costruire ferrovie. Come gli schiavi delle piantagioni, questi schiavi avevano condizioni di vita terribili. I loro letti non erano altro che assi di pino duro e inclinato con un'unica coperta. Le baracche degli schiavi avevano camini mal costruiti e in genere non erano molto puliti a causa delle terribili ore di lavoro richieste agli schiavi. Spesso gli schiavi erano costretti a lavorare dalla pausa dell'alba fino alla notte. Molti schiavi sono crollati a causa dell'esaurimento. Il loro cibo veniva solitamente preparato da un altro schiavo, ma le loro razioni erano magre. A volte il loro cibo per un giorno intero non sarebbe altro che rape e patate.
I proprietari di schiavi spesso scambiavano i loro schiavi in cambio di denaro e beni. Per questo motivo, molti schiavi, compresi i bambini, erano separati dalle loro famiglie. Gli schiavi domestici spesso organizzavano matrimoni per i bambini con altri schiavi domestici per perpetuare il loro stato sociale meno oneroso.
