Downton Abbey è girato in vari set e luoghi nel Regno Unito. Il castello di Highclere, situato nel nord dell'Hampshire, è utilizzato per scatti esterni dell'Abbazia stessa, così come molti scatti interni.
Molti film storici e castelli sono stati usati per filmare la serie. La seconda casa della famiglia Crawley è davvero la Grey's Court nell'Oxfordshire. Il dower house è davvero Byfleet Manor, situato nel Surrey. La stazione di Downton è la stazione ferroviaria di Horsted Keynes nel Sussex. Il castello di Duneagle è davvero il castello di Inveraray a Argyll, in Scozia. Il castello di Brancaster è girato al castello di Alnwick nel Northumberland e la tenuta di Haxy Park fa parte del Waddesdon Manor nel Buckinghamshire.
