James Edward Carter nació el 19 de agosto de 1948 en Harrogate, Yorkshire, Inglaterra, Reino Unido. Aasistió a Ashville College, Harrogate, donde fue jefe de escuela en su último año, y a la Universidad de Sussex, donde estudió derecho y se convirtió en una de las principales figuras de la incipiente Drama Society.

Ha participado en más de 35 películas, aunque durante un tiempo trabajó en la Compañía de Teatro Nacional durante tres años y tiempo después de haberla abandonado, decidió reincorporarse a la misma para actuar en The President of an Empty Room, que se estrenó a finales de junio de 2006.

Los créditos cinematográficos de Carter incluyen Top Secret! (1984), Un mes en el campo (1987), Un hombre peligroso: Lawrence After Arabia (1992), La locura del Rey George (1994), Richard III (1995), Shakespeare enamorado(1998) ), El pequeño vampiro (2000) y Ella encantada (2004).

Interpretó a John Faa en La brújula dorada (2007), la primera película en la adaptación de la trilogía His Dark Materials, y también protagoniza House of 9 (2005) como el vigilante, y el verdugo en la adaptación de Tim Burton de Alicia en el país de las maravillas.

Sus créditos televisivos incluyen al Capitán Brown en la serie de cinco partes de la BBC Cranford (2007) y al Alcalde Waldo, en la miniserie estadounidense Dinotopia (2002). Es mejor conocido por su papel en Downton Abbey (2010-2015), interpretando a Carson, un papel que le ha valido cuatro nominaciones al Premio Primetime Emmy por Mejor Actor de Reparto en una Serie Dramática (2012-2015).

Jim Carter y la actriz Imelda Staunton se conocieron en enero de 1982 durante los ensayos de Chicos y muñecas de Richard Eyre en el Teatro Nacional. Carter y Staunton se casaron en 1983 y tienen una hija.