James Pickens Jr. comenzó su carrera profesional como actor en los teatros de Nueva York en puestas en escena como A Raisin in the Sun y A Soldier’s Play, ésta última la protagonizó junto a Denzel Washington y Samuel L. Jackson. En 1986 se trasladó a Hollywood y desde ese año hasta 1990 interpretó el papel de Zack Edwards en la serie Another World. También ha aparecido como invitado en series como Curb your enthusiasm, The west wing, Beberly Hills 90210 y Six Feet Under, así como en pequeños papeles en películas como Fantasmas del pasado (1996), Trafico (2000), Confusión de amor (2010), entre otras. Pickens Jr. ha tenido otros papeles importantes en televisión como el del oficial Joe Abner y el de Nathan Foster en NYPD Blue, el del detective Mike McKrew en Los practicantes, el de Alvin Kersh en Los expedientes secretos X, el de Chuck en Roseanne, y desde el 2005, el del doctor Richard Webber en Grey’s Anatomy.