Peter James Smith comenzó a aparecer en pantalla a mediados de la década de los noventas, sobre todo como extra en algunos episodios de varias series de televisión. En 1998 hizo su primera aparición importante en la pantalla grande bajo la dirección de Alan Cohn en la comedia Dead man on campus. Los años siguientes continuó apareciendo en pequeños papeles en series reconocidas como Friends, así como en películas de gran presupuesto como el drama de la Segunda guerra mundial de Michael Bay Pearl Harbor (2001). Smith obtuvo su papel más notorio hasta la fecha en 1999: como el empleado de la Casa Blanca Ed en la serie dramática de Aaron Sorkin The West Wing. Este papel lo interpretó de manera regular durante las siete temporadas de la serie. Posteriormente, siguió apareciendo como invitado en numerosas series como el drama policiaco Castle. Más recientemente destacan las series de Netflix Glow y Yo nunca.