Nacido en New Jersey, Ed Harris estudió en la Universidad de Columbia en Nueva York, donde jugaba fútbol. Su interés por la actuación llegó tras ver algunas obras teatrales, así que decidió mudarse a Oklahoma para estudiar teatro. Sus pininos los realizó ahí y en televisión en participaciones especiales, y fue en 1981 cuando llegó su primer rol importante en la cinta Knightriders, del reconocido cineasta de terror George A. Romero.

En 1983 consiguió un papel en la aclamada cinta The Right Stuff, que estuvo nominada al Oscar y por la que el actor saltó a la fama. Además de actor, Harris ha sido director. Y su debut tras las cámaras lo realizó en Pollock (2000), por la que fue nominado al Oscar como Mejor Actor.

Ha estado otras tres veces nominado al Oscar en la categoría de Actor de Reparto (Apolo 13, The Truman Show y Las Horas), y ha aparecido en cintas como Una historia violenta, Ojo por Ojo, Una Mente Brillante, La Roca, Enemigo al Acecho, Poder Absoluto; y también en las series Empire Falls y Westworld.