Jacob Benjamin Gyllenhaal nació en Los Ángeles, California. Es el hijo de la productora y guionista, Naomi Foner, y del director Stephen Gyllenhaal. Su hermana es la actriz Maggie Gyllenhaal.

Jake hizo su debut cinematográfico a los once años en la cinta City Slickers (1991). Posteriormente apareció en October Sky (1999), Donnie Darko (2001), Bubble Boy (2001), Una buena chica (2002), Moonlight Mile (2002) y El día después de mañana (2004).

Tras concentrarse en hacer teatro por una temporada en Londres, aceptó el papel que impulsaría su carrera: El secreto de la montaña (2005), dirigida por Ang Lee y en la que compartió créditos con Heath Ledger. El papel le valió nominaciones al Globo de Oro, al Premio BAFTA y al Oscar, entre otros.    

En los últimos años ha participado en numerosas producciones entre las que destacan: Zodiaco (2007), Primicia mortal (2014), Everest (2015) y Okja (2017).