Como musulmán, Ali estaba inicialmente afiliado a la Nación del Islam (NOI) de Elijah Muhammad. Más tarde rechazó la NOI, se adhirió al Islam sunita y apoyó la integración racial como su ex mentor Malcolm X.
En 1962, Ali conoció a Malcolm X, quien pronto se convirtió en su mentor espiritual y político.
La amistad de Ali con Malcolm X terminó cuando Malcolm se separó de la Nación del Islam un par de semanas después de que Ali se uniera, y Ali permaneció con la Nación del Islam. Ali dijo más tarde que darle la espalda a Malcolm fue uno de los errores que más lamentaba en su vida.