Il grandit à Aulnay-sous-Bois à la Cité des 3000, dans le quartier de la Rose des vents. Issu d'une famille nombreuse berbère marocaine, il quitte l'école pour devenir boxeur et se classe second de sa catégorie en France. Il fait ses premières armes aux côtés du groupe de hip hop Assassin, par qui il rencontre Mathieu Kassovitz et qui le révèle au public dans le film La Haine. Taghmaoui est alors nommé pour un César en 1996 pour son interprétation. Polyglotte, il débute une carrière internationale, tournant notamment en Italie, en Allemagne et au Maroc, le pays d'origine de ses parents. Il contribue, en 2005, à une campagne contre les accidents de la route au Maroc en tournant des flashs de sensibilisation.

Il devient l'un des rares acteurs français à tourner aux États-Unis, son rôle de soldat irakien dans Les Rois du désert aux côtés de George Clooney et Mark Wahlberg lui permettant de se lancer à Hollywood. Il tourne dans de nombreux films tels Hidalgo, Spartan, J'adore Huckabees.

Fin 2008, il obtient la nationalité américaine. En 2009, il est choisi par le groupe U2 pour incarner le rôle principal de Linear, le film qui accompagne leur nouvel album No Line on the Horizon. Il s'agit d'un film de 1 heure 30 découpé en 14 morceaux pour illustrer les 14 titres de leur album. Il apparaît dans la superproduction américaine G.I. Joe. La même année, il incarne "César", dans la saison 5 de la série télévisée à succès, Lost, les disparus.