L’intelligence artificielle utilisée pour le doublage d'un film aux États-Unis

Watch the Skies de Victor Danell raconte l’histoire d’une adolescente persuadée que son père a été enlevé par des extra-terrestres. Grâce à l’intelligence artificielle d’un logiciel appelé TrueSync – "vraie synchronisation" en français –, le mouvement des lèvres et les expressions du visage sont corrigés pour qu’il n’y ait pas de décalage entre le son et l’image dont on a l’habitude avec les films doublés. Il est précisé que ce décalage peut parfois être irritant. Même s’il faut bien reconnaître, à en juger par la bande-annonce de Watch the Skies, que ce nouveau type de doublage n’est pas encore parfait. En outre, les acteurs originaux de Watch the Skies ont tous enregistré leurs dialogues en anglais, donc c’est bien leur voix que l’on entend dans la version doublée, avec un accent suédois.

Une technologie développée par une start-up californienne

La technologie est développée par une entreprise californienne, Flawless, cofondée par un réalisateur, Scott Mann. L’ambition de Flawless avec TrueSync est de "donner aux cinéastes la liberté de préserver leur vision créative dans n’importe quel langage". Scott Mann explique avoir été très déçu par les versions étrangères de son film Bus 657 avec Robert De Niro. Il trouvait que les nuances du jeu d’acteur et d’autres détails sur lesquels il avait beaucoup travaillé se perdaient dans le doublage. Déjà en 2015, il avait tenté de corriger ces défauts par ordinateur.

L’idée est que la traduction des dialogues s’accompagne d’"une traduction visuelle" grâce à la technologie. Le visage des acteurs est transformé en modèle 3D. Le logiciel analyse ensuite les expressions du visage et le mouvement des lèvres pour les reproduire image par image, mais adaptées aux dialogues dans une autre langue.

Une innovation aux effets ambivalents pour l’industrie du cinéma

Un agent d’expérience, cité dans la presse américaine, compare l’arrivée de l’IA dans le cinéma à l’apparition du son à la fin des années 1920. Dans le cas du doublage, TrueSync permettrait d’économiser beaucoup d’argent. Plus besoin d’engager des acteurs et des actrices pour s’en occuper, si les acteurs originaux se doublent eux-mêmes.

Cette évolution reste néanmoins inquiétante pour l’industrie du doublage, confrontée à une menace potentielle sur l’emploi. L’IA figurait parmi les principales préoccupations lors de la grève des scénaristes et des acteurs à Hollywood en 2023. Flawless assure cependant avoir validé sa technologie avec la SAG-Aftra, le syndicat des acteurs.

TrueSync pourrait également permettre à davantage de films étrangers de percer sur le marché américain. Les spectateurs y sont peu friands de sous-titres et, contrairement à la France, peu habitués au doublage. Voir un film allemand ou japonais avec des personnages s’exprimant en anglais pourrait faire tomber certaines barrières.