Sans surprise, la conférence Build 2024 a été l’occasion de découvrir une série de nouveautés Microsoft basées sur l’IA. Mais ce qui a retenu l’attention de l’assistance et des journalistes, c’est surtout l’arrivée d’une fonctionnalité de traduction en live des vidéos sur certains sites de streaming intégrée dans Microsoft Edge.
Et pour cause : cette nouvelle option permet, en plus d’afficher un sous-titre généré automatiquement avec ce que disent les intervenants, de tout bonnement les doubler avec une voix de synthèse. Une fonctionnalité encore indisponible (en tout cas gratuitement) chez la concurrence, en particulier Google Chrome.
Et si vous vous mettiez à utiliser Edge sur YouTube ?
Comment cela fonctionne ? Lorsque vous visitez un site de vidéos compatible depuis Edge et survolez le player avec la souris, un nouveau menu apparaît. Tout à droite de ce dernier, une icône “traduction” permet de configurer et lancer le traitement de l’audio en direct. Une fois la langue source et de destination configurées, l’audio original de la vidéo est automatiquement traité en tâche de fond sur votre ordinateur.
Vous pouvez alors profiter d’une vidéo ainsi totalement doublée en à peine quelques secondes, le tout gratuitement. Les sous-titres automatiquement générés peuvent être, au choix, cachés ou montrés indépendamment du doublage. De quoi permettre dans certains cas de détecter plus facilement d’éventuelles erreurs de transcription.
Microsoft recommande surtout la traduction de contenus narrés avec une voix relativement claire. La firme explique en effet que les bruits parasites peuvent pour l’instant perturber la traduction. Cette fonctionnalité est initialement quelque peu limitée. En langues tout d’abord : les vidéos en espagnol ou en coréen ne peuvent être traduites qu’en anglais. Tandis que les sources en anglais peuvent être traduites à la volée en hindou, allemand, italien, espagnol ou encore russe.
Il n’est au passage mention nulle part du français pour le moment ; bien que l’on imagine mal que Microsoft n’ajoutera pas celle-ci et une série d’autres langues dans les prochains mois. Par ailleurs, tous les sites de vidéos ne sont pas encore pris en charge. Le premier d’entre eux, Youtube, en est ; de même que Reuters, NBC News, Bloomberg, Money Control (IN), LinkedIn, et Coursera.
La précision de la traduction dépend encore beaucoup de la qualité audio de la source. Microsoft souligne que le traitement de la partie son des vidéos est exclusivement exécutée en local, pour mieux protéger la vie privée. Lors de la première utilisation d’un pack de langue, celui-ci est d’abord téléchargé sur le PC avant que la traduction proprement dite ne puisse se dérouler.
Ces dernières semaines, le progrès de l’IA sur le traitement de contenus vidéo en direct sont assez impressionnants. On a par exemple vu OpenAI puis Google faire la démonstration de leur nouveau “Voice Mode” avec flux vidéo – permettant à l’IA, par exemple, de se souvenir de détails comme l’endroit où vous avez laissé vos lunettes. Voire vous faire carrément des observations sur votre coiffure avant un entretien d’embauche.
Plus proche de la nouveauté disponible sur Edge, la startup Rask AI compte même aller encore plus loin que Microsoft, en lançant dans les prochaines semaines un service de traduction en direct qui fonctionne en visioconférence. Tout en conservant votre timbre de voix et en adaptant le mouvement de vos lèvres afin que le résultat soit quasiment impossible distinguer d’une personne parlant nativement cette langue.
Un concept que l’on avait déjà vu très récemment appliqué sur le dernier discours d’Emmanuel Macron sur l’Europe, ainsi traduit par une IA avec le bon timbre de voix et lipsync dans la moitié des langues européennes. Il ne s’agissait toutefois pas dans ce cas d’une traduction en direct – mais d’un traitement différé permettant de rendre le discours du président français plus accessible sur le continent.
- Microsoft est en train d’ajouter à Edge une fonctionnalité IA qui permet de doubler les vidéos disponible sur YouTube et certains sites, ainsi que de générer automatiquement des sous-titres.
- Un petit plus assez appréciable par rapport à Chrome qui pourrait redonner un peu de popularité au navigateur internet de Windows.
- Ce type de fonctionnalité montre les progrès assez impressionnants de l’IA en matière de traitement des vidéos.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
