Ils sont plus d’un millier de chercheurs, venant des quatre coins du monde, à avoir travaillé sur « Bloom ». Au total ce sont 46 langues qui sont prises en compte par ce système de prédiction automatique du langage. Mis au point pour fonctionner aussi bien en Anglais, en Français qu’en Basque, le système devrait être capable d’apporter une connaissance inédite sur le langage et la façon dont nous parlons.
Mais pour bien comprendre le fonctionnement de Bloom, il faut se pencher sur son histoire. Pour cela, il faut remonter quelques mois en arrière, à la naissance du projet BigScience. Ce dernier était l’œuvre d’une startup américaine, Hugging Face, fondée par deux Français. Elle vient d’ailleurs de boucler une levée de fonds de 100 millions de dollars en mai dernier, auprès de grands noms de l’industrie comme Airbus, la branche IA de Meta (anciennement Facebook) ou encore les français Orange et Ubisoft.
Car l’idée derrière Bloom a de quoi séduire. Comme l’explique François Yvon, directeur de recherche au CNRS, d’autres modèles de langue existent déjà. Microsoft et Nvidia se sont d’ailleurs alliés pour en construire un il y a quelques mois. Mais ces programmes, développés par des sociétés privées, ne sont pas totalement transparents, au contraire de Bloom.
En effet, les deux fondateurs de cette idée ont promis que Bloom allait être 100 % open source. Il devrait ainsi permettre aux chercheurs du monde entier d’avoir une base de travail commune.
Un système multilangue capable de nous comprendre
Avec Bloom, les scientifiques peuvent travailler sur 46 langues en même temps. Le logiciel va alors tenter de deviner le mot suivant. Un projet colossal qui a demandé des mois de calcul au superordinateur français Jean Zay. Mais les répercussions risquent d’être énormes.
Conscient des grands enjeux qui sont en train de se jouer pour le monde de la recherche, la nouvelle ministre en charge de l’enseignement supérieur et de la recherche a réagi. Elle s’est félicitée de la présence de la langue française dans ce programme, elle qui y est intégrée « largement ».
Car si pour le moment les usages de Bloom sont encore limités, la traduction automatique devrait connaître un vrai avant/après grâce à ce système. Mais comme l’explique François Yvon, ce système est avant tout un outil pour faire avancer la recherche : « à la manière d’un grand télescope, il permet d’observer et de comprendre le fonctionnement de ces modèles de langue. »
176 milliards de paramètres analysés à chaque instant
Afin de perfectionner son entraînement, Bloom a pu utiliser la puissance de calcul du supercalculateur Jean Zay. Le projet Bloom a tourné à 100 % pendant 4 mois pour arriver à un tel résultat. Après autant de temps passé à apprendre des langues diverses et variées, Bloom a réussi à comprendre et analyser 176 milliards de paramètres.
Grâce à cet arbre des possibilités immenses, il est capable de prédire le mot qui va être écrit en ne connaissant que le début d’un texte. Ce système devrait être très utile pour les systèmes de traduction automatique, mais aussi pour les générateurs d’écriture qui pourront gagner énormément en fiabilité.
Totalement open source, le projet devrait être rendu public dans les prochaines semaines par la jeune startup Hugging Face qui en est à l’origine.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
Ce n’est pas déjà le système utilisé par les autres traducteurs ?