- Selon un document interne repris par diverses sources Google pense que Bard, OpenAI et tous les acteurs commerciaux des IA vont bientôt être écrasés par les modèles Open Source
- La note illustre ses peurs avec l’exemple de la fuite du code source de LLaMA, le modèle IA développé par Meta (Facebook)
- Le document interne pense que les géants de la tech n’ont pas d’ingrédient secret qui pourrait faire une différence avec les modèles Open Source sur le long terme
Déjà largement dépassé dans l’IA par ChatGPT-4, Google est visiblement plutôt pessimiste pour l’avenir. C’est en tout cas ce que montre une note interne qui vient de fuiter sur le web. Note rédigée par un chercheur sous couvert d’anonymat (le document est corroboré par plusieurs sources en interne).
Les IA ont en réalité vraiment percé depuis moins d’un an – or jusqu’ici ce volet dans l’histoire des intelligences artificielles générales est surtout teinté de technologies propriétaires. C’est en effet bien une “sauce secrète” qui rend pour l’instant GPT-4 si bon par rapport à la concurrence. Et qui complique les efforts pour mettre Bard, LLaMA et d’autres modèles LLM au niveau de ce qui sort des laboratoires de OpenAI.
Les IA Open Source risquent bien de tout emporter sur leur passage
Toutefois, la note interne se montre très inquiète des capacités de la scène open source. Il y a environ deux mois, le code source de LLaMA (l’IA développée par Meta) fuitait sur 4Chan. Des modèles initialement très lourds, requérant d’importantes ressources pour fonctionner. Mais des internautes (parmi lesquels se trouvaient visiblement des experts de la question) ont rapidement amélioré le code de leur côté, permettant d’alléger le modèle tout en améliorant son efficacité.
De sorte qu’il est devenu possible de le lancer en local sur des machines plus modestes – tout en rendant ses réponses plus comparables à celles de Bard ou de ChatGPT. En plus de cela, des efforts ont également été réalisés sur le versant du “Low-Rank Adaptation”, autrement dit les efforts et ressources requis pour entraîner des modèles. Stanford a ainsi lancé une version de LLaMA, deux semaines après la fuite qui a fait passer le niveau des réponses de l’IA de 68% à 76% de ce qu’est capable de produire ChatGPT-4.
Un modèle baptisé Alpaca-13B. Cet exemple montre selon la note à quel point les initiatives privées du secteur n’apportent en réalité rien de plus que ce que peut développer la communauté Open Source. Tout en faisant remarquer que la fuite elle-même du modèle LLaMA est à l’avantage de Meta, qui bénéficie de ces efforts gratuits, et pourra en tirer parti plus vite dans ses produits.
En étant l’un des premiers modèles LLM dont s’empare la communauté des développeurs, LLaMA se place par ailleurs d’emblée de façon favorable dans l’espace (encore à construire) des IA open source. Dès lors, la note interne pense que les modèles de langages propriétaires tels que ceux développés par Google et OpenAI, vont finir par se faire dépasser par des alternatives totalement ouvertes et gratuites.
Qui auront l’avantage d’être de plus en plus légères en termes de ressources – autorisant une exécution locale, au contraire des meilleurs modèles actuels qui reposent sur d’immenses datacenters pour fonctionner.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
La plus part des innovations viendront sûrement de l’open source, mais faire fonctionner un LLM localement, pour l’avoir fait il faut savoir bidouiller et aussi avoir le matos pour. Alors qu’avoir un site qui le fait a votre place, rendant par conséquent l’IA accessible a tous facilement, c’est ce qui est le fer de lance actuel de la course a l’IA.
De plus, cette techno a un double intérêt financier, d’un c’est une techno très énergivore et donc coûteuse (ce qui rend même le modèle économique publicitaire compliqué) et deusio un potentiel de bénéfice exceptionnel(similaire a un GAFAM).
Ces deux “critères” financier sont un peu l’antithèse du modèle Open Source.
Ma conclusion :
L’innovation va passer par l’Open Source, la question est de savoir si ce sont de nouvelles entreprises ou des entreprises existantes qui en profiteront. (la question d’une solution “full” Open Source est pour moi une chimère dans ce monde dicté par le pognon, ça reste possible mais j’y croit plus. il y aura toujours un intermédiaire pour simplifier le process qui voudra en tirer profit.)