« Il n’y a pas de mur ». Cette phrase prononcée sur X par Sam Altman, CEO d’OpenAI et papa de ChatGPT, illustre à quel point le débat sur le fait que les progrès de l’IA seraient en train de ralentir bat son plein au sein de la Silicon Valley. Si certaines menaces obscurcissent l’avenir, les géants du secteur avancent leurs solutions. Explications.
Ces menaces qui planent sur l’IA
Business Insider s’est justement entretenu avec 12 experts pour y voir plus clair. Dans l’ensemble, le développement de ces technologies pourrait être mis à mal par des difficultés pour se procurer des puces spécialisées. De fait, Nvidia peine parfois à répondre à la demande tant celle-ci est massive.
De même, les sociétés technologiques ont un autre gros souci : les données de formation. Elles ont puisé allègrement (trop au regard de certains médias et artistes qui ont lancé des poursuites) dans les informations publiques disponibles sur cet Internet.
Ce manque de matière première risque d’être préjudiciable et pourrait donc entraîner une stagnation des modèles. On atteindra d’ailleurs ici le mur pour de bon. Ainsi, d’après le cabinet Epoch AI, les données textuelles utilisables devraient être épuisées d’ici 2028.
Comment s’en sortir ?
Pour s’en sortir, les entreprises prévoient notamment d’ajouter des données multimodales à leurs bases. Ainsi, des sources d’informations visuelles et audio s’additionneraient aux textes disponibles en ligne.
Les données privées pourraient aussi venir aider à former les IA. C’est en ce sens que des compagnies comme OpenAI et Google multiplient les partenariats avec des médias ou certains sites dédiés aux développeurs, comme Stack Overflow.
Pour continuer d’améliorer leurs modèles, les compagnies n’ont d’autre choix que d’essayer de récupérer des sources de qualité. Pour cela, elles pourraient notamment se tourner vers des données synthétiques elles-mêmes générées par IA. Pour éviter les erreurs, une supervision humaine restera dans ce domaine primordiale d’après les sources interrogées.
Cité par Business Insider, un ancien employé de Google DeepMind ajoute : « Gemini a changé de stratégie. Je pense qu’ils ont réalisé qu’il est en fait très coûteux de servir des modèles aussi volumineux, et qu’il est préférable de les spécialiser pour diverses tâches grâce à une meilleure formation ultérieure ».
Enfin, une autre piste est explorée pour franchir de nouveaux paliers. L’idée est tout simplement de laisser plus de temps à l’IA pour raisonner. Sivesh Sukumar souligne à cet égard que les réponses formulées en quelques millisecondes : « Cela n’a pas vraiment de sens. Si vous pensez au fonctionnement du cerveau humain, même les personnes les plus intelligentes mettent du temps à trouver des solutions aux problèmes. »
La question énergétique reste posée
OpenAI s’est d’ailleurs positionné sur ce dossier en lançant o1 à l’automne dernier. Ce dernier est censé réfléchir quelques secondes à un problème avant de vous fournir une réponse.
Outre ces problèmes techniques de taille, les sociétés doivent répondre au défi énergétique. Les data centers, qui sont indispensables à leur fonctionnement, consomment en effet beaucoup d’électricité, à tel point que certains doutent à haute voix de la durabilité de ces innovations qui sont aussi très coûteuses en eau. Pour en savoir plus à ce sujet, n’hésitez pas à relire notre précédent article ici.
📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.
