Dans le domaine de l’intelligence artificielle, les chercheurs rivalisent d’ingéniosité pour améliorer les performances des grands modèles de langage (LLM). Récemment, Google DeepMind a fait une avancée prometteuse en développant un nouveau cadre de raisonnement par auto-découverte pour ces modèles. Les résultats sont encourageants.
Une approche s’inspirant de la cognition humaine
Cette avancée est le fruit d’une collaboration entre Google DeepMind et l’Université de Californie du Sud. Baptisée « auto-découverte », cette nouvelle approche permet aux grands modèles de langage (LLM) d’apprendre par eux-mêmes des stratégies de raisonnement intrinsèques à une tâche donnée. En d’autres termes, les LLM peuvent déterminer tout seuls les étapes nécessaires à la résolution d’un problème.
Cette méthode de DeepMind s’inspire du fonctionnement cognitif humain. Par exemple, lorsqu’une personne est confrontée à un problème, tout d’abord, elle commence par réfléchir aux étapes à suivre pour le résoudre. Ensuite, elle le décompose en sous-problèmes plus simples, puis choisit la meilleure façon de résoudre chacun d’eux. Enfin, pour obtenir la réponse finale, elle combine les solutions.
C’est exactement le processus que la méthode d’auto-découverte applique aux LLM. Les chercheurs l’ont doté de capacités d’auto-découverte. Ils deviennent alors capables de déterminer de manière autonome des stratégies de raisonnement efficaces pour venir à bout de tâches complexes.
Différences majeures avec les méthodes existantes
L’approche d’auto-découverte se distingue des techniques existantes sur plusieurs aspects. Habituellement, les grands modèles de langage reçoivent une structure de raisonnement prédéfinie pour traiter une tâche. Avec l’auto-découverte, ils créent eux-mêmes la structure adaptée à chaque nouveau problème.
Par ailleurs, cette nouvelle méthode de raisonnement de DeepMind est plus flexible. Elle permet aux modèles de s’ajuster en fonction du défi auquel ils sont confrontés. Ils peuvent choisir la meilleure manière de résoudre chaque problème.
Gains de performance et d’efficience des LLM
Afin d’évaluer les performances de ce nouveau cadre, les chercheurs l’ont testé avec les grands modèles de langage GPT-4 d’OpenAI et PaLM-2 de Meta sur 25 tâches de raisonnement. Les résultats ont été à la hauteur de leurs attentes, les surpassant même. En fait, dans 21 des 25 tâches, cette nouvelle approche a surpassé d’autres techniques de raisonnement comme la Chain of Thought (CoT). Concrètement, les LLM ont gagné jusqu’à 32 % de performances sur des tâches de raisonnement difficiles.
En plus, cette méthode s’avère bien plus efficiente que les approches existantes. Elle nécessite entre 10 à 40 fois moins de ressources de calcul d’inférence. Cette double capacité rend la nouvelle approche de DeepMind particulièrement attrayante pour les entreprises. Les résultats de cette évaluation sont publiés sur les plateformes Hugging Face et arXiV.
Quelles perspectives pour ce nouveau cadre révolutionnaire ?
Le nouveau cadre de raisonnement auto-découverte de DeepMind pourrait beaucoup changer l’avenir de l’intelligence artificielle. En effet, grâce à la nature adaptative et à la flexibilité de cette approche, les LLM pourront s’adapter à une variété de nouvelles situations en élaborant eux-mêmes leur propre stratégie.
Puis, sa capacité à augmenter les performances des LLM ainsi que son efficacité pourrait révolutionner de nombreux domaines cruciaux, qu’il s’agisse du secteur médical, financier ou d’autres industries.
- Partager l'article :
