Barbara
FAIRE SENS DES PROMESSES ET DES RISQUES DES GRANDS MODÈLES DE LANGAGE
Au cours des derniers mois, ChatGPT et d’autres outils similaires ont monopolisé une grande partie de notre attention collective. Cependant, les modèles de langage volumineux (LLM) – l’infrastructure derrière toutes ces sorties de chat que nous partageons sans fin, prenons des captures d’écran, et secouons occasionnellement la tête – sont restés dans (relative) l’obscurité.
Comprendre les LLM est essentiel pour les professionnels de données
En tant que professionnels de données, nous ne pouvons bénéficier que d’une compréhension plus profonde et nuancée des LLM. Il y a bien sûr un angle professionnel à cela, mais aussi un plaisir plus amorphe de savoir comment quelque chose de complexe et de magique fonctionne réellement derrière le rideau. Pour vous aider, nous avons rassemblé une ligne éditoriale stellaire d’articles récents qui examinent le passé, le présent et l’avenir des modèles de langage volumineux, abordant à la fois leurs capacités incroyables et leurs limites non triviales.
Le monde de la recherche en apprentissage automatique post-ChatGPT
Anna Rogers propose une idée puissante dans cet article intitulé Machine Learning Research in a Post-ChatGPT World. Les mécanismes internes de certains des LLM les plus omniprésents (comme les modèles GPT d’OpenAI) restent étroitement gardés par des entités corporatives. Qu’est-ce que cela signifie pour les chercheurs en NLP dont les projets futurs sont susceptibles de rencontrer un obstacle propriétaire tôt ou tard ? Rogers avance une idée novatrice : “Ce qui n’est pas ouvert et raisonnablement reproductible ne peut pas être considéré comme une référence requise”.
L’impact des avancées récentes en IA conversationnelle
Grâce à la taille et à la puissance des LLM, l’interaction homme-machine est passée à un niveau supérieur en quelques mois seulement. Dans Assessing the Impact of Recent Advances in Conversational AI, Gadi Singer réfléchit à la manière dont nous sommes arrivés ici et sur ce qui manque encore avant que les machines ne commencent à communiquer de manière humaine.
Les enjeux éthiques et pratiques des LLM
Les LLM nécessitent des quantités massives de données d’entraînement, ce qui s’est révélé être un vecteur de risque majeur. Lingjuan Lyu présente une vue d’ensemble réfléchie des enjeux et des dangers auxquels nous devons tous être conscients si nous voulons produire du contenu généré par l’IA de manière responsable. Aller plus loin pour se plonger dans cet article intitulé Welcome to a New Ethical (and Practical) Quagmire.
Les outils alimentés par des LLM
Dr. Varshita Sher nous présente une présentation utile et pratique de la bibliothèque de LangChain dans son dernier Deep Dive intitulé “The Wide Horizon of LLM-Powered Tools”. Cette bibliothèque est devenue une ressource incontournable pour de nombreux bricoleurs qui souhaitent exploiter les LLM pour créer de nouvelles applications.
Détection de dérive et d’anomalies avec les LLM
Des cas d’utilisation frais continuent d’émerger pour les LLM, qui continuent d’améliorer l’efficacité du workflow de la science des données. Un exemple en est le post récent de Aparna Dhinakaran, Jason Lopatecki et Christopher Broan, qui présente une approche prometteuse pour utiliser les incrustations LLM pour la détection d’anomalies et de dérive.
Pour aller plus loin, consultez le bonus read, qui explore le fonctionnement des réseaux de neurones transformateurs, l’architecture qui a rendu possibles les LLM en premier lieu. L’article de Soran Ghaderi, intitulé “Transformers: A Map of Recent and Past Research”, fournit une cartographie détaillée de la recherche actuelle et passée sur les transformers.
Sources :
– Machine Learning Research in a Post-ChatGPT World, Anna Rogers, 6 janvier 2023
– Assessing the impact of recent advances in conversational AI, Gadi Singer, 2 mars 2023
– Welcome to a new ethical (and practical) quagmire, Lingjuan Lyu, 3 mars 2023
– The wide horizon of LLM-powered tools, Dr. Varshita Sher, 21 avril 2023
– Identifying drift and detecting anomalies with LLMs, Aparna Dhinakaran, Jason Lopatecki, and Christopher Broan, 17 avril 2023
– Transformers: A Map of Recent and Past Research, Soran Ghaderi, 1 avril 2023
