Barbara
LE DÉFI DE L’OUVERTURE ET DE LA REPRODUCTIBILITÉ DANS LA RECHERCHE SUR L’IA ET LE TRAITEMENT DU LANGAGE NATUREL
Dans ce post co-écrit par Anna Rogers et plusieurs autres chercheurs en traitement du langage naturel, l’accent est mis sur l’importance de la transparence et de la reproductibilité dans la recherche en intelligence artificielle, en particulier en ce qui concerne les modèles de language, à la lumière de l’avènement de la ChatGPT. Les auteurs soutiennent que les modèles “fermés” ne peuvent pas être étudiés de manière significative et ne devraient pas être considérés comme une norme universelle pour les comparaisons de performances. Ils proposent également une règle de conduite pour la communauté des chercheurs en IA : tout modèle qui n’est pas suffisamment ouvert et reproductible ne devrait pas être considéré comme une base de référence. Les auteurs suggèrent également que la recherche doit se concentrer davantage sur les modèles ouverts, qui sont disponibles au téléchargement et peuvent être exécutés hors ligne, ce qui permet aux chercheurs de vérifier leurs fonctionnalités, leurs performances et leurs résultats. Ils ont également souligné l’importance de la transparence quant à la formation de ces modèles et de la documentation de l’ensemble du processus pour que les résultats soient plus accessibles aux autres chercheurs qui souhaitent utiliser ces modèles pour leurs propres recherches.
ÉVOLUTION DES RECHERCHES EN IA
Le post examiné les évolutions récentes de la recherche en traitement du langage naturel, en se concentrant sur les modèles de language et particulièrement ChatGPT, qui est devenu le modèle le plus populaire en 2020. Selon les auteurs, le choix de ce modèle parmi tous les autres modèles existants est significatif, car il est actuellement le plus impressionnant et le plus performant, et il est également considéré comme l’étalon-or pour la détection de langage dans les applications commerciales. Les auteurs ont ajouté que, du point de vue de la recherche, ces modèles fermés ne sont pas considérés comme une référence standard, car il y a peu de transparence concernant le processus de formation des modèles et la documentation des données utilisées. Ces facteurs font qu’il est difficile pour les chercheurs de reproduire les résultats de ChatGPT ou d’autres modèles fermés.
REPRODUCTIBILITÉ
Les auteurs ont souligné que la reproductibilité est un principe clé de la recherche en sciences, y compris en IA, et que les chercheurs doivent s’efforcer de rendre leurs travaux suffisamment accessibles pour permettre à d’autres chercheurs de les reproduire. La documentation du modèle et des données de formation, en particulier, est essentielle pour permettre aux autres chercheurs de vérifier et de reproduire les résultats d’un modèle. Toutefois, dans le cas des modèles fermés, la documentation et la transparence concernant ces données font défaut, ce qui rend difficile pour les chercheurs de reproduire les résultats et de vérifier la validité des résultats d’un modèle.
FUTURE RECHERCHE EN IA
Les auteurs ont conclu en soulignant l’importance de travailler et de se concentrer sur des modèles de langue ouverts, c’est-à-dire des modèles qui peuvent être téléchargés et exécutés hors ligne. L’ouverture et la reproductibilité sont importantes pour la communauté de la recherche, en permettant aux chercheurs de vérifier la validité de certains modèles et de mieux comprendre ce qui se passe lors de l’exécution d’un modèle. Les auteurs ont également noté que le travail sur les modèles de langue ouverts aidera les chercheurs à se concentrer sur les modèles qui ont été largement testés et vérifiés plutôt que de simplement choisir le modèle le plus populaire à un moment donné.
Les auteurs ont également encouragé les chercheurs à documenter soigneusement leurs travaux et à publier des documents accessibles pour permettre à d’autres de reproduire leurs résultats et de travailler avec leurs résultats.
