Pierre T.
STABILITY AI LANCE DES MODÈLES DE LANGAGE STABLELM SIMILAIRES À CHATGPT
Stability AI, la startup derrière l’outil d’art génératif de l’IA, Stable Diffusion, a annoncé aujourd’hui la mise en open source d’une suite de modèles d’IA pour la génération de texte appelés StableLM. La startup affirme que ces modèles peuvent générer à la fois du code et du texte, et peuvent rivaliser avec des systèmes tels que le GPT-4 d’OpenAI. Les modèles sont disponibles sur GitHub et Hugging Spaces, une plateforme d’hébergement de modèles et de code d’IA. Bien que ces modèles soient encore en phase alpha, ils ont été entraînés avec une technique développée à Stanford appelée Alpaca, sur des données de référence issues de plusieurs startups d’IA, notamment Anthropic. Les modèles sont capables de répondre à des instructions précises et d’accomplir des tâches spécifiques similaires à ChatGPT.
ENTRAÎNEMENT SUR LE PILE
Les modèles ont été entraînés sur un ensemble de données appelé The Pile, qui est une collection de textes trouvés sur Internet, y compris des extraits de PubMed, StackExchange et Wikipedia. L’équipe de Stability AI affirme avoir créé un ensemble de données de formation personnalisé qui augmente la taille de The Pile de trois fois plus que la normale.
LIMITES DES STABLELM
Stability AI n’a pas précisé dans son article de blog si les modèles StableLM souffrent des mêmes limitations que d’autres modèles de langage, à savoir une tendance à la génération automatique de réponses toxiques à certaines prompts et des hallucinations (c’est-à-dire des faits inventés). Cependant, étant donné que The Pile contient un langage profane, obscène et auparavant assez abrasif, il n’est pas surprenant que cela puisse être le cas. Même les grands modèles d’IA privés comme GPT-4 ont été accusés de toxicité.
OPENSOURCE VS PROPRIÉTÉ
Le nombre de modèles de génération de texte en opensource ne cesse d’augmenter, les entreprises grandes et petites rivalisent pour se faire remarquer dans l’espace de l’IA générative de plus en plus rentable. Bien que l’opensource puisse être bénéfique en termes de transparence pour la recherche et la communauté universitaire, les modèles d’IA opensource peuvent également être utilisés à des fins malveillantes telles que la création de courriels de phishing ou l’aide à des attaques de logiciels malveillants. Malgré cela, Stability AI croit que l’opensource est la meilleure approche pour promouvoir la transparence et la confiance.
PRESSIONS ÉCONOMIQUES
Bien que la startup ait levé plus de 100 millions de dollars en capital-risque en octobre dernier avec une valorisation de plus d’un milliard de dollars, des informations récentes ont souligné que Stability AI est en train de brûler de l’argent et qu’il est lent à générer des revenus. Le PDG Emad Mostaque a déclaré vouloir entrer en bourse dans les prochaines années, mais la réalité économique est tout autre.
Sources:
– Article original : https://techcrunch.com/2023/04/18/stability-ai-releases-chatgpt-like-language-models/
– Anthropic : https://techcrunch.com/2023/02/27/anthropic-begins-supplying-its-text-generating-ai-models-to-startups/
– BigScience : https://techcrunch.com/2022/07/12/a-year-in-the-making-bigsciences-ai-language-model-is-finally-available/
– Hugging Spaces : https://huggingface.co/
– Semafor : https://www.semafor.com/article/04/07/2023/stability-ai-is-on-shaky-ground-as-it-burns-through-cash
– The Pile : https://the-eye.eu/public/AI/pile_preliminary_components/dataset_description.html
