Milo
[ad_1]
La COP27 vient de s’achever, c’est donc le moment idéal pour examiner l’impact environnemental de l’intelligence artificielle (IA). Les « mégamodèles » de l’apprentissage statistique, ces logiciels dont l’entraînement nécessite l’ajustement de milliards de paramètres sur des milliards de documents, ont révolutionné le traitement automatique des langues depuis l’introduction en 2017 des « transformers » par des chercheurs de Google et de l’université de Toronto. La question de leur empreinte environnementale s’est très vite posée, avec la publication en 2019 d’un article choc par des chercheurs de l’université du Massachusetts, estimant le coût en CO₂ de l’entraînement d’un de ces modèles à cinq fois celui du cycle de vie complet d’une voiture. Une étude plus récente de chercheurs de l’UC Berkeley et de Google revoit radicalement ce chiffre, le divisant par 88 pour le ramener à 1,8 % du coût complet d’un vol aller-retour entre San Francisco et New York.
Difficile d’y voir clair. Mais la bonne nouvelle est que la communauté s’est emparée du sujet. La difficulté réside dans la prise en compte de tous les facteurs, dont la fabrication, la maintenance et le recyclage des plates-formes de calcul et de stockage dans le calcul de l’empreinte environnementale. La plupart des études récentes se concentrent sur le coût des calculs et l’efficacité de l’infrastructure. L’une d’elles, parue en 2020 dans Science, indique que le rapport entre l’énergie totale consommée par les grandes plates-formes de calcul et de stockage (les data centers) et celle consommée par leurs équipements informatiques se rapproche aujourd’hui, avec une valeur de 1,1, de sa limite optimale.
Elle montre également que la consommation énergétique des data centers a augmenté de 6 % entre 2010 et 2018, alors que leur utilisation augmentait de 550 % sur la même période. Ces améliorations sont dues à l’optimisation de tous les éléments : consommation électrique du calcul et du stockage, virtualisation, refroidissement, etc. Des marges de progression existent encore, permettant d’espérer contenir l’augmentation de la consommation pendant que la communauté scientifique planche sur des modèles eux-mêmes plus frugaux en temps de calcul et en données, allant de méga-modèles généralistes, compressés et optimisés a posteriori, à des modèles « légers », consacrés à des tâches particulières et exploitant les a priori physiques correspondants.
Une prise de conscience collective
La question de la frugalité des systèmes d’IA va bien au-delà de leur coût environnemental. Comment peut-on garantir aux acteurs académiques l’accès aux quantités de données gigantesques nécessaires pour entraîner les mégamodèles ? Comment interpréter et auditer un système à 200 milliards de paramètres entraîné sur un corpus de milliards de documents ? La frugalité énergétique est également une clé pour limiter la capacité de calcul nécessaire, le transit de données vers le cloud et la décharge des batteries dans des applications mobiles allant du téléphone portable à la voiture « intelligente ».
Il vous reste 18.27% de cet article à lire. La suite est réservée aux abonnés.
[ad_2]
