Google, Intel et Nvidia s’affrontent dans la formation de l’IA générative.

# L’ère de l’IA générative: Les grandes avancées dans les tests de systèmes informatiques pour l’entraînement des réseaux neuronaux de l’apprentissage automatique

Les derniers tests publics d’évaluation des performances des systèmes informatiques pour l’entraînement des réseaux neuronaux de l’apprentissage automatique ont pleinement intégré l’ère de l’IA générative. En début d’année, MLPerf a ajouté un test pour l’entraînement de grands modèles de langage (LLM), en particulier GPT-3. Ce mois-ci, il ajoute Stable Diffusion, un générateur de texte vers image. Les ordinateurs alimentés par Intel et Nvidia ont pris le nouveau test en charge. Les rivaux ont poursuivi leur bataille antérieure dans l’entraînement de GPT-3, où ils ont été rejoints cette fois-ci par Google.

# Nvidia et Microsoft testent des monstres de 10 752 GPU

Nvidia continue de dominer les benchmarks MLPerf avec des systèmes fabriqués à partir de ses GPU H100. Mais les résultats d’Eos, le nouveau supercalculateur AI de 10 752 GPU de la société, ont été la cerise sur le gâteau. En utilisant tous ces GPU pour l’entraînement de GPT-3, Eos a terminé le travail en un peu moins de 4 minutes. La branche informatique en nuage de Microsoft, Azure, a testé un système de la même taille et était derrière Eos de quelques secondes à peine.

# Intel continue de se rapprocher

Intel a soumis des résultats pour des systèmes utilisant la puce accélératrice Gaudi 2 et pour ceux qui n’avaient pas du tout d’accélérateur, ne comptant que sur son processeur Xeon de quatrième génération. Le gros changement par rapport au dernier ensemble de benchmarks d’entraînement était que la société avait activé les capacités à virgule flottante 8 bits (FP8) de Gaudi 2. L’utilisation de nombres à plus faible précision, tels que FP8, a été responsable de la plupart de l’amélioration des performances des GPU au cours des 10 dernières années. L’utilisation de FP8 dans certaines parties de GPT-3 et d’autres réseaux neuronaux transformateurs où leur faible précision n’affectera pas la précision a déjà montré sa valeur dans les résultats obtenus avec les GPU H100 de Nvidia.

# Références

[IEEE](https://spectrum.ieee.org/media-library/rows-of-black-rectangular-structures-with-yellow-lines-on-them-receding-into-the-shadows.jpg?id=50438311&width=980)