Google affirme que son supercalculateur IA est plus rapide et plus écologique que la puce Nvidia A100

4 avril (Reuters) – Alphabet Inc (GOOGL.O) Google a publié mardi de nouveaux détails sur les supercalculateurs qu'il utilise pour former ses modèles d'intelligence artificielle, affirmant que les systèmes sont à la fois plus rapides et plus économes en énergie que les systèmes comparables de Nvidia Corp (NVDA.O).

Google a conçu sa propre puce personnalisée appelée Tensor Processing Unit, ou TPU. Il utilise ces puces pour plus de 90% du travail de l'entreprise sur la formation à l'intelligence artificielle, le processus d'alimentation des données via des modèles pour les rendre utiles dans des tâches telles que répondre à des requêtes avec du texte de type humain ou générer des images.

Le Google TPU en est maintenant à sa quatrième génération. Google a publié mardi un article scientifique détaillant comment il a assemblé plus de 4 000 puces dans un supercalculateur en utilisant ses propres commutateurs optiques développés sur mesure pour aider à connecter des machines individuelles.

L'amélioration de ces connexions est devenue un point de concurrence clé entre les entreprises qui construisent des supercalculateurs d'IA, car les soi-disant grands modèles de langage qui alimentent des technologies telles que Bard de Google ou ChatGPT d'OpenAI ont explosé en taille, ce qui signifie qu'ils sont beaucoup trop volumineux pour être stockés sur une seule puce.

Les modèles doivent plutôt être répartis sur des milliers de puces, qui doivent ensuite travailler ensemble pendant des semaines ou plus pour former le modèle. Le modèle PaLM de Google - son plus grand modèle de langage rendu public à ce jour - a été formé en le répartissant sur deux des 4 000 supercalculateurs sur 50 jours.

Google a déclaré que ses superordinateurs facilitent la reconfiguration des connexions entre les puces à la volée, aidant à éviter les problèmes et à ajuster pour des gains de performances.

"La commutation de circuits facilite le contournement des composants défaillants", ont écrit Norm Jouppi, Google Fellow, et David Patterson, ingénieur distingué de Google, dans un article de blog sur le système. "Cette flexibilité nous permet même de modifier la topologie de l'interconnexion du supercalculateur pour accélérer les performances d'un modèle ML (machine learning)".

Alors que Google ne publie que maintenant des détails sur son supercalculateur, il est en ligne au sein de l'entreprise depuis 2020 dans un centre de données du comté de Mayes, dans l'Oklahoma. Google a déclaré que la startup Midjourney a utilisé le système pour former son modèle, qui génère de nouvelles images après avoir reçu quelques mots de texte.

Dans le document, Google a déclaré que pour des systèmes de taille comparable, ses puces sont jusqu'à 1,7 fois plus rapides et 1,9 fois plus économes en énergie qu'un système basé sur la puce A100 de Nvidia qui était sur le marché en même temps que le TPU de quatrième génération.

Un porte-parole de Nvidia a refusé de commenter.

Google a déclaré qu'il n'avait pas comparé sa quatrième génération à la puce phare H100 actuelle de Nvidia, car le H100 est arrivé sur le marché après la puce de Google et est fabriqué avec une technologie plus récente.

Google a laissé entendre qu'il pourrait travailler sur un nouveau TPU qui concurrencerait le Nvidia H100 mais n'a fourni aucun détail, Jouppi ayant déclaré à Reuters que Google avait "un pipeline sain de futures puces".

Nos normes : Les principes de confiance de Thomson Reuters.