L’essentiel
Le code PyTorch peut désormais cibler nativement les TPU de Google, sans couche de portage séparée. Google a publié TorchTPU en open source le 20 octobre 2026 lors de la PyTorch Conference, en co-développement avec l’équipe PyTorch de Meta. Le code PyTorch existant d’entraînement et d’inférence passe sur Cloud TPU avec un minimum de modifications : les équipes peuvent comparer TPU, GPU et Trainium sur le coût et la qualité avant d’engager leur budget.
Qu’a publié Google ?
TorchTPU enregistre le TPU comme un périphérique PyTorch à part entière : un code qui appelle aujourd’hui .to("cuda") peut appeler .to("tpu") sans toucher à sa boucle d’entraînement. Jusqu’ici, PyTorch sur TPU passait par la couche distincte PyTorch/XLA, que de nombreuses équipes jugeaient plus difficile à déboguer que la filière GPU. Dans l’annonce de Google, signée Mark Lohmeyer et Bill Jia, les TPU « rejoignent les GPU et les CPU comme option native pour PyTorch ».
Le backend prend en charge l’exécution eager pour le développement et torch.compile pour les performances en production. En parallèle, Google a publié une préversion de la TPU Agent Suite, un agent IA de développement qui aide à la prise en main, au diagnostic d’erreurs et à l’optimisation de l’inférence, et a intégré LiteRT (ex-TensorFlow Lite) à l’écosystème PyTorch pour exporter les modèles vers les smartphones, les ordinateurs portables et les systèmes embarqués.
Quels outils fonctionnent déjà avec TorchTPU ?
Le véritable sujet, c’est l’écosystème. Selon TechCrunch, Google a travaillé en amont du lancement directement avec Meta, Hugging Face, Inferact (l’entreprise derrière vLLM) et RadixArk (l’éditeur de SGLang). D’après Google, la pile prise en charge au lancement se présente ainsi :
- Entraînement : recettes TorchTitan pour Llama 3, Qwen 3 et FLUX.1 ; VeRL pour le post-entraînement par apprentissage par renforcement (préversion) ; Ray pour les tâches mixtes CPU, GPU et TPU.
- Inférence : backends TorchTPU pour vLLM et SGLang, ainsi que llm-d 1.0, le projet CNCF Sandbox d’inférence distribuée soutenu par Red Hat et IBM.
- Modèles : Hugging Face Transformers v5 se déploie sur TPU avec
device_map="tpu"; Diffusers et TorchRec sont également couverts.
Google cite un résultat client : Zenteiq a obtenu un débit d’inférence agrégé quatre fois supérieur avec llm-d, faisant passer sa capacité quotidienne de 1,47 à 5,97 milliards de tokens pour 1 000 puces TPU v6e.
Pourquoi un deuxième portage de PyTorch compte-t-il ?
L’avance de Nvidia repose largement sur le fait que CUDA est la cible par défaut de PyTorch. Amazon s’est attaqué à ce statu quo le 19 octobre avec TorchNeuron pour Trainium ; Google a suivi le lendemain. Avec deux hyperscalers qui livrent des backends natifs et reversent leur travail dans PyTorch lui-même, un PyTorch indépendant du matériel devient le socle attendu plutôt qu’une expérience de fournisseur.
Pour les acheteurs, l’effet est un levier de négociation. Quand le même code de modèle tourne sur trois familles d’accélérateurs, réservations GPU, engagements TPU et capacité Trainium deviennent des lignes comparables dans une négociation.
Qu’est-ce qui reste à prouver ?
Les chiffres d’utilisation et de débit viennent de Google et de ses partenaires, pas de benchmarks indépendants. Dans sa préversion technique d’avril, Google reconnaissait lui-même que des longueurs de séquence et des tailles de batch variables déclenchent une recompilation, et que les performances maximales sur TPU peuvent encore exiger une refonte du modèle. Les noyaux CUDA maison ne migrent pas avec un simple drapeau de périphérique, et les TPU ne sont disponibles que dans Google Cloud : la portabilité joue entre puces, pas entre clouds.
Ce que cela signifie pour les équipes logicielles aux États-Unis et dans l’UE
Les équipes qui entraînent, affinent ou servent des modèles en PyTorch standard disposent désormais d’une troisième option réaliste pour les charges stables et volumineuses : inférence par lots, embeddings et sessions de fine-tuning. Les critères décisifs seront le coût par token ou par entraînement sur vos propres modèles, le profil de latence de l’inférence via vLLM ou SGLang, et la capacité disponible dans les régions que vous êtes autorisé à utiliser.
La discipline qui a rendu Trainium testable s’applique ici aussi : choix du périphérique dans la configuration, aucun appel CUDA codé en dur dans le chemin principal et un jeu d’évaluation reproductible.
Qu’est-ce que cela change pour les équipes IA en France ?
En France, le coût du calcul GPU pèse lourd dans les budgets IA des scale-ups comme des grands comptes, et le débat sur la souveraineté numérique rend chaque nouvelle dépendance à un hyperscaler américain sensible. TorchTPU réduit le coût de bascule entre puces, mais lie les charges TPU entièrement à Google Cloud. Avec TorchNeuron côté AWS et TorchTPU côté Google, l’enjeu pour une DSI est de rendre ses pipelines PyTorch neutres vis-à-vis du matériel dès maintenant, afin de garder la liberté de passer d’un fournisseur à l’autre, vers un cloud GPU européen ou vers une infrastructure interne.
Côté conformité, changer de puce ne change pas les obligations, mais change la documentation. Avant un pilote, vérifiez que les TPU v6e et Ironwood sont réellement disponibles dans les régions européennes autorisées pour votre compte, et mettez à jour le registre des activités de traitement exigé par le RGPD si l’environnement de traitement change. Pour les données sensibles soumises à des exigences de cloud de confiance, comme la qualification SecNumCloud de l’ANSSI, vérifiez au cas par cas si l’offre TPU envisagée est couverte avant d’y déplacer des données.
Ce que les équipes ML devraient faire ce trimestre
- Cartographier la dépendance à CUDA. Listez les noyaux maison, les bibliothèques exclusivement CUDA et les appels de périphérique codés en dur dans le code d’entraînement et d’inférence.
- Faire du périphérique un paramètre. Pilotez le choix de l’accélérateur de chaque pipeline par la configuration, pour que les exécutions GPU, TPU et Trainium utilisent un code identique.
- Commencer par l’inférence. Comparez un modèle de production servi via vLLM ou SGLang sur TPU à votre configuration GPU actuelle : latence, débit et coût par million de tokens.
- Tester les formes dynamiques. Rejouez du trafic réel avec des longueurs de prompt variées pour voir si la recompilation dégrade la latence.
- Vérifier régions et engagements. Confirmez la capacité TPU dans vos régions autorisées et l’effet d’une bascule sur vos engagements GPU ou AWS existants et sur votre documentation RGPD.
Questions fréquentes
Qu’est-ce que Google TorchTPU ?
TorchTPU est un backend PyTorch open source qui exécute nativement les modèles PyTorch sur les Cloud TPU de Google. Google l’a rendu public le 20 octobre 2026, après l’avoir co-développé avec l’équipe PyTorch de Meta.
Quelle part du code faut-il modifier pour faire tourner PyTorch sur TPU ?
Selon Google, très peu : le code qui cible le périphérique GPU peut cibler le périphérique TPU à la place, et Hugging Face Transformers v5 utilise device_map="tpu". Les noyaux CUDA maison et les bibliothèques exclusivement CUDA restent à porter.
Quelle différence entre TorchTPU et Amazon TorchNeuron ?
Les deux font tourner PyTorch nativement sur une puce non Nvidia. TorchTPU cible les Cloud TPU de Google et s’accompagne d’un agent IA de portage et de LiteRT pour l’export vers l’edge ; TorchNeuron, annoncé la veille, cible AWS Trainium. Chacun ne fonctionne que dans son propre cloud.
TorchTPU est-il prêt pour la production ?
Google et Meta évoquent un usage en production et llm-d 1.0 est présenté comme prêt pour la production, mais les chiffres de performance sont ceux des éditeurs. Menez un pilote sur vos propres modèles et votre trafic réel avant de migrer des charges de production. En France, vérifiez aussi la région d’hébergement et l’impact sur votre registre des traitements RGPD.
Sources
Google Cloud — TorchTPU is now open source: run native PyTorch on TPUs (October 20, 2026)
TechCrunch — Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers (October 20, 2026)
Google Developers Blog — TorchTPU: Running PyTorch natively on TPUs at Google scale (April 7, 2026)
Techzine — Google and Meta are making AI chips more accessible with TorchTPU (October 21, 2026)