OpenAI déclare être insatisfait du matériel d'inférence Nvidia, se tourne maintenant vers AMD, Cerebras, Groq

OpenAI n'est plus satisfait des puces IA de Nvidia, notamment en ce qui concerne la rapidité avec laquelle elles peuvent répondre aux utilisateurs. L'entreprise a commencé à chercher d'autres options l'année dernière, et elle discute maintenant avec AMD, Cerebras, et était même en pourparlers avec Groq avant que cela ne soit abandonné.

Cette tension est devenue réelle lorsque OpenAI a réalisé que les puces de Nvidia n'étaient pas assez rapides pour des tâches spécifiques comme l'écriture de code et la gestion des tâches logiciel à logiciel.

Une source interne aurait déclaré qu'OpenAI souhaite de nouvelles puces pour gérer au moins 10 % de ses besoins d'inférence à l'avenir. C'est la partie où l'IA répond aux utilisateurs, pas la partie où elle apprend.

OpenAI veut des puces plus rapides pour le codage et les réponses aux utilisateurs

La plupart du travail actuel d'OpenAI fonctionne encore sur Nvidia, mais en coulisses, l'entreprise teste des puces qui pourraient tout rendre plus rapide.

Cela inclut des puces dotées de SRAM, ce qui accélère les choses en plaçant la mémoire juste à côté du processeur. Nvidia et AMD utilisent toujours une mémoire située à l'extérieur de la puce, ce qui ralentit les performances.

Des personnes au sein d'OpenAI ont désigné Codex, l'outil qui écrit du code, comme l'endroit où la lenteur posait le plus gros problème. Certains membres du personnel ont même attribué les performances faibles au matériel de Nvidia. Lors d'une conférence de presse le 30 janvier, le PDG d'OpenAI, Sam Altman, a déclaré : "Les clients utilisant nos modèles de codage accorderont une grande importance à la rapidité pour le travail de codage."

Sam a ajouté que les utilisateurs réguliers de ChatGPT ne se soucient pas autant de la rapidité, mais pour les développeurs et les entreprises, chaque seconde compte. Il a déclaré qu'OpenAI venait de signer un accord avec Cerebras pour accélérer les choses.

En même temps, des entreprises comme Anthropic et Google obtiennent de meilleurs résultats en utilisant leurs propres puces. Les TPU de Google sont spécifiquement conçus pour le type de travail nécessaire à l'inférence. Cela les a rendus plus rapides pour répondre, en particulier pour des modèles comme Claude et Gemini.

Les discussions OpenAI-Groq s'arrêtent après l'accord de licence Nvidia

OpenAI était également en pourparlers avec Groq, une autre startup développant des puces rapides, mais ces conversations n'ont pas abouti. Nvidia est intervenu et a signé un accord de licence de 20 milliards de dollars avec Groq. Cela a donné à Nvidia l'accès aux conceptions de Groq et a tué les projets d'OpenAI de travailler avec eux.

Une source proche de la situation a déclaré que les puces de Groq étaient conçues exactement pour ce dont OpenAI avait besoin. Mais une fois que Nvidia a conclu l'accord, cette porte s'est fermée. Bien que la licence ne soit pas exclusive, Groq se concentre désormais sur les logiciels basés sur le cloud computing, et Nvidia a récupéré certains des concepteurs de puces de Groq.

Cerebras, en revanche, a refusé lorsque Nvidia a tenté de les acheter. Au lieu de cela, ils ont conclu leur propre accord avec OpenAI. Groq a également reçu des offres d'investissement évaluant sa valeur à environ 14 milliards de dollars, mais cela a changé depuis qu'il est lié à Nvidia.

OpenAI ne s'est pas complètement éloigné de Nvidia. Dans une déclaration publique, un porte-parole a déclaré : "Nous comptons sur Nvidia pour alimenter la grande majorité de notre flotte d'inférence", et a qualifié leurs performances par dollar de meilleures du marché. Nvidia a également déclaré : "Les clients continuent de choisir Nvidia pour l'inférence parce que nous offrons les meilleures performances et le meilleur coût total de possession à grande échelle."

L'accord d'investissement de 100 milliards de dollars de Nvidia toujours en suspens

L'année dernière, Nvidia a déclaré qu'elle prévoyait d'investir jusqu'à 100 milliards de dollars dans OpenAI. Cet argent était destiné à aider OpenAI à acheter des puces plus avancées, et en retour, Nvidia obtiendrait une participation dans l'entreprise. Reuters a déclaré que l'accord devait être conclu dans quelques semaines. Ce n'est toujours pas le cas.

Pendant que cet accord stagnait, OpenAI a signé des accords avec AMD et d'autres pour tester des puces qui pourraient concurrencer directement celles de Nvidia. Mais à mesure qu'OpenAI modifiait ses plans de produits, le type de matériel dont elle avait besoin a également changé. Cela a encore ralenti les discussions, a déclaré une personne au fait de la situation.

Samedi, le PDG de Nvidia, Jensen Huang, a été interrogé sur la tension. Il a déclaré : "C'est absurde", et a insisté sur le fait que Nvidia prévoit toujours d'investir massivement dans OpenAI. Mais en coulisses, il est clair que les deux parties explorent leurs options.

En même temps, Nvidia a cherché de nouvelles idées de puces. Elle a contacté Cerebras et Groq pour voir s'ils seraient ouverts à être rachetés. Cerebras a refusé et a renforcé son accord avec OpenAI.

À l'heure actuelle, OpenAI utilise GPT4o pour alimenter la plupart de ses services. Mais au vu de la situation, au moins une partie de ce travail fonctionnera sur des puces d'AMD ou de Cerebras dans un avenir proche. L'entreprise n'essaie pas d'abandonner complètement Nvidia, mais il est clair qu'elle veut plus de contrôle sur la rapidité de fonctionnement de ses systèmes.

Affinez votre stratégie avec du mentorat + des idées quotidiennes - 30 jours d'accès gratuit à notre programme de trading