Dans une nouvelle non divulguée, les ingénieurs d'OpenAI ont révélé à certains collègues internes plus tôt ce mois-ci que grâce à une série de nouvelles optimisations techniques, ils avaient trouvé un moyen deLes coûts de fonctionnement de l'inférence de modèle sont réduits de plus de moitiéplan.
Après que les ingénieurs ont appliqué cette nouvelle technologie au scénario ChatGPT dans lequel les visiteurs qui n'avaient pas enregistré de compte gratuit/payant accédaient à ChatGPT, la puissance de calcul des cartes graphiques NVIDIA requise pendant les périodes de pointe n'était que de quelques centaines de yuans. Ce nombre était inférieur aux prévisions. (Bien sûr, OpenAI a fixé une limite de fréquence d'appel pour ce type de visiteurs anonymes, et l'utilisation globale de ChatGPT par ce groupe n'est pas élevée.)
À l'heure actuelle, OpenAI n'a pas divulgué les détails techniques spécifiques utilisés pour cette amélioration de l'efficacité. L'industrie suppose que les méthodes d'optimisation couramment utilisées incluent : la quantification du modèle, la mise en cache des valeurs clés (permettant au modèle de mémoriser les informations de calcul passées et d'éviter les opérations répétées), le traitement par lots des demandes (répondre aux requêtes des utilisateurs par lots au lieu de les traiter une par une), la planification des requêtes vers des modèles légers de faible consommation ou des sous-modules de modèle pour compléter les réponses, etc.
Cependant, lorsque OpenAI lancera un modèle de nouvelle génération avec des paramètres plus grands plus tard cette année, l'effet de réduction des coûts apporté par ce lot de technologies d'optimisation pourrait être affaibli, car le coût de fonctionnement du modèle à grands paramètres lui-même sera nettement plus élevé.
Ce type de technologie d'optimisation d'inférence est appeléTechnologie de doublement de la puissance de calcul, qui fait également l’objet de grands laboratoires d’IA. Le PDG d'Anthropic, Dario Amodei, a mentionné publiquement le concept dans des podcasts depuis au moins mi-2023. Il a déclaré à l'époque que l'entreprise limitait strictement le nombre de membres du personnel interne connaissant un seul ensemble de solutions d'optimisation de la puissance de calcul. Une fois que la technologie pertinente aurait été copiée par ses pairs, elle donnerait à d’autres laboratoires d’IA un avantage concurrentiel. (La technologie de doublement de la puissance de calcul peut également faire référence à diverses méthodes d'optimisation de l'efficacité dans la phase de formation du modèle.)
L’importance de ce type de technologie d’optimisation est devenue de plus en plus importante. Actuellement, les principales entreprises de R&D en IA sont généralement confrontées à une pénurie de puissance de calcul des serveurs. Même si une entreprise signe un contrat pour construire un nouveau centre de données ou louer un centre de données, il faut souvent des mois, voire des années, entre le début du projet et son lancement officiel. (OpenAI travaille également avec Broadcom pour auto-développer des puces spéciales pour le fonctionnement de grands modèles, en essayant de réduire davantage les coûts d'inférence, dans le but de réduire les coûts par rapport aux puces commerciales de Nvidia.)
Après la mise en œuvre de l'optimisation technologique d'OpenAI, le marché accorde également une grande attention à la manière dont les entreprises géreront les coûts de puissance de calcul économisés. D'une part, OpenAI peut répercuter des dividendes sur les utilisateurs : soit augmenter la limite d'appels ChatGPT pour les abonnés payants, soit baisser le prix des interfaces modèles ouvertes aux développeurs. De nos jours, le prix d'appel de l'ancienne version du modèle est tombé à une fraction du prix d'origine, et l'optimisation de l'inférence en est l'une des principales raisons.
Cela consolidera davantage le positionnement d'OpenAI sur le marché en tant que fournisseur de services modèles rentables. Récemment, le produit concurrent Anthropic a été controversé en raison du prix élevé du modèle - même si son effet de sortie de modèle est meilleur.
D'un autre côté, OpenAI peut également choisir d'utiliser les revenus de réduction des coûts pour augmenter sa marge bénéficiaire brute, tandis que la marge bénéficiaire brute de l'entreprise est principalement déterminée par le coût de la puissance de calcul d'inférence. La marge bénéficiaire brute d'OpenAI au premier trimestre de cette année était de 39 %, soit une augmentation par rapport aux 33 % de la même période de l'année dernière, mais il existe encore un écart important par rapport à l'objectif de marge brute de 52 % à la fin de l'année.
Pour atteindre son objectif annuel, l’entreprise doit atteindre une marge brute moyenne de 56 % pour le reste de l’année. Les revenus d'Anthropic ont fortement augmenté au premier semestre de cette année et devraient réaliser des bénéfices inattendus ce trimestre, ce qui confirme pleinement la rapidité de l'amélioration de la marge bénéficiaire brute au cours du cycle de boom de l'industrie.
À ce stade, OpenAI n’a pas un mot absolu sur la tarification, mais cette technologie d’optimisation d’inférence élargira considérablement son chemin vers l’amélioration de la marge bénéficiaire brute.