OpenAI déploie une « salle de contrôle » d'IA : bloque la sortie du modèle pendant 35 secondes maximum

Résumé :

OpenAI a récemment annoncé avoir déployé un système de contrôle central appelé « Control Room » dans son infrastructure de recherche interne. Lorsque la tâche du modèle entraîne des risques pour la sécurité ou la sécurité du réseau,

le système peut empêcher le modèle de continuer à produire jusqu'à 35 secondes après avoir reçu la commande d'arrêt

Selon OpenAI, Control Room peut suivre de manière uniforme les tâches de recherche telles que la formation par apprentissage par renforcement, l'évaluation des modèles, l'échantillonnage des agents et le traitement des données, et est liée au système de surveillance du comportement des modèles.

Le modèle de surveillance vérifiera le processus de raisonnement et de fonctionnement du modèle formé. Une fois des problèmes potentiels découverts, une alarme peut être émise ou la tâche peut être suspendue directement en fonction du degré de risque.

Pendant le processus d'exécution spécifique, le système de surveillance enverra l'ID de tâche qui doit être arrêtée à la salle de contrôle. La prochaine fois que la tâche concernée s'appliquera à l'inférence de modèle, le moteur d'inférence vérifiera son autorisation d'exécution ; si la tâche a été marquée comme terminée, le système rejettera la demande pour empêcher le modèle de continuer à générer du contenu.

OpenAI a déclaré que

Actuellement, il faut jusqu'à 35 secondes à partir du moment où la salle de contrôle reçoit la commande d'arrêt jusqu'à ce que la tâche ne puisse plus continuer à s'exécuter.

Le système utilise également un mécanisme de « fermeture en cas de panne ». Si la salle de contrôle tombe en panne, est arrêtée ou est altérée, toutes les demandes d'inférence associées seront refusées par défaut jusqu'à ce que le service soit restauré. Ce mécanisme couvre désormais toutes les tâches de recherche de modèles de pointe d’OpenAI et est étendu à d’autres tâches de recherche. OpenAI a déclaré que ses services de modèles externes adoptent une architecture technique plus centralisée et disposent actuellement de capacités de déploiement hors ligne et de réponse d'urgence correspondantes.