Selon les informations du 23 juin, Meta a suspendu indéfiniment un projet de formation interne en IA. Le projet enregistre les saisies au clavier, les opérations de la souris et le contenu de l'écran sur les ordinateurs de travail des employés pour former l'IA à apprendre à utiliser le logiciel ; la raison de la suspension était que les droits d'accès aux données du projet avaient été mal configurés et qu'environ 45 000 tableaux de données étaient autrefois ouverts au personnel interne de Meta.
WIRED et Business Insider ont rapporté séparément l'incident des autorisations internes. Selon l’avis de sécurité interne de Meta, les données en question appartiennent à la Model Capability Initiative (MCI), qui contient des traces d’opérations sur les ordinateurs de travail des employés, ainsi que des contenus sensibles tels que « des invites et des transcriptions complètes de l’IA, des conversations privées, des données sur le personnel et les performances ». Les données mentionnées dans le rapport de WIRED concernent principalement les équipements de l'entreprise appartenant aux employés américains de Meta.
La porte-parole de Meta, Tracy Clayton, a confirmé que la société enquêtait sur l'incident de sécurité et a déclaré que MCI avait été suspendue indéfiniment pendant que l'enquête se poursuivait. Elle a également souligné que Meta "n'a actuellement aucune indication que les données ont été accédées de manière inappropriée par les employés". Cependant, il ne s’agit là que d’une déclaration au stade actuel de l’enquête et ne constitue pas une conclusion définitive.
Les risques qui inquiétaient 1 600 salariés se sont avérés réels.
MCI a été lancé en avril de cette année dans le but de collecter des données sur le comportement au travail des employés sur des ordinateurs pour former les systèmes d'IA. Le PDG de Meta, Mark Zuckerberg, a déjà expliqué cette idée lors de réunions internes : les modèles d'IA peuvent apprendre en observant comment travaillent les bons employés, et les employés de Meta sont mieux placés pour fournir des échantillons de haute qualité que le personnel externalisé embauché spécifiquement pour produire ce type de données.
Cette explication n’a pas convaincu la plupart des salariés. En mai, plus de 1 600 salariés de Meta ont signé une pétition interne appelant à mettre fin à ce suivi des comportements informatiques. La pétition indique que la collecte de ces données présente des risques en matière de sécurité et de réglementation, notamment des violations de données et des divulgations non autorisées.
Andrew Bosworth, directeur de la technologie de Meta, a précédemment déclaré aux employés que la gestion des données MCI est « strictement contrôlée », en utilisant les mêmes normes de protection, systèmes de stockage et contrôles d'accès que les autres ensembles de données sensibles de l'entreprise. Mais après cet incident, Bosworth a admis que la mise en œuvre réelle du projet ne répondait pas aux normes énumérées dans le document d'examen de la confidentialité. Il a déclaré dans un message interne que le problème résidait dans une liste de contrôle d'accès mal configurée et que l'entreprise devait en découvrir la cause et retracer le chemin d'accès aux données.
Il ne s'agit pas d'une attaque externe, mais les autorisations internes ne sont pas correctement verrouillées.
Cet incident a été classé SEV2 en interne par Meta. Selon l'explication du rapport, le niveau de gravité interne de Meta varie de 0 à 5, 0 étant le plus grave et SEV 2 étant un niveau plus élevé. Les messages internes consultés par WIRED montrent que l'incident a été marqué « clos », ce qui signifie que le problème d'autorisations a peut-être été résolu, mais Meta n'a pas encore annoncé publiquement les correctifs spécifiques ni le calendrier complet.
Pour les employés, le point de litige n'est pas seulement de savoir si quelqu'un a effectivement consulté les données d'autrui, mais plutôt que l'entreprise a déjà promis de « contrôler strictement » les ensembles de données sensibles, et il y a effectivement eu des problèmes avec des autorisations d'accès trop larges. Un employé a écrit sur un forum interne qu'il ne voyait aucune preuve d'accès malveillant, mais qu'il était "en colère" que les données n'aient pas été verrouillées comme promis. BusinessInsider a également rapporté que les employés internes avaient fortement réagi au projet et à cet incident.
L'incident touche également aux contraintes réglementaires à plus long terme auxquelles Meta est confrontée. Meta reste soumis à une ordonnance de consentement de la Federal Trade Commission (FTC) des États-Unis qui oblige l'entreprise à maintenir des processus pour empêcher les violations de données jusqu'en 2040. WIRED a également mentionné que Meta a commencé à impliquer l'IA dans certains travaux d'examen de la confidentialité et de la sécurité ; cependant, il n'existe actuellement aucune preuve que l'IA ait été impliquée dans cette erreur de configuration des autorisations MCI.
Les sprints d’IA pèsent sur la confiance au sein des entreprises
MCI n’est pas un projet isolé. Meta a créé une nouvelle équipe « Applied AI » (Applied AI) en mars de cette année, affectant environ 6 500 employés à des postes pertinents, dans le but d'améliorer les modèles d'IA. Business Insider a rapporté que certains employés estimaient que les projets qui leur étaient confiés étaient insignifiants et entamaient leur moral ; Bosworth s'est excusé auprès des employés la semaine dernière pour les problèmes de communication lors de la réorganisation d'AI et a promis d'améliorer la communication et de rétablir certains avantages du bureau.
Cette fois-ci, MCI est suspendu, le coût interne du sprint de Meta vers l'IA est plus concrètement exposé. L'entreprise peut affirmer qu'elle n'a trouvé aucun signe d'accès inapproprié jusqu'à présent, mais tant que ce type de données aura été ouvert par erreur, la confiance des employés dans « l'entraînement de l'IA à leurs propres comportements de travail » sera difficile à réparer avec de seules promesses internes. Les employés ne sont pas seulement les fournisseurs de données de formation à l’IA, mais aussi les porteurs directs des risques en matière de confidentialité et de sécurité. Cette double identité est ce qui pique vraiment dans cet incident.