Résumé :
Microsoft a annoncé les résultats préliminaires de l'enquête sur la panne généralisée de Microsoft 365 des 12 et 13 novembre, affirmant que la panne était causée par une faille du serveur Windows dormante depuis plusieurs mois, un changement de trafic Teams et une réduction de la capacité disponible de la passerelle. L'accident a duré de 16h20 UTC le 12 novembre à 16h10 UTC le lendemain, soit près de 24 heures.

Microsoft a déclaré que la faille provenait d'un correctif déployé pour Microsoft 365 Network Gateway Server en juillet de cette année. Sous une charge spécifique, une concurrence de verrouillage se produit dans les processus internes de Windows, et les ressources CPU et mémoire du serveur s'épuisent progressivement et finissent par cesser de répondre. Le problème n'avait pas été détecté auparavant, en partie parce que l'environnement de test de Microsoft utilisait du matériel avec moins de cœurs ; l'enquête a révélé que les conflits de verrouillage étaient plus susceptibles de s'intensifier sur les serveurs plus récents dotés de plus de cœurs. Microsoft a souligné que cette faille et les correctifs associés concernent uniquement l'infrastructure de passerelle Microsoft 365 et n'affectent pas les autres déploiements Windows.

Environ 15 heures avant la panne, le trafic Teams est passé de la passerelle réseau de sauvegarde à la passerelle principale partagée avec Exchange Online, modifiant ainsi les modèles de trafic et augmentant la charge ; dans le même temps, environ 14 % de la capacité du serveur de la passerelle était temporairement indisponible en raison d'un autre problème survenu la veille. Microsoft a déclaré que ces deux facteurs à eux seuls n'avaient pas d'impact, mais que, combinés à des failles latentes, ils déclenchaient une surcharge du serveur.

Une fois que le serveur perd la réponse, le système de gestion du trafic transfère la requête vers d'autres nœuds normaux, ce qui met les serveurs restants sous une plus grande pression et la panne se propage un par un. En moins de deux heures, plus de 80 % des serveurs de passerelle n'ont pas répondu ; les mesures de protection initialement utilisées pour isoler les défauts dans différentes régions n'ont pas réussi à empêcher le problème de se propager à travers les régions. Microsoft a déclaré que l'incident le plus grave au cours de l'incident était Exchange Online, où de nombreux utilisateurs n'étaient pas en mesure d'accéder à leurs boîtes aux lettres ou d'envoyer et de recevoir des e-mails normalement ; les services qui reposaient sur des fonctions Exchange tels que Teams, Copilot, SharePoint et OneDrive ont également été affectés à des degrés divers, et les fonctions de chat et de conférence de certains services pouvaient toujours être utilisées.

Le processus de récupération a été long car le serveur redémarré pouvait à nouveau ne plus répondre dès qu'il recevait le trafic en retard, et comme la faille a été déployée il y a des mois, les restaurations régulières et les basculements de fonctionnalités ne pouvaient pas être annulés rapidement. Les ingénieurs ont finalement restauré le code de traitement de la connexion vers la version stable précédente, puis l'ont réparé par lots, redémarré le serveur et restauré progressivement le trafic. Microsoft a déclaré que les services de messagerie Web mondiaux avaient été rétablis aux niveaux attendus à 14 h 17 le 13 novembre, et il a été confirmé à 16 h 10 ce jour-là que les utilisateurs n'étaient plus directement affectés par l'incident ; les courriels retardés ont ensuite été traités.
Microsoft a augmenté la capacité et la surveillance des serveurs, ajouté des mesures de protection de la répartition du trafic et prolongé les délais de livraison du courrier pour éviter que les courriers en retard ne soient considérés à tort comme des échecs de livraison. La société a déclaré qu'il n'y avait actuellement aucune indication que l'incident impliquait des activités malveillantes ou des agents d'intelligence artificielle, et prévoit de publier un rapport final post-événement avant le 20 novembre pour compléter les mesures correctives à long terme.
Commentaires