OpenAI a annoncé aujourd'hui le lancement d'une nouvelle fonctionnalité appelée Chronicle en tant que fonctionnalité facultative « d'aperçu de la recherche » de son application Codex pour macOS, conçue pour rationaliser les flux de travail des développeurs en capturant automatiquement le contexte d'écran récent. Contrairement aux interactions traditionnelles qui obligent les développeurs à expliquer à plusieurs reprises le contexte du projet en cours, Chronicle « construit une mémoire » basée sur les actions récentes de l'utilisateur à l'écran, permettant au Codex d'obtenir et d'utiliser automatiquement ces informations dans les conversations ultérieures.

Du point de vue du positionnement, Chronicle est assez similaire à la fonction « Rappel » de Windows 11, précédemment controversée, de Microsoft, qui intercepte régulièrement les opérations des utilisateurs sur l'ordinateur et permet aux utilisateurs d'effectuer des requêtes de recherche par la suite. Cependant, Recall s'adresse à un plus large éventail d'utilisateurs de PC généraux, tandis que Chronicle s'adresse explicitement aux développeurs et aux utilisateurs professionnels, dans le but de donner au Codex une meilleure compréhension du flux de travail quotidien de l'utilisateur et du contexte du problème grâce à l'activité à l'écran.

Selon la description d'OpenAI dans la documentation officielle, Chronicle est en fait une extension améliorée des capacités de « mémoire » existantes du Codex. Avec Chronicle, Codex reconnaît non seulement ce qui est actuellement à l'écran, mais remplit également le contexte manquant du travail récent de l'utilisateur et apprend progressivement les outils et les styles de travail que l'utilisateur utilise couramment. Par exemple, lorsqu'un utilisateur rencontre un message d'erreur à l'écran, il n'est pas nécessaire de le copier et de le coller manuellement. Le Codex peut déduire directement le contenu pertinent sur la base de la mémoire d'écran enregistrée par Chronicle, apportant ainsi une réponse plus pertinente à la situation actuelle.

Pour activer Chronicle sur macOS, les utilisateurs doivent d'abord activer la fonctionnalité « Mémoires » dans les paramètres de l'application Codex, puis activer Chronicle sous l'option « Personnalisation » et accorder à l'application l'accès aux fonctionnalités d'enregistrement d'écran et d'accessibilité du système macOS. L'équipe de développeurs OpenAI a également récemment publié une vidéo d'aperçu via la plateforme sociale.

Cependant, OpenAI a également admis dans la description que Chronicle n'est pas totalement dénué de coûts et de risques. Étant donné que cette fonctionnalité s'appuie sur des agents sandbox exécutés localement pour analyser les images d'écran capturées et générer des mémoires, elle peut rapidement consommer la limite de débit du compte utilisateur. De plus, le contenu affiché à l'écran présente le risque potentiel d'être utilisé pour des attaques par injection rapide, et la mémoire générée par Chronicle est stockée sur l'appareil local sous la forme de fichiers Markdown non cryptés. Bien que les images d'écran capturées pendant l'exécution de Chronicle soient automatiquement supprimées après 6 heures, OpenAI rappelle aux utilisateurs que ces images peuvent contenir des informations sensibles et que le risque doit être soigneusement évalué.

Actuellement, la fonctionnalité Chronicle n'est disponible que pour les abonnés ChatGPT Pro utilisant macOS et n'a pas encore été lancée dans l'UE, au Royaume-Uni et en Suisse. OpenAI a étendu Codex à plusieurs reprises auparavant, notamment en ajoutant une gamme plus large de fonctionnalités de « mémoire », de plug-in et d'« utilisation de l'ordinateur », et l'introduction de Chronicle cette fois renforce encore son exploration de la compréhension du flux de travail local et de la prise en charge continue du contexte.