Qui a rédigé le prospectus d’Anthropic ? L'outil de détection de l'IA donne des résultats inattendus

Résumé :

Selon Business Insider, la société d'intelligence artificielle Anthropic a soumis une

page 335

Les résultats de détection de Pangram montrent que 92 % de ce document d'environ 259 000 mots ont été déterminés comme ayant été écrits par des humains, et certaines phrases et paragraphes ont été marqués avec un niveau de confiance "élevé" comme contenant des traces d'utilisation de l'IA.

Cependant, ce résultat n'est que le jugement de l'outil de détection et ne peut pas prouver quel contenu a été écrit par des humains ou par l'IA, ni confirmer si Anthropic a utilisé son propre assistant d'IA Claude.

Les journalistes de Business Insider ont d'abord tenté d'inspecter eux-mêmes l'intégralité du document, mais ont rencontré des difficultés en raison de la taille du fichier. Par la suite, Max Spero, co-fondateur et PDG de Pangram, l'a aidé à réaliser la détection de texte intégral.

Spero a déclaré que son interprétation de ce résultat est que le document a peut-être été légèrement modifié ou utilisé l'IA au niveau de la phrase, mais il ne semble pas y avoir une grande partie du contenu qui ait été entièrement générée par l'IA.

Les phrases marquées par Pangram comme utilisations possibles de l'IA incluent une description du développement de l'industrie, selon laquelle l'IA se développe à un rythme extrêmement rapide, et les intervalles entre les itérations du modèle d'une nouvelle version sont souvent mesurés en mois plutôt qu'en années.

Business Insider a également souligné que les outils de détection d'écriture d'IA ne sont pas précis à 100 %. La façon dont les gens utilisent l’IA pour éditer, relire ou réviser des mots peut affecter les résultats de détection.

Auparavant, un journaliste de Business Insider avait saisi ses publications sur LinkedIn et publié des articles dans Pangram. L’outil a marqué l’une des phrases comme étant écrite par l’IA. Après avoir examiné le processus d'écriture, elle a découvert qu'elle avait initialement écrit cette phrase et qu'elle avait ensuite accepté les suggestions de réécriture de ChatGPT.

Anthropic n'a pas répondu à la demande de commentaires de Business Insider sur les résultats des tests. Les médias ont déclaré que le système de filigrane AI d’Anthropic n’a pas encore été ouvert aux utilisateurs ordinaires et n’a donc pas été utilisé pour cette détection.

La rédactrice de Business Insider, Katie Notopoulos, estime que ce résultat soulève une question intéressante. En tant que société d’IA, pourquoi Anthropic n’utilise-t-elle pas davantage ses propres produits pour rédiger des prospectus ? Mais elle a également souligné que le prospectus doit être examiné par la Securities and Exchange Commission des États-Unis, que chaque phrase du document peut retenir l'attention et qu'il est raisonnable que des humains participent à sa rédaction.