Pourquoi est-ce un problème que l’IA pense que la Constitution a été créée par l’IA

Il est précisé que le modèle de langage informatique a confondu la Constitution américaine rédigée en 1787 avec un document généré par une intelligence artificielle. Selon Edward Tian, créateur du système d’IA GPTZero, qui a également trouvé que le livre biblique de la Genèse était généré à 88% par des ordinateurs, cette confusion est due à l’inclusion répétée du texte de la Constitution dans les données d’entraînement de nombreux modèles de langage. Ces modèles sont donc programmés pour générer des textes similaires à la Constitution et à d’autres documents fréquemment utilisés. GPTZero prédit le texte susceptible d’être généré par ces modèles de langage, ce qui explique ce phénomène fascinant. Cependant, cela soulève un problème majeur : l’incapacité de l’IA à différencier les textes générés par ordinateur des textes écrits par des humains, alors que les professeurs d’université redoutent déjà le plagiat numérique. Dans une université au Texas, un professeur aurait même échoué toute une classe après que ChatGPT ait prétendu être à l’origine des travaux des étudiants, malgré leurs protestations d’innocence. GPTZero utilise la “perplexité” comme indicateur d’une touche humaine dans l’écriture. Ce terme renvoie à la question de savoir “à quel point ce langage est surprenant par rapport à ce que j’ai déjà vu ?”, comme l’explique Margaret Mitchell de la société d’IA Hugging Face. Ainsi, lorsque des travaux sont soumis et que le langage utilisé correspond en grande partie aux données d’entraînement provenant de documents célèbres et de textes rédigés de manière appropriée, le score de perplexité sera très bas et déclenchera les capteurs de l’IA. La cohérence des mots et des phrases utilisés dans un échantillon écrit, aussi appelée “burstiness”, est également utilisée comme mesure de sécurité. Cependant, des recherches approfondies menées par l’Université du Maryland ont révélé que ces méthodes ne sont “pas fiables dans les scénarios pratiques” et ne méritent pas d’être récompensées. Cette limite technologique a conduit certains professeurs, comme Ethan Mollick de l’école Wharton, à adopter l’IA dans l’éducation plutôt qu’à la rejeter. Il a tweeté en mai qu’aucun outil ne peut détecter avec fiabilité l’écriture de ChatGPT-4/ Bing/ Bard, et que les outils existants, qui sont basés sur GPT-3.5, ont un taux élevé de faux positifs (plus de 10%) et sont très faciles à tromper. Les développeurs d’IA ne sont pas ignorants de ces problèmes. Par exemple, Edward Tian est en train de modifier GPTZero pour éviter la chasse au plagiat. Le bug de la Constitution a déjà été résolu depuis qu’il est devenu viral en avril. Au lieu de détecter l’IA, la prochaine version de GPTZero mettra en évidence ce qui est le plus humain et aidera les enseignants et les étudiants à naviguer ensemble dans le niveau d’implication de l’IA dans l’éducation. Cependant, il convient de noter que les experts recommandent de repenser la manière dont l’IA est utilisée pour détecter le plagiat, car les méthodes actuelles ne sont pas fiables et peuvent nuire aux étudiants. Au lieu de cela, il est préférable de considérer l’IA comme un outil d’apprentissage et de collaboration, en mettant l’accent sur le développement des compétences de réflexion critique et de créativité chez les élèves et les étudiants.