Langage écrit par l’IA ou l’homme ? Les hypothèses trompent.

# AI- OR HUMAN-WRITTEN LANGUAGE? ASSUMPTIONS MISLEAD

Une série d’expériences menées par des chercheurs de Cornell Tech et de Stanford ont révélé que les suppositions humaines concernant l’utilisation du langage peuvent conduire à des jugements erronés quant à la création du langage par l’IA ou l’humain. Bien que la capacité de chacun à détecter le langage généré par l’IA était généralement équivalente, les participants étaient systématiquement influencés par les mêmes indices verbaux, conduisant ainsi à des jugements erronés similaires.

4 600 participants ont été impliqués dans les trois principales expériences et trois autres pour valider les résultats de l’étude, avec un total de 7 600 “auto-présentations verbales” – textes de profil que les gens utilisent pour se décrire sur les sites de socialisation. Les expériences s’inspiraient du test de Turing, développé en 1950 par le mathématicien britannique Alan Turing, pour mesurer l’aptitude d’une machine à exhiber un comportement intelligent égal ou supérieur à celui d’un être humain.

Maurice Jakesch, Ph.D. ’22, ancien membre du laboratoire de technologies sociales de Naaman chez Cornell Tech, est l’auteur principal de « Human Heuristics for AI-Generated Language Are Flawed. » L’étude a montré que l’utilisation d’indices tels que les mentions d’expériences personnelles et l’utilisation de pronoms de première personne ont induit les participants en erreur, les faisant croire que le langage était créé par l’homme. Les participants ont également pensé que la formulation compliquée était la création de l’IA.

LES HUMAINS SONT VULNÉRABLES AUX HEURISTIQUES LORSQU’ILS ÉVALUENT LE LANGAGE DE L’IA

Les chercheurs ont formé plusieurs modèles de langage de l’IA pour générer des textes dans trois contextes sociaux où la confiance en l’émetteur est importante : professionnel (candidature à un emploi), romantique (rencontres en ligne) et d’hospitalité (profils d’hôtes Airbnb). Dans les trois expériences principales, en utilisant deux modèles de langage différents, les participants ont identifié le source d’une auto-présentation avec une précision de seulement 50% à 52%. Les chercheurs ont découvert que les réponses n’étaient pas aléatoires, puisque l’accord entre les réponses des participants était significativement plus élevé que le hasard, ce qui signifie que de nombreux participants tiraient les mêmes conclusions erronées.

Les heuristiques (le processus de prise de décision) utilisées par les participants pour décider si le langage avait été généré par l’IA ou les humains ont été analysées. Les gens mentionnaient les expériences familiales et de la vie ainsi que l’utilisation de pronoms de première personne pour prouver que le langage était celui de l’homme. Toutefois, une telle langue peut également être produite par des modèles de langage de l’IA.

Les auteurs de l’article ont noté que la dépendance des humains à des heuristiques erronées pour identifier le langage généré par l’IA n’est pas nécessairement indicative d’une intelligence machine accrue. Il ne faut pas une intelligence supérieure, ont-ils déclaré, pour “tromper” les humains, il suffit d’une bonne utilisation des pronoms personnels, ou d’une mention de famille.

CONCLUSION

Selon les chercheurs, les modèles de langage qui sont “auto-révélés par conception” permettraient à l’utilisateur de savoir que l’information n’a pas été créée par l’homme tout en préservant l’intégrité du message. Ceci pourrait être réalisé soit par un langage clairement inhumain (évitant l’utilisation du langage informel) ou par des “accents d’IA” – un dialecte dédié qui pourrait “faciliter et soutenir les jugements intuitifs des gens sans interrompre l’écoulement de la communication”.

Cette étude souligne que l’IA sera de plus en plus utilisée comme un outil de facilitation de la communication entre humains et non pas seulement pour communiquer avec les humains. Les implications sont significatives : les gens peuvent être facilement trompés et se méfier les uns des autres, pas de l’IA.

Sources :
– Cornell Chronicle : https://news.cornell.edu/stories/2022/03/humans-vulnerable-heuristics-evaluating-ai-language
– Proceedings of the National Academy of Sciences : https://www.pnas.org/doi/10.1073/pnas.2208839120