LES DANGERS DE L’INTELLIGENCE ARTIFICIELLE DANS LA TRANSCRIPTION DE LA PAROLE

En analysant les données audio de l’intelligence artificielle Whisper d’OpenAI, des chercheurs de Cornell ont découvert que le système de reconnaissance vocale pouvait parfois inventer des phrases et des phrases entières, parfois en conjurant un langage violent. En effet, les transcriptions de Whisper peuvent contenir des informations personnelles inventées, des sites Web fictifs pouvant être utilisés pour des tentatives de phishing, et même des références à des sites réels et faux pouvant être réappropriés pour des cyberattaques.

Selon les chercheurs, Whisper a un taux de hallucinations moindre par rapport à l’année précédente grâce à des améliorations apportées par OpenAI au modèle derrière Whisper. Cependant, environ 1% des transcriptions audio de Whisper contenaient des phrases entièrement hallucinées, y compris des mots violents tels que "terreur", "couteau" et "tué". Ces hallucinations peuvent avoir des conséquences graves si les transcriptions sont utilisées dans des contextes tels que le recrutement basé sur l’IA, les procès en tribunal ou les notes de patients en milieu médical.

Les chercheurs ont constaté que les pauses et les silences prolongés entre les mots sont plus susceptibles de déclencher des hallucinations. Par exemple, les clips audio provenant de personnes atteintes d’aphasie, une condition qui limite la capacité de parler, ont été plus sujets aux hallucinations de Whisper. Même des fichiers audio silencieux ont conduit Whisper à halluciner des mots comme "merci".

La formation des grands modèles linguistiques sous-jacents à Whisper avec des données audio provenant de locuteurs divers est un bon début, mais les chercheurs estiment qu’OpenAI devrait ajuster son modèle pour tenir compte des différentes façons de parler des individus, notamment ceux atteints de troubles de la parole.

Selon Allison Koenecke, la professeure principale de l’étude, même un petit pourcentage d’hallucinations nuisibles peut causer des dommages réels. Elle souligne l’importance d’améliorer les choix de modélisation pour réduire ces risques, en particulier pour les locuteurs avec des durées de pause plus longues.

En collaboration avec Koenecke, les co-auteurs de l’étude sont des chercheurs et universitaires de diverses institutions. Cette recherche a été en partie financée par le Pulitzer Center et le Cornell Center for Social Sciences.

Pour plus d’informations sur ce sujet, veuillez consulter les liens suivants :