Des chercheurs de Google constatent que l'IA ne peut pas écrire une bonne blague.

L’INCAPACITÉ DE L’IA À ÉCRIRE UNE BONNE BLAGUE, SELON DES CHERCHEURS DE GOOGLE

Comedy and humor are endlessly nuanced and subjective, but researchers at Google DeepMind found agreement among professional comedians: "AI is very bad at it.” C’est ce qu’a révélé une étude menée avec vingt humoristes professionnels lors d’ateliers au festival d’Édimbourg en août 2023 et en ligne. Les conclusions ont montré que les grands modèles linguistiques (LLMs) accessibles via des chatbots présentaient des défis significatifs et soulevaient des préoccupations éthiques quant à l’utilisation de l’IA pour générer du matériel comique.

UNE ÉTUDE COMIQUE AVEC DES PROFESSIONNELS ET DES CHATBOTS

L’étude a consisté en un atelier de trois heures où les humoristes ont écrit des sketches comiques en utilisant des LLM populaires comme ChatGPT et Bard. La qualité des résultats a été évaluée à l’aide d’un questionnaire d’interaction homme-machine basé sur l’indice de support à la créativité, qui mesure comment un outil soutient la créativité.

Les participants ont également discuté des motivations, des processus et des préoccupations éthiques liées à l’utilisation de l’IA en comédie lors d’un groupe de discussion. Les humoristes ont été invités à utiliser l’IA pour écrire des sketches comiques et à évaluer les résultats. Les retours n’ont pas été positifs.

L’ÉCHEC DE L’IA À GÉNÉRER DU MATÉRIEL COMIQUE DE QUALITÉ

Un participant a qualifié le matériel généré par l’IA de "fade et ennuyeux", tandis qu’un autre l’a décrit comme "un brouillon que je sais que je devrai retravailler." Les comédiens ont souligné que les LLM pouvaient générer des esquisses et des fragments de sketches plus longs, mais manquaient des éléments humains essentiels qui rendent quelque chose drôle.

Les auteurs ont noté que les LLM avaient du mal à comprendre les nuances culturelles et les perspectives minoritaires, introduisant ainsi des biais dans le matériel produit. Ils ont également souligné que l’IA ne parvenait pas à capturer des éléments clés de l’humour comme le sarcasme, l’humour noir ou l’ironie.

LIMITATIONS ET PERSPECTIVES HUMAINES EN COMÉDIE

Les comédiens ont souligné que la perspective et le point de vue sont des traits humains uniques qui ajoutent nuance et émotion à la comédie. Ils ont insisté sur l’importance de comprendre le contexte culturel et le public pour créer un contenu authentique et engagé.

Thomas Winters, l’un des chercheurs cités dans l’étude, explique que l’humour est difficile à reproduire pour une machine en raison de sa dépendance à l’égard de l’insight dans la pensée humaine et de la connaissance du monde.

En conclusion, l’IA rencontre des défis majeurs dans la création comique en raison de son incapacité à saisir les subtilités humaines et culturelles nécessaires pour produire des blagues authentiques et engageantes.

Sources: