Est-ce que Bard sait combien de fois le ‘e’ apparaît dans ‘ketchup’ ?

Ce que j’apprécie le plus dans l’apprentissage automatique, c’est qu’il met en évidence le fait assez élégamment que les ingénieurs ne savent pas comment fonctionnent les gens. Prenons les grands modèles de langage, par exemple. On m’a dit qu’ils prendraient mon travail, me rendant inutile; qu’ils sont intelligents; qu’ils planifieront l’itinéraire parfait pour mon voyage à Paris, avec des points forts sur les bars et restaurants qui sont définitivement précis et complets. Inspiré par un tweet sur la mayonnaise, je me suis lancé dans une expérience amusante avec le Bard de Google. Une intelligence artificielle, mise en évidence.
Je choisis de faire cela pour deux raisons. Premièrement, ce genre de test est quelque chose que vous faites avec des jeunes enfants pour leur apprendre à lire. Vous les faites identifier les lettres et les sons qu’elles produisent. Mais deuxièmement, je soupçonne fortement que cette activité courante n’est pas capturée dans les données que Bard récupère car ce n’est pas le genre de chose que vous écrivez.
C’est évidemment absurde, mais c’est absurde parce que nous pouvons regarder le mot “ketchup” et voir clairement le “e”. Bard ne peut pas faire ça. Il vit dans un monde totalement fermé de données d’entraînement.
Ce genre de problème est lié aux grands modèles de langage. Le langage est une technologie très ancienne de l’homme, mais notre intelligence l’a précédé. Comme tous les animaux sociaux, nous devons suivre les relations hiérarchiques, c’est pourquoi nos cerveaux sont si grands et étranges. La langue est un outil très utile – bonjour, j’écris pour gagner ma vie ! – mais ce n’est pas la même chose que la connaissance. Elle flotte au-dessus d’un tas d’autres choses que nous tenons pour acquises.
Quand vous faites quelque chose comme ça – une tâche qu’un enfant de cinq ans excelle et qu’un LLM sophistiqué échoue – vous commencez à comprendre comment fonctionne réellement l’intelligence. Bien sûr, il y a des gens qui croient que les LLM ont une conscience, mais ces personnes me semblent tragiquement sous-socialisées, incapables de comprendre ou d’apprécier précisément la brillance des gens ordinaires.
Il y a une grande partie de choses que les chatbots ne connaissent pas et ne peuvent pas connaître. La vérité est qu’il ne faut pas beaucoup d’effort pour faire échouer un test de Turing LLMs tant que vous posez les bonnes questions.