Barbara
POURQUOI LA SIMPLICITÉ EST PRÉFÉRABLE DANS L’AI
Au cours des dernières semaines, nous avons reçu de nombreux demandes de LLM personnalisées de la part de clients et de partenaires. Cette excitation, bien que justifiée, est basée sur une surcharge d’information technologique plutôt que sur l’obtention d’un avantage fondamental pour l’entreprise.
BIEN QUE LES LLM NE SOIENT PAS CONCEPTUELLEMENT ÉLOIGNÉS DES PIPELINES D’APPRENTISSAGE BASÉS SUR LES TRANSFORMATEURS, ILS EXIGENT UNE MACHINERIE BEAUCOUP PLUS COMPLEXE POUR LES AJUSTER ET LES FAIRE FONCTIONNER SANS PROBLÈMES DANS UN ENVIRONNEMENT D’ENTREPRISE. Bien que tous ceux que nous avons déjà testés et déployés pour les clients soient bons, ils n’ont pas le même aspect poli que les produits commerciaux, ce qui pose problème aux responsables d’entreprise.
Les LLM sont l’une des meilleures choses qui soient arrivées à l’AI depuis l’apprentissage accéléré par GPU, mais ils devraient être un outil de dernier recours, pas un premier essai dans la piscine de l’IA d’entreprise.
LA SIMPLICITÉ EST PRÉFÉRABLE
“Le logiciel devient plus lent plus rapidement que le matériel ne devient plus rapide” est un vieil adage en informatique. Il est facile de gonfler un logiciel, car il est généralement plus facile d’ajouter des modules à un morceau de code que d’en retirer.
En ce qui concerne l’IA, la croissance des modèles (des modèles d’apprentissage automatique aux réseaux neuronaux profonds, en passant par les LSTMs, les CNN pré-entraînés et maintenant les transformateurs) suit un chemin similaire. Bien que l’utilisation de la technologie de pointe soit logique dans certains cas, il y a des situations où des gains asymptotiques ne sont que des rendements décroissants si le coût total de possession dépasse tout avantage identifié.
Dans nos conversations avec des clients, un schéma étrangement familier resurgit : les mêmes cadres qui sont en train de pousser pour les clones ChatGPT aujourd’hui sont ceux qui étaient catégoriques au sujet des chatbots il y a quelques années. C’est un jeu facile pour obtenir une victoire démontrable sans la relier à la valeur de l’entreprise ou sans nécessiter que l’on réfléchisse à sa justification. Leur religiosité envers le “vous ne voyez tout simplement pas la valeur pour l’instant” est un cliché paresseux au mieux, et au pire, une source de confusion et de gaspillage de ressources pour l’entreprise.
De nombreux problèmes surgissent dans ces déploiements, non pas dans la justification des projets ou dans leur faisabilité, mais dans la justification que de commencer avec la technologie la plus complexe jamais développée par l’humanité est une première option valable pour améliorer votre prochain trimestre de 10 %.
L’IA n’est pas une poussière de fée; elle crée de la valeur dans sa relation avec les données, le contexte et la validité des inférences. L’espoir et la prière ne sont généralement pas des stratégies valables en matière de dette technique. Les jeux de football américain se gagnent avec la stratégie et l’exécution, pas avec des passes “Hail Mary”.
L’INGÉNIERIE DOIT PRÉVALOIR
En tant qu’ingénieur, mes préoccupations concernent la faisabilité du déploiement, le coût total de possession et la valeur pour l’argent. Nos clients nous font confiance pour être des arbitres transparents de nouvelles technologies et de leurs applications au sein de leurs organisations. Les risques de déploiement doivent être évalués par rapport à la valeur ajoutée de l’entreprise et au retour sur investissement. Mettre en œuvre une technologie simplement parce qu’elle est à la mode déclenche généralement de nombreuses alarmes, et à juste titre.
Je ne fais pas un procès contre les LLM d’entreprise; je fais un procès contre les LLM d’entreprise comme premier projet AI.
CE QUE LA RÉUSSITE REPRÉSENTE
Après des années de fonctionnement de notre cabinet de conseil en IA, le plus grand moteur de réussite de l’adoption de l’IA est la mesure claire des succès. Cela signifie que :
le contexte des affaires a été précisé avec des KPI ;
les exigences du projet ont été établies ;
et la livraison du projet a établi des objectifs.
Les systèmes de gestion de la qualité, une règle de base naturelle pour comparer vos projets d’apprentissage automatique, exigent une traçabilité entre les exigences établies et la vérification/validation, et les nouvelles techniques de gestion appellent des affectations de tâches Objectives/Résultats clés (OKR). Les attentes entourant le déploiement de l’IA devraient également être évaluées par rapport à des mesures de succès objectifs et mesurables.
BONNE IA = SIMPLICITÉ
La tendance en matière d’IA ces dernières années a été marquée par une série de forces de traction et de poussée entre les projets électifs et les projets de nécessité. Les projets électifs sont amusants et donnent lieu à des histoires géniales à raconter à la machine à café métaphorique ; les projets de nécessité sont les costumes monochromes qui font le travail dans la salle de back-office. Lequel préféreriez-vous pendant l’incertitude du marché ?
Une bonne IA, tout comme une bonne conception, devrait être invisible, pas le centre d’attention.
Avant même de considérer l’IA générative, les familles plus anciennes de modèles et de pipelines basés sur les transformateurs peuvent vous donner des résultats commerciaux équivalents sans casser la banque. La plupart des cas d’utilisation sont des bases de connaissances, des analyses historiques et la génération de perspectives. Par conséquent, voyons quelles approches alternatives peuvent être trouvées.
NAVIGATION DANS LES DONNÉES
Ces dernières années, deux technologies ont rendu la recherche de texte intelligente un jeu d’enfant : les plongements de phrases et les bases de données vectorielles.
Les plongements de phrases (ou de documents) ont vraiment été un différenciateur depuis les dernières technologies d’incorporation de mots ou de sous-mots. La prise en compte de l’ordre des mots (grâce au codage de position) crée beaucoup plus de compréhension dans les nuances et entraîne une incroyable complexité de navigation. Les structures de phrases complexes, voire les documents, peuvent être vectorisées, regroupées et comparées de manière fiable.
Les bases de données vectorielles, dont beaucoup sont confortablement open source (comme Vald et Weaviate), incluent déjà une auto-optimisation et une recherche approximative la plus proche de la boîte.
Le nombre d’applications dans le contexte commercial de ce modèle simple est vertigineux : vous disposez désormais d’un mini-moteur de recherche qui peut récupérer des phrases historiques de RFP qui sont les plus similaires à votre dernière proposition, voire trouver et organiser les documents pertinents nécessaires pour un contrat.
L’avantage de cette approche est que vous évitez les hallucinations LLM : les résultats classés fournissent d’abord une valeur contextuelle, ce qui signifie que vous n’avez pas besoin de creuser au-delà des premiers résultats pour obtenir votre réponse. Soit vous avez une réponse directe devant vous, soit vous n’en avez pas. Ce n’est pas aussi rassurant que le rythme cajoleur d’une réponse incitative, mais l’information est extrêmement précise, et même l’absence de résultats valables est une indication de l’état interne des affaires au sein de votre équipe.
Note : vous n’avez même pas besoin d’une base de données vectorielles pour obtenir de la valeur à partir de recherches similaires. Un fichier plat avec une similarité cosinus est en fait assez rapide sur un système multicœur pour être utilisable dans un cadre d’entreprise. Si vous voulez l’essayer vous-même, je vous recommande de convertir tous vos documents en Markdown et de diviser le texte entre les en-têtes. Félicitations, vous avez maintenant votre mini-moteur de recherche.
Avant les LLM (ce qui est un peu un abus de langage; cela semble inclure tout et n’importe quoi qui génère du texte), le monde du traitement automatique du langage naturel était en ébullition avec diverses applications et des modèles de solutions bien définis. (Jetez un coup d’œil à la section NLP de Papers With Code pour des exemples.) La construction d’un classificateur de phrases ou de documents est toujours une approche éprouvée pour organiser les données, notamment pour le nettoyage des données qui oblige l’organisation à reconnaître ses bases de données à moitié vides.
Je ne peux pas assez insister sur ce point : les données résoudront vos problèmes d’IA ; l’IA ne résoudra pas vos problèmes de données.
En conclusion, les entreprises qui adoptent l’IA devraient, dans la plupart des circonstances, apprendre à marcher avant de courir. Une stratégie solide consistant à réussir la livraison du projet tout en économisant de l’argent.
Les LLM ont une capacité autrement inhumaine à naviguer dans les idées complexes et à les résumer proprement en une fraction de seconde, mais la plupart des articles de presse se réfèrent aux meilleurs scénarios, pas au temps et aux efforts nécessaires pour y arriver. Tout comme les médias sociaux, la réalité est souvent trompeuse. Si cela semble facile, ce ne
