Mathieu
L’ÉVOLUTION DE L’IA DANS LA PROGRAMMATION
Les programmeurs ont passé des décennies à écrire du code pour les modèles d’IA, et maintenant, un moment plein de sens est arrivé : l’IA est utilisée pour écrire du code. Mais comment un générateur de code IA se compare-t-il à un programmeur humain?
L’ÉTUDE DE L’IA DANS LE DÉVELOPPEMENT DE CODE
Une étude publiée dans le numéro de juin de IEEE Transactions on Software Engineering a évalué le code produit par ChatGPT d’OpenAI en termes de fonctionnalité, de complexité et de sécurité. Les résultats montrent que ChatGPT a une gamme extrêmement large de succès dans la production de code fonctionnel – avec un taux de succès allant de aussi bas que 0,66 pour cent à aussi élevé que 89 pour cent – selon la complexité de la tâche, le langage de programmation, et d’autres facteurs.
COMPARAISON ENTRE L’IA ET LES PROGRAMMEURS HUMAINS
Alors que dans certains cas, le générateur d’IA pourrait produire un code meilleur que les humains, l’analyse révèle également des préoccupations de sécurité avec le code généré par l’IA.
LES LIMITES DE L’IA DANS LA PROGRAMMATION
En explorant ces limites plus en détail, l’équipe de Tang a testé la capacité de GPT-3.5 à résoudre 728 problèmes de codage provenant de la plateforme de test LeetCode dans cinq langages de programmation : C, C++, Java, JavaScript et Python.
L’IMPORTANCE DE LA FORMATION DE L’IA
Essentiellement, à mesure que la programmation évolue, ChatGPT n’a pas encore été exposé à de nouveaux problèmes et solutions. Il manque donc des compétences de pensée critique d’un humain et ne peut traiter que les problèmes auxquels il a déjà été confronté. Cela pourrait expliquer pourquoi il est tellement meilleur pour résoudre d’anciens problèmes de codage que des nouveaux.
LES VULNÉRABILITÉS DU CODE GÉNÉRÉ PAR L’IA
Les chercheurs ont également exploré la capacité de ChatGPT à corriger ses propres erreurs de codage après avoir reçu des commentaires de LeetCode. Ils ont constaté que le code généré par ChatGPT présentait un nombre non négligeable de vulnérabilités, telles qu’un test null manquant, mais beaucoup de ces problèmes étaient facilement corrigeables.
L’IMPORTANCE DE L’ASSISTANCE DES DÉVELOPPEURS
Tang souligne qu’en fonction de ces résultats, il est important que les développeurs utilisant ChatGPT fournissent des informations supplémentaires pour aider ChatGPT à mieux comprendre les problèmes ou à éviter les vulnérabilités.
