\u00ab Neuf femmes ne peuvent pas faire un b\u00e9b\u00e9 en un mois \u00bb<\/em><\/h4>\n\n\n\n\u00ab Neuf femmes ne peuvent pas faire un b\u00e9b\u00e9 en un mois \u00bb<\/em> est une citation tir\u00e9e de The Mythical Man-Month<\/em>, un classique bien connu en g\u00e9nie logiciel. Elle illustre le fait que, lorsqu\u2019un projet prend du retard, ajouter plus de programmeurs ralentit le projet au lieu de l\u2019acc\u00e9l\u00e9rer. Parce que l\u2019\u00e9quipe existante doit former les nouveaux membres, parce que ceux-ci doivent apprendre le fonctionnement du projet, et parce que tous doivent apprendre \u00e0 travailler ensemble et \u00e0 communiquer. De plus, les efforts de communication doivent augmenter de mani\u00e8re exponentielle avec l\u2019ajout de personnes. Cette t\u00e2che d\u2019int\u00e9gration d\u2019\u00e9quipe est plus difficile qu\u2019il n\u2019y para\u00eet et ralentit les \u00e9quipes, du moins jusqu\u2019\u00e0 ce que les nouveaux membres soient vraiment int\u00e9gr\u00e9s.<\/p>\n\n\n\nLes agents de code rencontrent les m\u00eames probl\u00e8mes que les vrais d\u00e9veloppeurs, mais avec des difficult\u00e9s suppl\u00e9mentaires inh\u00e9rentes \u00e0 leur nature. Les projets complexes sont difficiles \u00e0 g\u00e9rer, et obtenir le bon contexte pour traiter un probl\u00e8me particulier est compliqu\u00e9. Divers outils de code commencent \u00e0 s\u2019attaquer \u00e0 ce probl\u00e8me de \u00ab context engineering \u00bb<\/em>, c\u2019est-\u00e0-dire trouver les bons morceaux de code \u00e0 injecter dans le prompt pour que le mod\u00e8le prenne les bonnes d\u00e9cisions.<\/p>\n\n\n\nMais surtout, les agents de code sont tr\u00e8s mauvais pour le travail d\u2019\u00e9quipe, et aucun des grands labos ne travaille l\u00e0-dessus actuellement. Leur style de communication est fix\u00e9 dans les poids du mod\u00e8le de langage. Ils peuvent donc s\u2019adapter \u00e0 un interlocuteur au cours d\u2019une conversation, mais chaque nouvelle session r\u00e9initialise cet apprentissage. Ils s\u2019adaptent encore moins \u00e0 une \u00e9quipe enti\u00e8re, car ils sont g\u00e9n\u00e9ralement li\u00e9s \u00e0 la machine\/compte d\u2019un individu.<\/p>\n\n\n\n
Pourquoi est-ce que ce sujet n\u2019est pas plus discut\u00e9 ? Mon hypoth\u00e8se est que ces notions sont un peu floues, et difficiles \u00e0 d\u00e9finir et \u00e0 \u00e9valuer. Et les entreprises se concentrent sur des benchmarks (donc des m\u00e9triques facilement mesurables) qui impliquent en plus de r\u00e9soudre des probl\u00e8mes seul, et non en collaboration avec une \u00e9quipe.<\/p>\n\n\n\n
Un g\u00e9nie amn\u00e9sique<\/h4>\n\n\n\n
La m\u00e9moire des agents de code est diff\u00e9rente de la m\u00e9moire humaine, et fonctionne de mani\u00e8re contre-intuitive. Leur harnais<\/em> peut les aider \u00e0 se souvenir mot pour mot d\u2019une conversation qui date de trois mois, mais ils ne r\u00e9cup\u00e8rent g\u00e9n\u00e9ralement pas ces souvenirs d\u2019eux-m\u00eames, ou pas de mani\u00e8re fiable. Actuellement, beaucoup de travaux se concentrent sur la s\u00e9lection du contexte appropri\u00e9 pour la t\u00e2che en cours, mais l\u2019accent est mis sur le code plut\u00f4t que sur les conversations pass\u00e9es.<\/p>\n\n\n\nEn cons\u00e9quence, les agents de code ont tendance \u00e0 suivre uniquement les instructions donn\u00e9es juste avant, sans tenir compte du reste du code. Ce sont comme des g\u00e9nies de la programmation, capables de construire en une fois des applications simples mieux qu\u2019un humain, mais des g\u00e9nies amn\u00e9siques qui oublient tout \u00e0 chaque fois que commence une nouvelle conversation. Ils ne respectent ni le style de travail ni le style de code de l’utilisateur. Ils essaient d\u2019ex\u00e9cuter les instructions en un seul coup, mais cassent souvent le code existant au passage. Le code qu\u2019ils ajoutent est souvent difficile \u00e0 maintenir et finit par ajouter plus de travail pour les d\u00e9veloppeurs, sur le long terme.<\/p>\n\n\n\n
\n\n\n\nL\u2019astuce de la nouvelle session<\/h4>\n\n\n\n
La mani\u00e8re dont la m\u00e9moire des agents se r\u00e9initialise entre les sessions peut \u00eatre frustrante, mais elle peut aussi parfois \u00eatre un avantage. Il m’est arriv\u00e9 quelquefois de passer des heures sur un probl\u00e8me avec un agent de code sans le r\u00e9soudre ; mais apr\u00e8s avoir d\u00e9marr\u00e9 une nouvelle conversation, l\u2019agent r\u00e9sout le probl\u00e8me imm\u00e9diatement.<\/p>\n\n\n\n
Cela arrive \u00e0 cause du context momentum<\/em> (inertie du contexte<\/em>) : dans les longues discussions, le mod\u00e8le peut rester bloqu\u00e9 sur de fausses hypoth\u00e8ses faites au d\u00e9but et ne plus les remettre en question. On peut alors passer des heures \u00e0 chercher une erreur l\u00e0 o\u00f9 elle n\u2019est pas, et la r\u00e9soudre facilement apr\u00e8s avoir commenc\u00e9 une nouvelle session, parce que la fausse hypoth\u00e8se n\u2019est plus dans le contexte du LLM.<\/p>\n\n\n\n
\n\n\n\nOb\u00e9issance neutre-chaotique<\/h4>\n\n\n\n
Les mod\u00e8les de langage n\u2019ont pas de sentiments pour vous, pour l\u2019\u00e9tat de votre projet, ou pour quoi que ce soit d\u2019autre. Ils sont entra\u00een\u00e9s \u00e0 compl\u00e9ter des phrases, et pas n\u2019importe quelles phrases : la phase d’affinage<\/em> les entra\u00eene \u00e0 compl\u00e9ter des conversations entre assistants et utilisateurs. Par cons\u00e9quent, ils sont tr\u00e8s ob\u00e9issants.<\/p>\n\n\n\nC\u2019est-\u00e0-dire qu\u2019ils feront exactement ce que vous leur dites, m\u00eame si c\u2019est tellement stupide que ce qu’on a dit<\/em> n\u2019est clairement pas ce qu’on veut<\/em> (par exemple \u00e9crire rm -rf \/<\/code> au lieu de rm -rf \/.<\/code>). Et g\u00e9n\u00e9ralement, ils ne vous pr\u00e9viendront pas. Comme leurs r\u00e9ponses ne sont pas d\u00e9terministes et leur entra\u00eenement n\u2019est pas parfait, les mod\u00e8les de langage ont des performances in\u00e9gales : parfois ils sont impressionnants, parfois ils font des choses stupides, mais ils essaient toujours de suivre les instructions.<\/p>\n\n\n\nCela les rend instables, d’une certaine fa\u00e7on. Beaucoup de d\u00e9veloppeurs pr\u00e9f\u00e9reront utiliser une IA capable d\u2019impl\u00e9menter de mani\u00e8re fiable des id\u00e9es d\u2019une certaine complexit\u00e9, plut\u00f4t qu\u2019une IA capable de g\u00e9rer des t\u00e2ches bien plus difficiles mais qui \u00e9choue parfois de mani\u00e8re impr\u00e9visible.<\/p>\n\n\n