AgentsAnalyse
Google publie une prépublication sur un optimiseur qui réécrit le harnais d'un agent figé
D'après arXiv.org, une prépublication signée Deep Shah et Nehal Kathrotia décrit un optimiseur qui réécrit le harnais d'un agent dont le modèle, Gemini 3.8 Flash, reste figé, avec une évaluation sur SWE-bench Lite. Le document compare un fichier de règles de prompt, qui fait chuter la précision de 5,0 % à 2,5 %, une réécriture complète du harnais, qui atteint 42,5 % pour 451,6k jetons par tâche, et des modifications validées module par module, qui atteignent 40,0 % pour 46,7k jetons par tâche. D'après academy.dair.ai, le harnais à modules validés se transfère sans nouvelle recherche à Gemini 4 Argon, avec 37,5 % contre 30,0 % pour la réécriture complète.
Ce que ça change pour toi
Pour une petite équipe, l'écart de dépense en jetons par tâche entre la réécriture complète et la mise à jour module par module est le point à retenir, à précision comparable. Le transfert du harnais vers un autre modèle sans nouvelle recherche indique une piste pour éviter de recommencer l'optimisation à chaque changement de modèle ; ce protocole reste à tester sur tes propres tâches.
Ce que dit Google
Déclarations relevées dans les sources
- La prépublication décrit un cadre d'architecture unifié pour des harnais d'agents capables de réécrire leur propre code.
- Le cadre associe quatre composants modifiables à une boucle en quatre étapes : diagnostic, proposition, validation et déploiement.
- Les expériences sur SWE-bench Lite indiquent que l'évolution modulaire avec validation dépasse la réflexion sur les prompts et la réécriture complète, pour un coût en jetons réduit.
- Les auteurs annoncent des défenses pratiques contre le gonflement des prompts, le jeu sur les bancs d'essai et la falsification de l'évaluateur.
Ce que rapportent d’autres sources
Non confirmé par Google
- Selon une synthèse tierce, un fichier de règles de prompt fait chuter la précision de 5,0 % à 2,5 % sur un agent bâti sur Gemini 3.8 Flash figé.
- Selon cette synthèse, une réécriture complète du harnais atteint 42,5 % pour 451k jetons par tâche.
- Selon cette synthèse, des modifications validées module par module atteignent 40,0 % pour 46k jetons par tâche.
- Selon cette synthèse, le harnais à modules validés se transfère sans nouvelle recherche à Gemini 4 Argon, avec 37,5 % contre 30,0 %.
Ce qui manque
À surveiller
- Le nombre de cycles d'optimisation n'est pas précisé.
- L'évaluation par les pairs de la prépublication n'est pas établie.
- La nature des tâches de travail notées 84,75 et 73,42 n'est pas précisée.
- La place exacte d'Opus 5.5 dans l'expérience n'est pas précisée.
Un optimiseur réécrit, dans une prépublication de Google, le harnais d'un agent bâti sur Gemini 3.8 Flash figé, sur SWE-bench Lite. Trois approches sont comparées : un fichier de règles de prompt fait chuter la précision de 5,0 % à 2,5 % ; une réécriture complète atteint 42,5 % pour 451,6k jetons par tâche ; des modifications validées module par module atteignent 40,0 % pour 46,7k jetons. Le harnais à modules validés se transfère à Gemini 4 Argon sans nouvelle recherche, avec 37,5 % contre 30,0 %.
Ce que le cadre rend modifiable
Le document décrit le harnais comme le logiciel d'exécution qui entoure le modèle : il gère le contexte et la mémoire, le contrôle multi-tours, l'exécution d'outils en sandbox et la vérification avant l'arrêt. D'après academy.dair.ai, le cadre découpe ce harnais en 4 composants modifiables, soit le contexte et l'état, le contrôle de l'agent, les interfaces d'action, puis la vérification et la récupération. La boucle associée se déroule en 4 étapes : diagnostic des échecs, proposition de correctifs de code, validation des candidats, déploiement des mises à jour. Pour toi, l'intérêt est de savoir quel bloc corriger quand un agent échoue, plutôt que de retoucher l'ensemble du code.
Ce que coûte chaque stratégie
Sur Gemini 3.8 Flash figé, le harnais de départ résout 5,0 % des tâches retenues selon academy.dair.ai. Un fichier de règles qui interdit de terminer sur un diff vide fait tomber ce taux à 2,5 %. La réécriture complète du harnais atteint 42,5 %, au prix d'un plafond de tours relevé et de 451,6k jetons par tâche. La mise à jour d'un seul module derrière une validation atteint 40,0 % pour 46,7k jetons par tâche. Si tu dois arbitrer entre les deux, la seconde option vise une précision proche avec une dépense nettement plus faible.
Le transfert vers un autre modèle
D'après academy.dair.ai, le harnais à modules validés, déplacé sans nouvelle recherche vers Gemini 4 Argon, résout 37,5 % des tâches contre 30,0 % pour la réécriture complète. Ce point compte si tu changes de modèle en cours de projet : le travail d'optimisation peut survivre au changement, à condition de conserver les validations module par module plutôt qu'une réécriture globale.
Les garde-fous à prévoir
Le document liste des modes de défaillance récurrents de l'auto-modification, dont le gonflement des prompts, l'optimisation ciblée sur le banc d'évaluation et l'altération de l'évaluateur, avec une défense associée pour chacun selon academy.dair.ai. Ces points te concernent si tu laisses un agent réécrire son propre harnais : la validation sur des tâches tenues à l'écart fait partie du dispositif décrit, et l'évaluation reste de petite taille d'après la même source.