AgentsAnalyse
Google présente GUARD, un harnais d'agent auto-améliorant qui garde le modèle de base gelé
Un papier présenté sur arXiv.org décrit GUARD, un harnais d'agent auto-améliorant qui garde le modèle de base gelé et laisse l'agent modifier ses prompts, ses compétences, ses règles d'outils et sa mémoire. D'après academy.dair.ai, une modification n'est acceptée que si ses gains dépassent les régressions qu'elle provoque. Sur 43 tâches SDK, GUARD atteint 80,80 % d'exactitude, soit 8,89 points de plus que le harnais de départ, et dépasse Meta-Harness de 6,28 points avec 54,5 % de jetons en moins par tâche ; sur des tâches de mémoire procédurale, il atteint 90,1 % de mise à jour correcte.
Ce que ça change pour toi
Pour une petite équipe, l'intérêt porte sur la méthode : faire évoluer le harnais sans réentraîner le modèle et sans ajouter de juge externe. Tu peux reprendre le principe de la porte d'acceptation dans tes propres boucles d'auto-amélioration, en gardant un jeu de contrôle pour détecter les régressions qu'une modification introduit.
Ce que dit Google Cloud
Déclarations relevées dans les sources
- GUARD est un harnais d'agent auto-améliorant qui garde le modèle de base gelé et laisse l'agent modifier ses propres prompts, compétences, règles d'outils et mémoire.
- Une modification n'est acceptée que si ses gains dépassent les comportements qu'elle casse.
- Sur 43 tâches SDK, GUARD atteint 80,80 % d'exactitude, soit 8,89 points de plus que le harnais de départ, et dépasse Meta-Harness de 6,28 points avec 54,5 % de jetons en moins par tâche.
- Sur des tâches de mémoire procédurale, il atteint 90,1 % de mise à jour correcte sans pollution mémoire.
Ce que rapportent d’autres sources
Non confirmé par Google Cloud
- Selon academy.dair.ai, les auteurs du papier travaillent chez Google Cloud.
Ce qui manque
À surveiller
- Le nom des modèles de base utilisés n'est pas précisé.
- Le détail des 43 tâches SDK et des tâches de mémoire procédurale n'est pas donné.
- La reproduction des résultats par des tiers n'est pas établie.
Un papier de Google présente GUARD, un harnais d'agent auto-améliorant qui garde le modèle de base gelé et laisse l'agent modifier ses propres prompts, compétences, règles d'outils et mémoire. Une modification n'est acceptée que si ses gains dépassent les comportements qu'elle casse. Sur 43 tâches SDK, GUARD atteint 80,80 % d'exactitude, soit 8,89 points de plus que le harnais de départ, et dépasse Meta-Harness de 6,28 points avec 54,5 % de jetons en moins par tâche. Sur des tâches de mémoire procédurale, il atteint 90,1 % de mise à jour correcte sans pollution mémoire.
Le point de départ du papier
D'après arXiv.org, un agent autonome associe un modèle de base gelé à un harnais modifiable qui contient les prompts, les compétences, les règles d'outils et la mémoire. L'auto-amélioration récursive fait évoluer ce harnais à partir de l'expérience, sans mise à jour des poids. Les auteurs relèvent qu'une auto-édition sans juge externe se retourne souvent contre l'agent : la réflexion et les scores scalaires confondent ce qu'une modification vient de casser avec ce qui reste non résolu, ce qui produit des régressions locales, un oubli de compétences et une mémoire qui gonfle.
Le regret directionnel comme signal
Selon arXiv.org, GUARD découpe chaque tâche en auto-contrôles exécutés avant l'action, puis note les trajectoires par rapport à ces contrôles. Les règles déjà maîtrisées sont figées et les comportements nouvellement cassés passent en tête, ce qui rend visible une modification qui répare un cas et en casse un autre. Les modifications candidates sont comparées en parallèle par une fitness relative au groupe, sans critique externe. D'après academy.dair.ai, le regret remplace les scores scalaires comme signal de sélection.
La porte d'acceptation
Toujours d'après academy.dair.ai, une porte dite Soft-HURT ne promeut une modification que lorsque ses gains dépassent les régressions constatées sur son tampon de contrôle, et elle limite la portée des correctifs spécialisés pour éviter les déclenchements excessifs. Le papier décrit une garantie de non-régression sur ce tampon. Selon arXiv.org, au moment du test, un seul harnais gelé s'exécute en une passe.
Les résultats annoncés
Sur 43 tâches SDK, GUARD atteint 80,80 % d'exactitude, soit 8,89 points de plus que le harnais de départ, et dépasse Meta-Harness de 6,28 points en consommant 54,5 % de jetons en moins par tâche, selon academy.dair.ai. Sur des tâches de mémoire procédurale, la même source annonce 90,1 % de mise à jour correcte. Ces chiffres sont présentés par le papier et son relais, sans reproduction par un tiers dans les extraits consultés.
Ce que tu dois tester avant de t'en servir
Pour appliquer l'idée, commence par définir tes propres auto-contrôles par tâche et un tampon de contrôle qui bloque une modification dès que les régressions dépassent les gains. Mesure ensuite sur un jeu distinct de celui qui sert à concevoir les modifications, et compare le coût en jetons par tâche à ton harnais actuel. Pour le protocole, les tâches utilisées et les modèles de base, consulte le texte complet du papier sur arXiv.