Tencent publie une méthode d'auto-amélioration récursive pour les agents de terminal
D'après academy.dair.ai, Tencent publie des travaux sur l'auto-amélioration récursive des agents de terminal. Selon arXiv.org, l'entraînement alterne deux phases : un affinage sur des trajectoires réécrites ayant passé le vérificateur, puis un PPO avec un critique hérité de l'étape précédente. D'après academy.dair.ai, la moyenne des suites de Terminal-Bench passe de 20,68 % à 50,58 %. Selon arXiv.org, le modèle atteint 86,52 % sur Terminal-Bench 2.1 et 79,00 % sur Terminal-Bench Hard. D'après academy.dair.ai, l'audit des récompenses indique que 50,09 % de la récompense allait à des exécutions échouées et que 48 échecs passaient tous les tests exécutés sans réussir le test final.
Ce que ça change pour toi
Pour une petite équipe qui entraîne un agent sur des tâches vérifiables, le point directement réutilisable est l'audit des récompenses : une part importante de la récompense peut rémunérer des exécutions qui échouent au contrôle final. Tu peux instrumenter tes propres trajectoires pour séparer réussite stricte et crédit partiel avant de te fier à un score global.
Tencent publie des travaux sur l'auto-amélioration récursive des agents de terminal. À partir de Qwen3.8-27B, l'entraînement alterne deux phases : un affinage sur des trajectoires réécrites ayant passé le vérificateur, puis un PPO avec un critique hérité de l'étape précédente. La moyenne des quatre suites de Terminal-Bench passe de 20,68 % à 50,58 %, avec 86,52 % sur Terminal-Bench 2.1 et 79,00 % sur Terminal-Bench Hard. L'audit des récompenses indique que 50,09 % de la récompense allait à des exécutions échouées et que 48 échecs passaient tous les tests exécutés sans réussir le test final.
Des phases alternées d'affinage et de PPO
D'après arXiv.org, la méthode enchaîne une réécriture de trajectoires validées par le vérificateur et un affinage de politique qui hérite du critique de l'étape précédente. Le point de départ est un modèle de base existant, et chaque étape conservée consolide les comportements découverts. Pour toi, l'élément transposable est l'enchaînement : réécrire ce qui a été validé, puis réentraîner avec un critique qui reprend l'état antérieur.
Les scores rapportés
D'après academy.dair.ai, la moyenne des suites de Terminal-Bench passe de 20,68 % à 50,58 % entre le modèle de base et le modèle final. Selon arXiv.org, le modèle final atteint 86,52 % sur Terminal-Bench 2.1 et 79,00 % sur Terminal-Bench Hard. Ces chiffres viennent des résumés des auteurs et ne sont pas accompagnés, dans les extraits fournis, d'une reproduction par des tiers.
L'audit des récompenses
D'après academy.dair.ai, sur les trajectoires auditées, 50,09 % de la masse de récompense allait à des exécutions échouées sous la récompense antérieure, et 48 échecs passaient tous les contrôles exécutés tout en manquant le contrôle final. Une récompense qui sépare la réussite stricte du crédit partiel réduit cette part. Pour ton propre agent, ce constat invite à mesurer la part de récompense attribuée à des exécutions qui ne franchissent pas le contrôle terminal.
Ce qui reste à vérifier
Les extraits fournis ne permettent pas de savoir si les résultats ont été reproduits par des tiers, quel budget de calcul a été mobilisé, ni si le code, les données ou les poids sont rendus publics. D'après academy.dair.ai, les tâches longues restent majoritairement non résolues. Les extraits étant partiels, un détail absent ne prouve pas son absence dans la publication complète.
Ce qui reste à vérifier
Les extraits fournis ne permettent pas de savoir si les résultats ont été reproduits par des tiers, quel budget de calcul a été mobilisé, ni si le code, les données ou les poids du modèle entraîné sont rendus publics. Les extraits sont partiels : un détail absent ne prouve jamais son absence dans la publication complète.