Computer use
Capacité d'un agent à observer une interface graphique puis agir avec la souris et le clavier dans un environnement contrôlé.
IntermédiaireSources vérifiées le .
Le computer use permet à un agent IA d'observer une interface graphique, souvent par captures d'écran, puis de proposer des actions de souris et de clavier. L'application exécute ces actions et renvoie l'écran suivant à l'agent.
Définition complète
Cette boucle rend accessibles des logiciels qui ne proposent pas d'API adaptée. L'agent peut cliquer, saisir du texte, faire défiler une page ou naviguer entre des fenêtres. Il travaille à partir de l'état visuel, ce qui le rend sensible aux changements de mise en page, aux fenêtres inattendues et aux éléments ambigus.
Les fournisseurs recommandent un environnement isolé et des confirmations pour les actions sensibles. Une instruction affichée dans une page peut tenter de détourner l'agent, comme une prompt injection. Les domaines autorisés, les téléchargements, les paiements, les suppressions et les données personnelles doivent donc rester strictement contrôlés.
Analogie pour comprendre
Une personne pilote un ordinateur en regardant l'écran puis en bougeant la souris. Le computer use reproduit cette boucle, mais chaque observation et chaque action passent par un agent qui peut mal interpréter un bouton ou une instruction affichée.
En pratique
Un premier workflow doit utiliser un compte de test, des données fictives et une liste de sites autorisés. Les actions irréversibles restent bloquées avant exécution. Les captures et les journaux permettent ensuite de reproduire un échec plutôt que de relancer la tâche au hasard.
Termes liés
Pour aller plus loin
Sources primaires
Questions fréquentes
Il couvre des interfaces sans intégration adaptée, mais il reste plus fragile qu'une API structurée. Une API expose des données et des actions explicites, tandis qu'une interface peut changer visuellement sans prévenir.
Les actions à fort impact demandent une validation humaine et un environnement borné. Les paiements, suppressions, permissions et données sensibles ne doivent pas dépendre d'une interprétation visuelle non supervisée.