L’usage de l’ordinateur

Laisser un modèle déplacer un vrai pointeur sur un vrai bureau est une autorisation lourde, et il vaut la peine de savoir exactement ce qui doit être vrai avant le premier clic. OpenClaw fonde l’éligibilité sur les capacités : le nœud connecté doit annoncer à la fois une commande d’action sur le bureau et une commande de capture d’écran, et le descripteur du nœud détermine quelles familles d’actions l’outil expose. L’agent émet une seule commande uniforme et ne choisit pas la manière dont le nœud l’exécute. Tout le reste relève de la politique : l’exposition de l’outil, l’approbation d’appairage, le réglage local du nœud et les autorisations du système d’exploitation.

Ce qui doit être vrai

• L’outil exige un nœud appairé et connecté annonçant à la fois la commande d’action sur le bureau et la capture d’écran, cette dernière renvoyant un identifiant d’image d’affichage, ainsi qu’un modèle d’agent doté de vision et une politique d’outils qui expose l’outil d’ordinateur, ce que le profil de codage par défaut ne fait pas.
• Sur macOS, le réglage de l’application qui autorise le contrôle de l’ordinateur est actif par défaut mais reste désactivé après un refus explicite, et l’exécutant a besoin des autorisations Accessibilité et Enregistrement de l’écran accordées à OpenClaw, le chemin natif Peekaboo réclamant en plus l’accès à la publication d’événements pour ses primitives de saisie CoreGraphics.
• Windows et Linux passent par le greffon expérimental et optionnel cua-computer sur Windows x64 ou ARM64 et sur Linux x64 ou ARM64 fondé sur la glibc, dont le paquet embarque l’exécution figée du SDK du pilote CUA, sans exécutable de pilote, démon ni serveur MCP distinct à configurer.
• Les agents en bac à sable doivent voir l’outil d’ordinateur autorisé deux fois, une fois dans la politique d’outils ordinaire et une fois dans celle du bac à sable, tandis que le bureau lié à une session cloud figure déjà dans sa politique par défaut, les listes d’autorisation et de refus explicites continuant de s’appliquer.

La passerelle est le point d’autorisation ; le pilote n’est qu’un exécutant sans intelligence.

Images, coordonnées et observations

L’outil d’ordinateur prend une action par appel, et les coordonnées sont des pixels entiers non négatifs dans la capture la plus récente, que le nœud convertit en points d’affichage. Les actions à coordonnées doivent reprendre l’identifiant d’image renvoyé par cette capture, et un index d’écran explicite doit correspondre à la même image. OpenClaw transporte aussi une identité d’affichage émise par le nœud depuis la capture jusqu’à l’action, si bien qu’une reconnexion d’écran ou un changement de géométrie échoue franchement au lieu de viser discrètement le même index. Ces contrôles rejettent les jetons devinés et les jetons issus d’une autre image ou d’un autre écran, mais un jeton n’est pas une garantie de fraîcheur, car les applications peuvent changer les pixels du même écran après la capture. La saisie sur fenêtre suit l’espace de coordonnées indiqué par l’observation : CUA annonce des pixels d’image, y compris lorsque OpenClaw a redimensionné celle-ci, tandis que Peekaboo annonce des points logiques du bureau et que les limites des éléments d’accessibilité gardent leurs coordonnées d’écran natives. Une image de bureau ne peut pas remplacer une observation de fenêtre, puisque les deux images peuvent utiliser des espaces de coordonnées différents. Après une saisie sur fenêtre, les fournisseurs qui exposent l’état de fenêtre renvoient le résultat de l’action suivi d’une nouvelle observation, si bien que l’action suivante réutilise ses références d’éléments sans appel d’observation séparé. Les autres actions de saisie renvoient une nouvelle capture du bureau et, lorsque l’écran est identique au pixel près à l’image précédente, l’outil ne renvoie que des métadonnées, ce qui évite de faire entrer des captures dupliquées dans le contexte du modèle. Les captures restent réservées au modèle et ne sont jamais livrées automatiquement au canal de discussion.

Fournisseurs et refus

• La sélection du fournisseur ne se rabat jamais action par action, si bien que changer de fournisseur ferme la surface d’exécution active, fait tourner la génération de fournisseur et réannonce les commandes du nœud, et qu’un échec CUA devient un résultat indisponible plutôt que la même action exécutée discrètement par Peekaboo.
• Le fournisseur CUA ajoute une famille navigateur liée par des références opaques de navigateur, de page, d’observation et d’élément qui appartiennent à une seule exécution et à une seule génération de pilote, si bien qu’une navigation invalide les observations d’éléments de page et qu’un redémarrage du pilote invalide l’ensemble des références de navigateur.
• L’exécutant expérimental Windows et Linux ne pilote que l’écran principal et refuse la saisie maintenue ainsi que les clics, défilements et glissements avec modificateur maintenu, parce que les méthodes typées du bureau n’acceptent pas de modificateurs, tandis que les touches de chiffres et de ponctuation sont refusées et doivent passer par l’action de saisie de texte.

L’usage de l’ordinateur repose sur deux choses qui existent avant lui : les Les nœuds appairés qui s’appairent avec la passerelle, et les Les approbations qui permettent d’utiliser une surface de commandes nouvellement annoncée. Une nouvelle commande impose un réappairage, et une commande refusée est retirée de la surface annoncée du nœud en même temps que sa capacité d’ordinateur.

Pourquoi le pilote reste bête

OpenClaw laisse délibérément le démon géré sans plafond et autorise l’usage de l’ordinateur au-dessus de lui, par l’exposition de l’outil, la liste des commandes dangereuses, l’approbation d’appairage des appareils et des commandes, l’activation locale du fournisseur sur le nœud et les autorisations du système d’exploitation. La raison en est que le pilote figé fixe son mode de permission et son manifeste borné au démarrage de l’exécution, si bien que les autorisations exactes de processus et de fenêtre devraient être déclarées à l’avance, et qu’une entrée de demande équivaut à un refus ferme pour une expédition sans surveillance. OpenClaw pilote au contraire des applications, des fenêtres et des éléments découverts pendant que l’agent tourne, ce que le mode borné ne sait pas exprimer sans dupliquer la politique de la passerelle ni préautoriser de larges classes d’applications. Le socket est créé accessible à son seul propriétaire dans un répertoire lui aussi réservé au propriétaire, ce qui exclut les clients distants et les autres utilisateurs locaux mais n’isole pas les processus lancés par le même utilisateur connecté, et c’est à cette frontière qu’un Le bac à sable travaille. La boucle locale est une joignabilité et non une identité, si bien qu’un client ne reçoit pas de portée d’écriture du seul fait qu’il est arrivé par une adresse locale ; il doit encore s’authentifier et passer l’appairage d’appareil et l’approbation de portée. La politique d’invocation classe aussi les arguments exacts avant l’envoi, en séparant les familles à haut risque comme l’arrêt forcé d’application, la navigation, les téléchargements, les envois de fichiers dans le navigateur, le démarrage d’enregistrement, la relecture de trajectoire et l’élévation de portée du bureau, de l’observation et de la saisie ordinaires, ce qui est la partie de Le modèle de sécurité qui mérite le plus une seconde lecture.

Sur Diali

Sur Diali, chaque client exécute son propre assistant, et la configuration d’exécution d’OpenClaw hébergé sur Diali est générée depuis le tableau de bord et remplacée à chaque version. L’état vit sur un volume persistant, avec des instantanés quotidiens et une restauration en un clic grâce à l’option Sauvegardes (incluse avec Max). Le détail des offres se trouve sur Les tarifs Diali.

• L’éligibilité vient des capacités : sans commande annoncée, pas d’outil.
• Les coordonnées tiennent à une seule image ; une référence périmée échoue.
• L’autorisation vit dans la passerelle, pas dans le pilote.