Según la monitorización de 1M AI News, el desarrollador de código abierto Tommaso De Rossi lanzó la herramienta de línea de comandos para automatización de escritorio usecomputer, escrita en Zig como binario nativo, sin depender del entorno de ejecución Node.js, permitiendo que asistentes de programación con IA (Claude Code, Codex, OpenCode, etc.) controlen directamente el ratón, teclado y capturas de pantalla del escritorio. Es compatible con macOS y Linux (X11, Wayland a través de XWayland).
usecomputer ofrece comandos CLI para tomar capturas, mover/hacer clic/arrastrar/scroll del ratón, ingresar texto en el teclado y crear combinaciones de atajos, además de un sistema de mapeo de coordenadas (coord-map) que convierte automáticamente las coordenadas de píxeles en las capturas en coordenadas reales de la pantalla. La salida de las capturas se escala por defecto para que la dimensión más larga tenga 1568 píxeles, adaptándose a la ventana del contexto del modelo. La herramienta también soporta el Protocolo Gráfico Kitty; tras configurar variables de entorno, las capturas pueden insertarse directamente en el contexto del modelo sin necesidad de leer archivos adicionales.
De Rossi previamente desarrolló la herramienta de automatización de navegador Playwriter (más de 3200 estrellas en GitHub), y usecomputer extiende la automatización del navegador a la automatización de escritorio. El proyecto se ha separado de su repositorio único kimaki, ofreciendo dos modos de uso: CLI y biblioteca para Node.js. En el README se incluyen ejemplos completos de integración con la herramienta de computación de OpenAI y el uso de la herramienta de computación de Anthropic.