Vercel Labs выпустила agent-desktop — открытый инструмент, через который агент может управлять нативными приложениями Windows, macOS и Linux по их accessibility-интерфейсу. Подход рассчитан на работу с реальными окнами, а не только с изображениями экрана.
Что произошло
Утилита умеет получать снимок доступных элементов приложения, возвращать агенту устойчивые идентификаторы и выполнять действия вроде клика. После изменения окна агент должен запросить новый снимок, чтобы не использовать устаревшие ссылки на элементы.
Почему это важно
Скриншотное управление требует распознавать пиксели и часто ломается после небольшого изменения интерфейса. Доступность даёт структурированное описание кнопок, полей и ролей, поэтому агенту проще объяснить, что именно он видит и почему выбрал действие.
Контекст
Метод не решает проблему полностью: плохо размеченные приложения останутся трудными для автоматизации, а доступ агента к рабочему столу требует строгой изоляции приватных данных. Зато разработчик может тестировать сценарии локально через CLI и проверять каждый шаг.
Вывод
Для офисных программ и инструментов разработки это важный сдвиг от демонстраций к воспроизводимому управлению. Если экосистема доступности будет достаточно полной, агенты смогут работать с приложениями стабильнее и дешевле, чем при постоянном анализе скриншотов.