Урок 24 · GUI-автономия: Cua Driver, контекст клиента и медиа · SI Academy

УРОК 24 · МОДУЛЬ VII

GUI-автономия: Cua Driver, контекст клиента и медиа

24.1Агент, который кликает

CLI > API > GUI · ДЕРЕВО ДОСТУПНОСТИ

ВЕРДИКТ

Где нет API — App Store, Telegram, кабинеты банков и сервисов — агент работает руками через Cua Driver: читает дерево доступности окна, нажимает элемент по токену и проверяет результат свежим снимком. В фоне, не отнимая у вас мышь.

ПОРЯДОКCLI → API → GUI

Клик — последний способ. Если есть команда или API — агент берёт их.

ТОЧНОСТЬТокен, не пиксель

Элемент выбирается по дереву доступности; пиксели — только для canvas.

ГРАНИЦАПароли вводите вы

Пароли, 2FA, Touch ID и системные разрешения агент не трогает — доводит до окна.

24.2Установка и разрешения

CUA DRIVER · ACCESSIBILITY · SCREEN RECORDING

Cua Driver на GitHub ↗cua.ai ↗

terminal · подключить к Claude Code и проверить разрешения

claude mcp add cua-driver -- ~/.local/bin/cua-driver mcp
cua-driver check_permissions '{}'      # Accessibility и Screen Recording должны быть ON

Разрешения включаются один раз: Системные настройки → Конфиденциальность и безопасность → Универсальный доступ и Запись экрана → включить для Cua Driver и вашего терминала (Paradev). Это делаете вы сами.

24.3Цикл действия: снимок → токен → проверка

LIST_WINDOWS · GET_WINDOW_STATE · CLICK · VERIFY

terminal · пример: нажать кнопку в окне

cua-driver list_windows '{"app":"Telegram"}'                 # pid и window_id
cua-driver get_window_state '{"pid":50393,"window_id":1476,"query":"Search"}'
# в ответе строка [7] → токен <snapshot_id>:7
cua-driver click '{"pid":50393,"window_id":1476,"element_token":"s0000004a:7"}'
cua-driver get_window_state '{"pid":50393,"window_id":1476,"since":"latest"}'   # проверка

Фон не сработал (окно игнорирует события) — повторите с "delivery_mode":"foreground". Кириллические пути в диалоги — только через буфер обмена, не набором.

24.4Полный контекст клиента из Telegram

НАТИВНОЕ ПРИЛОЖЕНИЕ · КНОПКА «→A» · CONTEXT.MD

Telegram Web игнорирует фоновую прокрутку и не транскрибирует голосовые. Поэтому только нативное приложение macOS: агент открывает чат, прокручивает всю историю вверх и на каждом голосовом нажимает «→A» — встроенную расшифровку Telegram.

Открыть чат→Скролл до начала→«→A» на каждом голосовом→Чтение снизу вверх→context.md

clients/<slug>/_private/context.md · шаблон

# <Имя> · контекст
## Хронология
- 2026-10-12 · первое сообщение: …
## Покупки
- книга $8.50 · сессия $80 (20.10)
## Голосовые (расшифровка «→A»)
- 25.10 · «…»
## Открытые обещания
- «вернусь через пару дней» — не выполнено, 15 дней тишины
## Следующий шаг
- билдер + сообщение-оффер

Приватность: _private/ не попадает ни в git, ни в деплой. В клиентскую страницу переносятся только выводы, никогда цитаты переписки.

24.5WhatsApp: экспорт и локальная расшифровка

EXPORT CHAT · WHISPER

Чат → имя контакта → Экспорт чата → «С медиа». Архив распаковывается в отдельную пустую папку, голосовые расшифровываются локально.

terminal · распаковать и расшифровать

D=$(mktemp -d) && unzip -q ~/Downloads/WhatsApp*.zip -d "$D"
for f in "$D"/*.opus; do whisper "$f" --language ru --model small --output_format txt --output_dir "$D"; done
cat "$D"/*.txt

24.6Reels и ролики на рабочий стол

YT-DLP · FFMPEG VIDEOTOOLBOX · H.264

Instagram отдаёт видео в VP9 — QuickTime и Telegram на Mac его не открывают. Скачиваем и сразу перекодируем аппаратным энкодером Apple Silicon.

terminal · ссылка → mp4 на рабочем столе

URL="https://www.instagram.com/reels/XXXXXXXX/"
cd ~/Desktop && yt-dlp -f "bv*+ba/b" --merge-output-format mp4 -o "reel_%(id)s.%(ext)s" "$URL"
F=$(ls -t reel_*.mp4 | head -1)
ffmpeg -v error -y -i "$F" -c:v h264_videotoolbox -b:v 14M -c:a copy -movflags +faststart "h264_$F" && mv "h264_$F" "$F"

24.7Чек-лист: агент работает руками

ОТМЕЧАЙТЕ — ПРОГРЕСС СОХРАНЯЕТСЯ

check_permissions: Accessibility и Screen Recording — ON
Cua Driver подключён к Claude Code как MCP
Агент нажал кнопку по токену и подтвердил результат снимком
Собран context.md клиента из нативного Telegram с «→A»
Голосовые WhatsApp расшифрованы локально
Reels скачан на рабочий стол и открывается в QuickTime