NYX Vox: Нативный голосовой AI-интерфейс с задержкой < 500 мс

Кроссплатформенное приложение на Rust и Tauri 2: речь в структурированный текст за 500 мс с verbatim-форматированием и автоматической вставкой в активное окно.

Клиент

Open Source / Собственный продукт

Услуги

Systems Programming (Rust / Tauri 2), Low-Latency Audio DSP, Multi-Engine STT, OS HID Injection

Услуга

Внедрение ИИ и нейросетей

< 500 мс

Скорость распознавания

Multi-Tier Fallback

Отказоустойчивость

100% Verbatim

Точность форматирования

Задача

Большинство существующих инструментов голосового ввода на десктопе создают трение в работе инженеров и авторов: задержка в 3–5 секунд сбивает поток мыслей, в тексте остается обилие слов-паразитов и отсутствует пунктуация, а диктовать приходится в отдельное окно с последующим ручным копированием. Цель проекта: разработать легковесный нативный инструмент для macOS и Windows с субсекундной транскрипцией по глобальному хоткею, бережным verbatim-форматированием без перефразирования и мгновенной прямой вставкой в активное приложение.

Решение

NYX Vox спроектирован на связке Rust 2021 (Tauri 2) и Next.js 16 / React 19. Захват микрофона ведется через cpal в отдельном системном потоке с минимальным буфером. Умный VAD, Noise Gate и 300ms Pre-Speech FIFO отсекают тишину без потери первых звуков речи. Облачный контур транскрипции на Groq Whisper Turbo выдает результат до 500 мс, а при отсутствии сети система мгновенно переключается на локальный Whisper с аппаратным ускорением Metal / Core ML. Форматирующая LLM аккуратно расставляет пунктуацию и код, после чего текст вставляется напрямую в курсор через Accessibility API (macOS) или SendInput (Windows).

Конвейер обработки аудио и вставки текста

┌─────────────────┐       ┌────────────────────────┐       ┌──────────────────────┐
│  Audio Capture  │ ────► │  300ms Pre-Speech FIFO │ ────► │  Smart VAD & Noise   │
│  (Rust / cpal)  │       │  Ring Buffer           │       │  Gate Detection      │
└─────────────────┘       └────────────────────────┘       └──────────┬───────────┘
                                                                      │ Speech Audio
                                                                      ▼
┌─────────────────┐       ┌────────────────────────┐       ┌──────────────────────┐
│  Direct HID     │ ◄──── │  Verbatim AI           │ ◄──── │  STT Cloud Turbo /   │
│  Injection      │       │  Refinement (LLM)      │       │  Local Metal Whisper │
└─────────────────┘       └────────────────────────┘       └──────────────────────┘
 (Accessibility / SendInput)

Сравнение режимов работы

Параметр	Облачный режим (Groq Turbo)	Локальный режим (Metal / Core ML)
Задержка отклика	< 500 мс	1.2–2.0 с
Требование к сети	Минимальный интернет-канал	0 Кб/с (100% Офлайн)
Конфиденциальность	TLS шифрование + Ephemeral	100% локально на чипе
Потребление RAM	~65 МБ (Tauri 2)	~320 МБ (включая веса модели)

Ключевые особенности

Низколатентный аудио-конвейер (Rust / cpal): Захват звука в нативном системном потоке с буфером 300ms Pre-Speech FIFO и умным шумоподавлением Noise Gate.
Многоуровневый Resilient Fallback: Каскадный шлюз STT (Groq Whisper Turbo ~500 мс → Deepgram Nova → Local Whisper на Metal/Core ML для 100% приватности и офлайна).
100% Verbatim AI Refinement: Интеллектуальный промптинг LLM (DeepSeek, Qwen, Gemini, GigaChat) сохраняет точные формулировки и терминологию без перефразирования.
Прямая системная вставка (HID Injection): Мгновенная печать текста в активное окно любого приложения через macOS Accessibility API и Windows SendInput.
Аппаратный сейф ключей: Хранение API-ключей локально на устройстве с шифрованием AES-256-GCM с привязкой к аппаратным идентификаторам устройства.

Технологии

Архитектура и развертывание

Архитектура на базе Tauri 2 позволила сократить потребление оперативной памяти до минимума по сравнению с тяжелыми Electron-аналогами. Сквозной пайплайн от нажатия хоткея до появления готового отредактированного текста в окне редактора кода занимает менее 500 мс в облачном режиме и 1.2–2.0 с в полностью автономном локальном режиме.