Edge ML Captcha Solver: Замена Vision-LLM локальной ResNet-18

Оптимизация компьютерного зрения: ускорение распознавания капчи в 800 раз на CPU (3.5 мс вместо 3 с), рост точности с 30.2% до 75.0% и нулевая стоимость.

Клиент

Data Extraction & Automation / B2B

Услуги

Computer Vision & Edge ML Inference, Architecture Optimization (ResNet-18 + SE), ONNX Runtime CPU, Browser Automation

Услуга

Внедрение ИИ и нейросетей

в 800 раз (3.5 мс вместо ~3 с)

Ускорение инференса

с 30.2% → 75.0%

Точность Exact Match

0$ (локальный CPU)

Себестоимость запроса

Задача

В процессах автоматизации сбора открытых рыночных данных ключевым препятствием выступали графические капчи (сетка 3×3 с сегментацией объектов). Базовое решение использовало мультимодальные Vision-LLM через облачные API, что создавало три критические проблемы: низкая точность (всего 30.2%), высокая задержка (~3 секунды на запрос) и непрерывные затраты на оплату API-токенов. Цель проекта: заменить тяжелую облачную LLM легковесной специализированной сверточной нейросетью, способной работать локально на CPU без GPU за доли миллисекунд.

Решение

Собрана и размечена выборка из 5 011 реальных изображений с балансировкой классов и аугментацией. В качестве архитектуры выбрана ResNet-18 с блоками Squeeze-and-Excitation (SE), усиливающими внимание к ключевым признакам на зашумленных фрагментах. Модель обучена в PyTorch, квантована и экспортирована в формат ONNX под процессорные инструкции AVX2/AVX-512. Развернут микросервис на FastAPI со временем отклика 3.5 мс на ячейку и подготовлено расширение Chrome для автоматического решения капчи.

Конвейер инференса компьютерного зрения

┌─────────────────────────┐          Перехват капчи           ┌──────────────────────────┐
│    Chrome / Playwright  │ ────────────────────────────────► │     FastAPI Service      │
│    Scraper Worker       │ ◄──────────────────────────────── │  (Нарезка плиток 3x3)    │
└─────────────────────────┘          Координаты клика         └────────────┬─────────────┘
                                                                           │ Нарезка 9 тайлов
                                                                           ▼
                                                              ┌──────────────────────────┐
                                                              │  ONNX Runtime (AVX-512)  │
                                                              │  ResNet-18 + SE (CPU)    │
                                                              │  Задержка: 3.5 мс / тайл │
                                                              └──────────────────────────┘

Сравнение с облачной Vision-LLM

Параметр	Исходное решение (Vision-LLM)	Локальная нейросеть (ResNet-18 + SE)	Выигрыш
Точность (Exact Match)	30.2%	75.0%	Рост в 2.5 раза
Время решения 1 ячейки	~3 000 мс	3.5–4.0 мс	Ускорение в ~800 раз
Вычислительная база	Облачный API с оплатой токенов	Локальный CPU (AVX2/AVX-512)	0$ затрат на вызовы
Автономность	Зависимость от сети и блокировок	100% локальный контур	0 сетевых отказов

Ключевые особенности

Ускорение инференса в 800 раз: 3.5–4.0 мс на распознавание фрагмента капчи вместо 3 000 мс у Vision-LLM.
Рост точности в 2.5 раза: Достигнуто 75.0% точности Exact Match на тестовой выборке по сравнению с 30.2% у базовой модели.
Архитектура ResNet-18 + SE: Внимание к каналам признаков позволяет безошибочно классифицировать низкокачественные изображения.
Оптимизация под CPU (ONNX Runtime): Полноценная работа на стандартных серверах без закупки дорогих видеокарт (GPU).
Нулевая стоимость API: Полная автономность решения исключает расходы на сторонние сервисы распознавания.

Технологии

Архитектура и развертывание

Микросервис упакован в компактный Docker-образ и интегрирован в автоматизированный кластер сборщиков данных. Решение обеспечивает бесперебойную работу пайплайнов без сетевых задержек и экономит сотни долларов ежемесячно на облачных вызовах.