Parakeet.cpp — это проект, который обещает перевести «карканье» моделей в внятную человеческую речь, и да, попугай тут только ради названия и чтобы нам было веселее. По сути — аккуратно написанная на C++ реализация поддержки моделей NVIDIA Parakeet, без Python, без ONNX и без тяжелых рантаймов. Только C++ и легковесная тензорная библиотека Axiom с нативной Metal-ускоренной граф-компиляцией.
Что особенно радует: на Apple Silicon энкодер 110M обрабатывает 10 секунд аудио примерно за 27 ms — это примерно 96× быстрее, чем на CPU. Для практики это значит почти реальное время и возможность встраивать распознавание в локальные приложения без облака. Поддерживаются оффлайн-модели (TDT, CTC), стриминговые варианты (EOU, Nemotron) и даже Sortformer для диаризации до четырёх говорящих.
Проект честно старается быть удобным: простой API для оффлайна и стрима, CLI для быстрой проверки, примеры кода и скрипты для конвертации чекпоинтов из NeMo в safetensors. Нужно собрать — git clone, make build. Хотите GPU? t.to_gpu() — и Metal подключён. Нужны таймстемпы слов — есть группировка по фреймам; нужна диаризация — Sortformer отдаст сегменты и идентификаторы спикеров.
Юмор и удобство здесь не самоцель: Parakeet.cpp логично позиционирует себя как инструмент для разработчиков, которые хотят компактную, быструю и автономную систему ASR. Архитектура опирается на FastConformer и несколько декодеров (CTC, TDT, RNNT), а Axiom превращает слои в оптимальные MPSGraph-операции. Для тех, кто любит подглядывать под капот — доступен низкоуровневый API с ручным декодированием и обработкой фич.
Если вам нужно быстрое, локальное и понятное распознавание речи — Parakeet.cpp заслуживает внимания. Исходники и инструкции — на GitHub: https://github.com/Frikallo/parakeet.cpp.