Если вам казалось, что искусственный интеллект — это таинственный черный ящик, приготовьтесь: Steerling-8B объясняет себя так подробно, что можно попросить рецепт борща и узнать, откуда он его «узнал» — честно и без спойлеров. Эта публикация — не очередная рекламная прелюдия, а приглашение поиграть с моделью, которая умеет трассировать каждый токен до трёх вещей: входного контекста, понятных человеку концептов и фрагментов обучающих данных.

Steerling-8B — 8-миллиардная модель, обученная на 1.35 трлн токенов. Команда выпустила веса и сопутствующий код (модель на Hugging Face: https://huggingface.co/guidelabs/steerling-8b; репозиторий: https://github.com/guidelabs/steerling; пакет на PyPI: https://pypi.org/project/steerling/), чтобы каждый мог пощупать интерпретируемость собственными руками.

Архитектура опирается на каузальную дискретную диффузию (см. публикацию о backbone: https://www.guidelabs.ai/post/block-causal-diffusion-language-model/) и разделяет эмбеддинги на три канала: известные супервизированные концепты (~33k), обнаруженные моделью (~100k) и резидуал. Ключевое — линейный путь от концептов к логитам: вклад каждого концепта вычислим и редактируем в режиме вывода, без дополнительного дообучения.

По результатам: при меньших вычислительных затратах Steerling показывает конкурентную производительность, оставаясь в поле зрения более тяжёлых моделей. На валидации более 84% вклада в логиты приходится на модуль концептов, а детекция известных концептов достигает 96.2% AUC — то есть интерпретируемость здесь не мнимая, а рабочая и управляемая.

Что это даёт на практике? Возможность точечного управления тоном и содержанием, трассировки источников знаний для отдельных фрагментов текста, и даже сокращения объёма «поведенческих» данных для выравнивания модели через концептуальные вмешательства. Российским исследователям и разработчикам это даёт удобный инструмент для прозрачных, контролируемых и ответственных систем — и вдохновляет на собственные эксперименты.

Если хочется углубиться — читайте основную публикацию и технические дайвы на сайте Guide Labs (оригинал: https://www.guidelabs.ai/post/steerling-8b-base-model-release/).