Помните это чувство, когда скачал модель на 10 гигов, а она отвечает, как будто ей отшибло память? Обидно. Особенно когда на диске каждый мегабайт на счету. Unsloth решил, что хватит это терпеть, и выкатил Dynamic v3.0 — третью итерацию своей динамической квантизации.

Это не косметический апдейт с новым номером. Новые кванты Qwen3.8-27B дают больше 10% прироста top-1% точности при том же размере — и это не маркетинг, а результат, который подтверждают 5,1 миллиона скачиваний за пять дней. Народ явно голосует ногами (или SSD-дисками).

Как они это сделали? Взяли более качественный imatrix-датасет из разных источников, заточенный под агентный кодинг, чат и мультиязычность. Улучшили выбор слоёв и добавили новые техники квантования. Причём без QAT и QAD — всё честное посттренировочное квантование. Никакой магии, только умный подбор форматов под каждый слой.

Для самых компактных версий убрали MTP-модуль: под UD-Q2_K_XL это экономит около 500 МБ диска. А UD-IQ1_S весит всего 6,2 ГБ без MTP, сохраняя 72% top-1% точности при уменьшении размера на 89%. Это как сжать слона до размера кошки, но чтобы он всё ещё помнил, как ходить.

UD-Q2_K_XL — вообще красавец: даёт +8% top-1% к ближайшему конкуренту при 9,83 ГБ и даже собрал рабочую HTML-страничку с одной маленькой JS-ошибкой. Раньше такое рассыпалось бы в труху.

Чтобы не было переобучения, команда придумала метрику Divergence-300 @32. Вместо тупого top-1, который смотрит на одно предсказание, они гоняют 300 невиданных примеров из Terminal-Bench, DeepSWE, Harbor, MathArena и длинных мультиязычных доков — 32 токена жадного декодинга. Это как экзамен, где нельзя списать из шпаргалки калибровочного датасета. Плюс KL Divergence вместо перплексии, потому что перплексия умеет врать, когда токены взаимно гасят ошибки.

Переобучение? Нет, не слышали. Датасеты калибровки и теста разделены, утечки убраны, QAT/QAD не используются — модель не натаскана под конкретные бенчмарки. Исходный imatrix-файл выложен в открытый доступ: берите, тестируйте, тюньте.

В общем, если вы всё ещё мучаетесь с «тупыми» квантами, попробуйте Dynamic 3.0. Возможно, ваша модель наконец-то перестанет изображать золотую рыбку. Все графики и цифры — в первоисточнике.