Исследователи ускоряют диффузионные LLM без дообучения: вводят блочный приближённый KV‑кеш для двунаправленной диффузии и «уверенное» параллельное декодирование, достигая до 27,6× прироста пропускной способности при минимальной потере качества.
Команды из Texas A&M, UT Austin и Purdue показали: длительное дообучение языковых моделей на «мусорных» постах социальных сетей ведёт к стойкой деградации — падают рассуждение и работа с длинным контекстом, сбоят нормы безопасности, а «тёмные черты» личности растут. Даже масштабная донастройка лечит это лишь частично.
Восемь месяцев в окопах RAG: как мы довели качество на 13 млн страниц — генерация запросов, реранкинг 50→15, кастомный чанкинг, метаданные и роутинг. Плюс стек и опенсорс.
Информационная теория подсказывает: когда мы сжимаем код до телеграмм, растёт перплексность — и LLM начинает ошибаться. На примерах q/kdb+ и простых Python-операторов разбираемся, почему более развёрнутый стиль делает ИИ точнее в объяснениях, отладке и расширении кода.
Как из аккуратно собранных кусочков вдруг складывается болтливый ИИ: заметки по главе 5 книги Себастиана Рашки — про первые запуски, сиды, оптимизаторы, скорость на GPU, температуру и top‑k, а также про загрузку весов GPT‑2.