Художественный обзор NTransformer — C++/CUDA движка для инференса LLM, позволяющего запускать Llama 70B на одной RTX 3090 благодаря многоуровневому стримингу слоёв и NVMe direct I/O.
Статья рассказывает о Consistency Diffusion Language Models (CDLM) — приёме пост‑обучения, который сочетает согласованность траекторий и блочное KV‑кеширование, чтобы сильно ускорить вывод диффузионных языковых моделей без потери качества.
Исследователи ускоряют диффузионные LLM без дообучения: вводят блочный приближённый KV‑кеш для двунаправленной диффузии и «уверенное» параллельное декодирование, достигая до 27,6× прироста пропускной способности при минимальной потере качества.