Исследование Anthropic показало: чтобы заставить большие языковые модели выдавать белиберду, достаточно около 250 специально подготовленных документов — даже для систем с 13 млрд параметров. Разбираемся, почему это возможно, к чему ведёт такая хрупкость датасетов и какие контрмеры уже просматриваются.
Легкая прогулка по вехам, которые привели ИИ от n-грамм и распределённых представлений к трансформерам, предобучению и RLHF — с приметами «горького урока» масштаба.
Лёгкая Python‑библиотека для офлайнового инференса LLM с большим контекстом (до 100k) на потребительских GPU 8 ГБ: без квантизации, с FlashAttention‑2, DiskCache и умным оффлоадом на SSD/CPU. Поддержка моделей Qwen3, Llama 3 и gpt‑oss, установка через pip.
Как наладить еженедельную петлю улучшений: что логировать, как отличать шум от реальных пробелов, когда править гардрейлы, а когда пополнять знания; какие метрики держать в фокусе — и почему для прогресса не нужна «ещё большая модель».
Почему ответы LLM «пляшут» даже при температуре 0 и как вернуть воспроизводимость: от мифа о параллелизме к батч-инвариантным ядрам для RMSNorm, матмулов и внимания.