Каждый раз, когда кто‑то оформляет подписку на ИИ‑кодер за $100 в месяц, где‑то в уголке комнаты шепчет ноутбук: «Я тоже так могу, только включи меня посильнее».

Исходная идея автора оригинальной статьи была дерзкой и понятной любому разработчику: вместо того чтобы каждый месяц платить за Claude Code или аналог, вложиться один раз в мощный ноутбук и гонять кодовую LLM локально. Через пару лет железо окупится, а сверху — приятный бонус в виде монструозной машины для всего остального.

После месяца экспериментов вывод получился менее романтичным: как полная замена подписки это не работает. Локальные модели уверенно закрывают процентов 90 задач, но критичные 10% — те, где решается судьба релиза, дедлайна и вашей зарплаты, — всё еще уверенно держат облачные «фронтирные» модели. За этот хвост качества действительно имеет смысл платить.

Но это не делает локальные LLM игрушкой. Наоборот:

  • При разумном выборе архитектуры и квантовании даже 7–14B‑модели дают очень бодрый кодинг‑опыт.
  • Они независимы от капризов провайдера и регрессий качества «где‑то на сервере».
  • Для задач с чувствительными данными (корпоративная аналитика, закрытые репозитории, гос‑сектор — чем Россия всерьёз гордится) локальная модель — иногда единственный приемлемый вариант.
  • Работают в самолёте, в поезде, в деревне без нормального интернета — главное, чтобы розетка была.

Ключевой ресурс здесь — не только деньги, но и память. Модель «ест» ОЗУ дважды: весами (десятки гигабайт для 30–80B) и контекстным окном. Чем больше параметров, тем толще KV‑кэш на токен и тем быстрее ваш SSD превращается в медленную «виртуальную оперативку», если промахнуться с размерами.

Спасти ситуацию помогают два приёма:

  • Архитектура — вроде гибридного внимания в Qwen, уменьшающего размер KV‑кэша.
  • Квантование — сжимание весов и кэша до 8/4 бит. Весам это больно, но терпимо, а вот контекст квантовать нужно осторожно: модель начинает «забывать» важные детали длинного рассуждения.

Дальше в ход идут инструменты. На macOS логичный дуэт — MLX (максимум производительности на Apple Silicon) или Ollama (кроссплатформенный стандарт де‑факто) плюс удобный клиент вроде Qwen Code, Aider, Roo Code или Continue. Поднимаете у себя OpenAI‑совместимое API, подключаете IDE — и получаете локальный Copilot без слёз подписок.

Финальный честный тезис: локальные модели — идеальный «второй пилот». Они могут позволить вам снизить тариф в облаке или жить на щедром бесплатном уровне вроде свежего Gemini 3 Flash, а сложные, рискованные задачи отдавать в интернет‑«мозг». Но полностью заменить топовый сервис железом за свой счёт пока что сложно — особенно если от кода зависит не только хобби, но и карьера.