Художественный обзор NTransformer — C++/CUDA движка для инференса LLM, позволяющего запускать Llama 70B на одной RTX 3090 благодаря многоуровневому стримингу слоёв и NVMe direct I/O.
Почему при длинных разговорах кэш‑чтения начинают «съедать» бюджет и что с этим можно сделать.
История про то, как текстовая модель получила «глаза»: MCP-сервер, Google Lens, OpenCV и умение распознавать объекты без ключей API.
История эксперимента с «командой агентов» Claude: от бесконечного цикла до 100 000‑строчного компилятора, который собирает Linux 6.9.
Криминальная операция «Bizarre Bazaar» торговала доступом к плохо защищённым LLM-эндпойнтам: майнинг, перепродажа API и кража данных. Исследование Pillar Security показывает этапы атаки и работу коммерческой экосистемы вокруг сервиса SilverInc/NeXeonAI.