Как спросить у трёх миллиардов векторов и не сойти с ума
Эксперименты с поиском по векторам: от наивной реализации к векторизации NumPy, проблеме OOM и идеям масштабирования вроде батчинга, mmap и map‑reduce.
Performance
Как ИИ‑ядра Metal ускорили PyTorch на устройствах Apple на 87%
Команда исследователей проверила, смогут ли фронтир‑модели сами писать оптимизированные Metal‑ядра для PyTorch — и смогли: средний прирост 1.87× по 215 модулям, местами — сотни раз. Лучшие результаты даёт «рой» агентов с принципом Best‑of‑N и контекстом из CUDA‑кода и профилинга.