Если вам кажется, что ваш топ‑k снова выбрал «не тех», расслабьтесь: это не баг, это математика с характером. В свежей работе On the Theoretical Limitations of Embedding-Based Retrieval авторы показывают, что даже самые послушные эмбеддинги не всесильны — у них есть встроенный потолок возможностей, и он ниже, чем хотелось бы arXiv:2508.21038.

Главная мысль проста и, увы, сурова: число различных топ‑k множеств документов, которые может вернуть система по какому‑то запросу, ограничено размерностью векторного пространства. Это не прихоть реализации и не «плохие данные», а следствие известных результатов теории обучения, которое авторы аккуратно привязывают к практике векторного поиска источник. Интуиция такая: каждый запрос — это гиперплоскость, угол или конус предпочтений в d‑мерном пространстве. Сколь бы разнообразны ни были запросы, количество по‑настоящему различимых «правильных» топ‑k ответов растёт не быстрее, чем позволяет d. Театр один, сцен — ограниченно.

Чтобы не звучать как философы без экспериментов, исследователи идут в лоб: они показывают, что ограничение проявляется даже при k=2 и даже если позволить модели «читерить» — напрямую оптимизировать параметры эмбеддингов на тестовой выборке. И всё равно — стенка. Эмпирика подтверждает теорию подробности в работе.

Дальше — практический удар по розовым очкам. Авторы собирают реалистичный датасет LIMIT, сконструированный так, чтобы стресс‑тестировать систему на тех самых предельных случаях. Результат неприятен: даже state‑of‑the‑art модели спотыкаются, хотя задания выглядят до смешного простыми arXiv. И это важный сигнал: дело не в том, что «ещё чуть‑чуть дообучим» или «увеличим размер модели» — сам формат «один документ = один вектор» может не уметь выражать нужные ранжировки.

Что это значит на практике? Не хоронить эмбеддинги, а трезво смотреть на их роль. Там, где разнообразие релевантности велико, стоит думать про выход за рамки одно-векторной парадигмы: композиционные представления, несколько векторов на документ или запрос, гибридные индексы, переранжирование. Работа честно констатирует фундаментальный предел текущего подхода и призывает к новым методам, которые смогут этот предел обойти или раздвинуть источник.

Иногда, чтобы найти «тех самых двух», одного вектора действительно мало. И это не трагедия — это план работ.