С Recansio и без него.

Два теста на реальных юридических вопросах. У каждого свой метод и свои ограничения.

Токены, время и ссылки на абзац.
24 вопроса, 16 ноября 2026 года.

Вопросы написал практикующий юрист, он же дал свои ответы. Одна модель (Claude Opus 5.5) ответила на них дважды: один раз только с веб-поиском, другой раз только с Recansio. Три ИИ-оценщика сверили оба ответа с ответом юриста, в случайном порядке и не зная, какая сторона что написала. Они видели текст каждого абзаца, на который ссылался ответ.

14×

меньше токенов, чем при вставке актов под каждый вопрос

С Recansio
9 500 на вопрос
Загрузка актов
131 000
Веб-поиск, по его счётчику
7 500
3.4×

быстрее, чем поиск в интернете

С Recansio
18 с на вопрос
Веб-поиск
62 с
Все 24
7.3 мин / 25.0 мин
24 из 24

ответов опираются на нужный абзац

С Recansio
20 верных, 24 с нужным абзацем
Веб-поиск
21 верных, 1 с нужным абзацем
Вопрос, по областиС RecansioЕго ссылкаВеб-поискЕго ссылка
1. ПОД/ФТ · вопрос на узбекскомвернонужный абзацвернорядом
2. ПОД/ФТ · вопрос на английскомвернонужный абзацвернорядом
3. Банковское дело · вопрос на русскомчастичнонужный абзацвернорядом
4. Банковское дело · вопрос на русскомчастичнонужный абзацвернорядом
5. Банковское дело · вопрос на узбекскомвернонужный абзацвернонет абзаца
6. Гражданское право · вопрос на русскомвернонужный абзацвернорядом
7. Гражданское право · вопрос на русскомвернонужный абзацвернорядом
8. Гражданское право · вопрос на русскомвернонужный абзацвернорядом
9. Уголовная и административная ответственность · вопрос на английскомвернонужный абзацчастичнорядом
10. Уголовная и административная ответственность · вопрос на русскомвернонужный абзацчастичнорядом
11. Уголовная и административная ответственность · вопрос на узбекскомвернонужный абзацвернонет абзаца
12. Уголовная и административная ответственность · вопрос на узбекскомвернонужный абзацвернонет абзаца
13. Уголовная и административная ответственность · вопрос на узбекскомвернонужный абзацвернонет абзаца
14. Страхование и рынок капитала · вопрос на узбекскомвернонужный абзацневернорядом
15. Страхование и рынок капитала · вопрос на русскомневернонужный абзацвернорядом
16. Кредитование · вопрос на узбекскомвернонужный абзацвернорядом
17. Кредитование · вопрос на узбекскомчастичнонужный абзацвернонет абзаца
18. Труд и налоги · вопрос на узбекскомвернонужный абзацвернорядом
19. Труд и налоги · вопрос на узбекскомвернонужный абзацвернорядом
20. Труд и налоги · вопрос на узбекскомвернонужный абзацвернорядом
21. Платежи и валюта · вопрос на русскомвернонужный абзацвернорядом
22. Платежи и валюта · вопрос на русскомвернонужный абзацвернонужный абзац
23. Платежи и валюта · вопрос на узбекскомвернонужный абзацвернорядом
24. Публичное право · вопрос на узбекскомвернонужный абзацвернорядом
Как считались токены
Весь прогон ассистента на каждую группу из шести вопросов, минус стоимость пустого прогона (35 875 токенов), делённый на шесть. Для загрузки: русский текст актов, на которые опирается каждый ответ, взятый из базы, из расчёта 0.454 токена на знак; эту величину мы измерили, дав той же модели прочитать 119 824 знака Трудового кодекса. Показано медианное значение по 24 вопросам; 11 из них опираются на два акта и более. Однократная загрузка всех 29 актов заняла бы 2.9 million токенов.
Чего не учитывает счётчик веб-поиска
Страницы, которые открывает ассистент, читает отдельный инструмент, и эти токены в его счётчик не попадают. Поэтому его собственный счётчик (7 500 на вопрос) близок к показателю Recansio, хотя работа заняла в 3.4 раза больше времени.
Что значит «нужный абзац»
Хотя бы один абзац, на который ссылается ответ, сам содержит решающую норму. «Рядом» означает ссылку на нужный акт или на соседнюю часть. Оценщики видели текст каждого абзаца по ссылке, взятый из базы.
Ограничения
24 вопроса: разница в один-два ответа — это шум. Оценщики — модели, а не юристы; все трое сошлись в 24 из 24 оценок для Recansio и в 22 для веб-поиска. Если все ваши вопросы относятся к одному акту, вы загружаете его один раз на разговор, а не на каждый вопрос. Тексты вопросов не публикуются, чтобы набор можно было снова использовать вслепую.

Более ранний тест: пять ассистентов, 30 и 42 вопроса.

Сильный ассистент с веб-поиском уже умеет отвечать верно: ChatGPT сам дал 30 верных ответов из 30, а с Recansio 28. Чего ни один ассистент не сделал сам, так это не показал, где именно это сказано в законе. Из 180 ответов без Recansio (у Claude 12, у четырёх остальных по 42) ни один не содержал ссылки на нужный абзац. С Recansio такая ссылка была в 118 из 126. Для этого Recansio и нужен: ответ, который можно проверить.

Ссылка на нужный абзац

Ответы со ссылкой на абзац закона, а не на акт целиком и не на новостной сайт. Claude без Recansio измерен на 12 ответах, остальные на 42.

Верные ответы

30 вопросов клиентов на трёх языках.

Время

От отправки вопросов до итогового ответа. Чем меньше, тем лучше.

Бесплатная модель на ноутбуке

Qwen 27B, без интернета, 64 ГБ памяти.

Без RecansioС Recansio
Верно, 30 вопросов клиентов524
Верно, 12 сложных вопросов14
Неверно, 30 вопросов клиентов152
Ссылка на нужный абзац, 42 ответа040

На практике

Оценка рисков продукта в банке. Наблюдение в работе, а не контролируемый тест.

5–10 рабочих днейна каждого специалиста, раньше
10–20 минутна все подразделения, с Recansio

Метод и ограничения

Вопросы
30 вопросов, которые задавали клиенты, и 12 сложных: прошлые даты, приложения, лицензии, санкции.
Оценка
Три оценщика, ни один не знал, какая система написала ответ. Решение по большинству.
Ограничения
Небольшие наборы, по одному прогону. Один неверный ответ сдвигает результат на 3–8 пунктов.

Полная методология

Попробуйте на своих вопросах.

Пробный доступ открывается сразу после регистрации: 100 запросов на 7 дней, без платёжных данных.