Методология.
Как отбирались вопросы, как запускалась каждая система, как оценивались ответы и чего цифры не показывают.
01Наборы вопросов
Набор A: 30 вопросов клиентов
Взяты из отложенного набора вопросов, написанных юристом; у каждого есть ожидаемый ответ, выведенный из актов. Они сформулированы так, как спрашивают клиенты, на узбекском, русском и английском языках, и охватывают банковское дело, противодействие легализации доходов, гражданское право, ответственность, землю, налоги и труд. Набор не публикуется, чтобы ни одну систему нельзя было под него настроить.
Набор B: 12 сложных вопросов
Написаны нами, чтобы проверить случаи, в которых обычный поиск не справляется. Ожидаемые ответы взяты из самих актов, а не у юриста. Набор опубликован ниже.
| Что проверяет | Вопрос |
|---|---|
| Норма за словами «в иных случаях, установленных законом» | У меня просрочен кредит в одном банке. Может ли этот банк списать деньги с моей карты в другом банке без моего согласия? |
| Несколько актов сразу | Какие санитарные правила действуют для табачных изделий, какой ежемесячный сбор платит розничный продавец и какая ответственность установлена за незаконный оборот? |
| Цифры в постановлениях | Какие доходы и расходы Государственного бюджета были установлены законодательством на 2010, 2011 и 2012 годы? |
| Акт, которому три дня | Обязаны ли сотрудники по кибербезопасности частного банка пройти обучение, которого требует постановление, принятое за три дня до теста? |
| Норма на прошлую дату | Какой минимальный уставный капитал требовался коммерческому банку на 1 июня 2024 года и какой требуется сейчас? |
| Таблицы в приложениях | Сколько длится рассмотрение заявления на лицензию на туристскую деятельность и каков размер сбора? |
| Лицензионные условия | Может ли туроператор отправлять граждан в умру? Что сказано в лицензионных требованиях? |
| Норма на прошлую дату | Какую долю своих средств благотворительная организация могла тратить на собственное содержание в сентябре 2025 года и какую может сейчас? |
| Норма на прошлую дату | До скольких лет отпуска по уходу за ребёнком засчитывалось в стаж для пенсии в 2021 году и сколько засчитывается сейчас? |
| Санкции регулятора | Есть ли штраф для платёжных организаций за нарушение правил противодействия легализации доходов? Каков его размер? |
| Норма в приложении к положению | Считается ли электронный счёт-фактура, оставленный без ответа, принятым через 10 дней? |
| Ограничения по виду инвестора | Может ли компания с иностранными инвестициями купить землю? |
02Как запускалась каждая система
| Система | Условия |
|---|---|
| ChatGPT, Gemini, Perplexity | Собственные приложения, веб-поиск включён. Новый разговор; вопросы вставлены одним нумерованным списком; ответы скопированы в том виде, в каком получены. |
| ChatGPT с Recansio | То же приложение и тот же запрос, Recansio добавлен как коннектор MCP, новый разговор. Оба набора. |
| Claude | Тот же запрос в четырёх вариантах: без инструментов; с веб-поиском; с Recansio; с Recansio в исследовательском режиме (просмотр актов, переход по отсылкам). Каждый вопрос в новом контексте. |
| Qwen 3.8 27B, локально | 4-битные веса в LM Studio на ноутбуке (Apple M1 Max, 64 ГБ). Режим рассуждений выключен, температура 0,6, по одному вопросу в новом чате. С Recansio: тот же сервер, что и у других систем, результаты инструментов обрезаны на 12 000 знаков, итоговый ответ принудительно после шести шагов с инструментами. |
| Claude с Recansio, один чат | Обычный чат, единственным правовым источником которого был Recansio; 30 вопросов набора A вставлены одним списком, как и в других приложениях. |
В запросе требовалось привести норму с её цифрами, датами и условиями, акт, статью или пункт и официальную ссылку, а при неуверенности прямо сказать об этом.
03Оценка
Каждый ответ оценивали три оценщика, работавшие отдельно друг от друга. Оценщик видел вопрос, ожидаемый ответ и по одному ответу за раз, без названия системы и в перемешанном порядке. Итог определяется большинством из трёх; если все трое разошлись, ответ считается частично верным.
| Оценка | Правило |
|---|---|
| Верно | Содержит ожидаемые ключевые положения (норма, цифры, сроки, субъект) без существенной ошибки. |
| Частично верно | Общее направление верное, но ключевой элемент отсутствует или неверен. |
| Неверно | Противоречит ожидаемому ответу, содержит неверную цифру или норму либо уверенно излагает выдуманное. |
| Нет ответа | Сообщает, что не может ответить, и не приводит ключевого положения. |
Уверенно названная неверная цифра оценивается как «неверно». Стиль, объём и язык не оцениваются.
Оценщики — языковые модели (отдельные экземпляры Claude), из того же семейства, что и одна из проверяемых систем. При оценке вслепую скрыто название системы, но не её манера письма. По 60 ответам локальной модели три оценщика сошлись в каждой оценке.
04Показатели
Правильность
Число оценок каждого вида по каждой системе.
Ссылка на абзац
Ответ засчитывается, если в нём есть ссылка на официальный источник, которая ведёт на абзац, а не просто на акт. Это подсчитано автоматически по тексту ответа. Тот ли это абзац, здесь не проверяется; за это отвечает показатель правильности.
Время
Фактическое время от отправки вопроса до итогового ответа. Для ChatGPT и для Claude в обычном чате это время на весь вставленный список (12 или 30 вопросов), по показаниям интерфейса чата. Для локальной модели это сумма времени по каждому вопросу, измеренного тестовым скриптом, включая вызовы инструментов; вопросы шли по одному. Claude без Recansio замерялся так же, как приложения: все 30 вопросов одним сообщением, без инструментов, без загруженных инструкций оператора и сохранённых заметок, с высоким уровнем рассуждений. Время сравнивает систему с самой собой, со структурой и без неё; оно не сравнивает системы между собой, потому что они работали на разном оборудовании.
05Оценка рисков продукта
Цифры по оценке рисков получены в реальной работе банка по согласованию продуктов, а не в контролируемом эксперименте. Раньше: каждому специалисту требовалось 5–10 рабочих дней, чтобы оценить продукт на соответствие закону, изложить выводы и объяснить меры по снижению рисков. С Recansio: 10–20 минут на оценку продукта для всех подразделений, и каждый вывод привязан к своему пункту. Продукты и документы конфиденциальны и не показываются.
06Ограничения
- Наборы небольшие: 30 и 12 вопросов. Один неверный ответ сдвигает результат на 3–8 пунктов.
- Каждая система отвечала один раз. Приложения меняются со временем и в другой день могут ответить иначе.
- Ожидаемые ответы для набора B написаны нами по актам, а не независимым юристом.
- Claude с веб-поиском ответил на 25 из 30 вопросов набора A; остальные пять не запускались.
- Один вопрос набора B (норма за словами «в иных случаях, установленных законом») пропустили все системы. Теперь структура помечает такие нормы как неразрешённые отсылки; опубликованные результаты измерены до этого изменения.
07Сама структура
Первый корпус — законодательство Узбекистана: 57 893 акта из официального источника, на узбекском и русском языках, с 66 734 прежними редакциями и 523 943 датированными связями между актами. Он построен по детерминированным правилам, без языковой модели внутри; две сборки из одних и тех же входных данных дают одинаковый результат. Языковые модели читают его через инструменты MCP: поиск, чтение абзаца, чтение абзаца в редакции на дату и переход по отсылке.