Metodologiya.

Savollar qanday tanlangan, har bir tizim qanday ishga tushirilgan, javoblar qanday baholangan va raqamlar nimani ko‘rsatmaydi.

01Savollar to‘plamlari

A to‘plam: mijozlarning 30 ta savoli

Yurist yozgan va chetga olib qo‘yilgan savollar to‘plamidan olingan; har birining hujjatlardan chiqarilgan kutilgan javobi bor. Savollar mijozlar qanday so‘rasa, shunday yozilgan, o‘zbek, rus va ingliz tillarida, va bank ishi, jinoiy daromadlarni legallashtirishga qarshi kurash, fuqarolik huquqi, javobgarlik, yer, soliq va mehnatni qamraydi. To‘plam e’lon qilinmaydi, toki hech bir tizimni unga moslab sozlab bo‘lmasin.

B to‘plam: 12 ta murakkab savol

Oddiy qidiruv uddalay olmaydigan holatlarni tekshirish uchun biz yozganmiz. Kutilgan javoblar yuristdan emas, hujjatlarning o‘zidan olingan. To‘plam quyida e’lon qilingan.

Nimani tekshiradiSavol
“Qonunda belgilangan boshqa hollarda” degan so‘zlar ortidagi normaBir bankda kreditim muddati o‘tib ketgan. Shu bank boshqa bankdagi kartamdan roziligimsiz pul yechib olishi mumkinmi?
Bir vaqtda bir nechta hujjatTamaki mahsulotlariga qanday sanitariya qoidalari amal qiladi, chakana sotuvchi oyiga qancha yig‘im to‘laydi va qonunga xilof muomala uchun qanday javobgarlik belgilangan?
Qarorlardagi raqamlar2010, 2011 va 2012-yillar uchun qonunchilikda Davlat byudjetining qanday daromad va xarajatlari belgilangan edi?
Uch kunlik hujjatXususiy bankning kiberxavfsizlik xodimlari sinovdan uch kun oldin qabul qilingan qaror talab qiladigan o‘qishdan o‘tishi shartmi?
O‘tgan sanadagi norma2024-yil 1-iyun holatiga tijorat banki uchun eng kam ustav kapitali qancha talab qilingan va hozir qancha talab qilinadi?
Ilovalardagi jadvallarTuristik faoliyat litsenziyasi uchun ariza qancha muddatda ko‘rib chiqiladi va yig‘im miqdori qancha?
Litsenziya shartlariTuroperator fuqarolarni umraga jo‘nata oladimi? Litsenziya talablarida nima deyilgan?
O‘tgan sanadagi normaXayriya tashkiloti 2025-yil sentabrda o‘z mablag‘larining qancha qismini o‘zini saqlashga sarflashi mumkin edi va hozir qanchasini sarflay oladi?
O‘tgan sanadagi norma2021-yilda bola parvarishi ta’tili bola necha yoshga to‘lguncha pensiya stajiga qo‘shilgan va hozir necha yoshgacha qo‘shiladi?
Regulyator sanksiyalariTo‘lov tashkilotlari uchun jinoiy daromadlarni legallashtirishga qarshi kurash qoidalarini buzganlik uchun jarima bormi? Uning miqdori qancha?
Nizomga ilovadagi normaJavobsiz qoldirilgan elektron hisobvaraq-faktura 10 kundan keyin qabul qilingan hisoblanadimi?
Investor turiga qarab cheklovlarChet el investitsiyalari ishtirokidagi korxona yer sotib ola oladimi?

02Har bir tizim qanday ishga tushirilgan

TizimSharoit
ChatGPT, Gemini, PerplexityO‘z ilovalari, veb-qidiruv yoqilgan. Yangi suhbat; savollar bitta raqamlangan ro‘yxat bilan qo‘yilgan; javoblar qanday kelgan bo‘lsa, shunday nusxalangan.
ChatGPT Recansio bilanO‘sha ilova va o‘sha so‘rov matni, Recansio MCP konnektori sifatida qo‘shilgan, yangi suhbat. Ikkala to‘plam.
ClaudeO‘sha so‘rov matni to‘rt xil sharoitda: vositalarsiz; veb-qidiruv bilan; Recansio bilan; Recansio tadqiqot rejimida (hujjatlarni ko‘rib chiqish, havolalar bo‘yicha o‘tish). Har bir savol yangi kontekstda.
Qwen 3.8 27B, lokalNoutbukda LM Studio’dagi 4 bitli vaznlar (Apple M1 Max, 64 GB). Fikrlash rejimi o‘chirilgan, harorat 0,6, har bir savol yangi chatda alohida. Recansio bilan: boshqa tizimlardagi o‘sha server, vosita natijalari 12 000 belgida qirqilgan, yakuniy javob vositalar bilan oltita qadamdan keyin majburan olingan.
Claude Recansio bilan, bitta chatYagona huquqiy manbasi Recansio bo‘lgan oddiy chat; A to‘plamning 30 ta savoli boshqa ilovalardagi kabi bitta ro‘yxat bilan qo‘yilgan.

So‘rov matnida normani uning raqamlari, sanalari va shartlari bilan, hujjat, modda yoki bandni va rasmiy havolani keltirish, ishonch bo‘lmasa, buni ochiq aytish talab qilingan.

03Baholash

Har bir javobni bir-biridan alohida ishlagan uchta baholovchi baholadi. Baholovchi savolni, kutilgan javobni va bir vaqtda bitta javobni ko‘rgan: tizim nomisiz va aralash tartibda. Yakuniy baho uchtadan ko‘pchilik bilan belgilanadi; agar uchalasi uch xil baho bersa, javob qisman to‘g‘ri hisoblanadi.

BahoQoida
To‘g‘riKutilgan asosiy qoidalarni (norma, raqamlar, muddatlar, subyekt) jiddiy xatosiz o‘z ichiga oladi.
Qisman to‘g‘riUmumiy yo‘nalish to‘g‘ri, lekin asosiy element yo‘q yoki noto‘g‘ri.
Noto‘g‘riKutilgan javobga zid, noto‘g‘ri raqam yoki normani o‘z ichiga oladi yoki to‘qib chiqarilgan narsani ishonch bilan bayon qiladi.
Javob yo‘qJavob bera olmasligini aytadi va asosiy qoidani keltirmaydi.

Ishonch bilan aytilgan noto‘g‘ri raqam “noto‘g‘ri” deb baholanadi. Uslub, hajm va til baholanmaydi.

Baholovchilar — til modellari (Claude’ning alohida nusxalari), tekshirilayotgan tizimlardan biri bilan bir oiladan. Ko‘r baholashda tizim nomi yashiriladi, lekin uning yozish uslubi yashirilmaydi. Lokal modelning 60 ta javobi bo‘yicha uchala baholovchi har bir bahoda bir xil fikrda bo‘lgan.

04Ko‘rsatkichlar

To‘g‘rilik

Har bir tizim bo‘yicha har bir turdagi baholar soni.

Xatboshiga havola

Javobda hujjatning o‘ziga emas, xatboshiga olib boradigan rasmiy manba havolasi bo‘lsa, hisobga olinadi. Bu javob matni bo‘yicha avtomatik sanalgan. Bu kerakli xatboshimi yoki yo‘qmi, bu yerda tekshirilmaydi; buni to‘g‘rilik ko‘rsatkichi ko‘rsatadi.

Vaqt

Savol yuborilganidan yakuniy javobgacha bo‘lgan haqiqiy vaqt. ChatGPT va oddiy chatdagi Claude uchun bu qo‘yilgan butun ro‘yxatga (12 yoki 30 ta savol) ketgan vaqt, chat interfeysi ko‘rsatgani bo‘yicha. Lokal model uchun bu test skripti o‘lchagan har bir savol vaqtining yig‘indisi, vositalarga murojaatlar bilan birga; savollar bittadan berilgan. Recansiosiz Claude ilovalar kabi o‘lchangan: barcha 30 ta savol bitta xabarda, vositalarsiz, operatorning yuklangan ko‘rsatmalari va saqlangan eslatmalarsiz, yuqori fikrlash darajasida. Vaqt tizimni o‘zi bilan solishtiradi, tuzilma bilan va tuzilmasiz; tizimlarni bir-biri bilan solishtirmaydi, chunki ular har xil uskunada ishlagan.

05Mahsulot xatarlarini baholash

Xatarlarni baholash bo‘yicha raqamlar nazorat ostidagi tajribada emas, bankning mahsulotlarni kelishish bo‘yicha haqiqiy ishida olingan. Avval: har bir mutaxassisga mahsulotni qonunga muvofiqligini baholash, xulosalarni bayon qilish va xatarlarni kamaytirish choralarini tushuntirish uchun 5–10 ish kuni kerak bo‘lgan. Recansio bilan: barcha bo‘linmalar uchun mahsulotni baholashga 10–20 daqiqa, va har bir xulosa o‘z bandiga bog‘langan. Mahsulotlar va hujjatlar maxfiy, ko‘rsatilmaydi.

06Cheklovlar

  • To‘plamlar kichik: 30 va 12 ta savol. Bitta noto‘g‘ri javob natijani 3–8 punktga siljitadi.
  • Har bir tizim bir marta javob bergan. Ilovalar vaqt o‘tishi bilan o‘zgaradi va boshqa kuni boshqacha javob berishi mumkin.
  • B to‘plamning kutilgan javoblarini mustaqil yurist emas, biz hujjatlar asosida yozganmiz.
  • Veb-qidiruvli Claude A to‘plamning 30 ta savolidan 25 tasiga javob bergan; qolgan beshtasi o‘tkazilmagan.
  • B to‘plamning bitta savolini (“qonunda belgilangan boshqa hollarda” degan so‘zlar ortidagi norma) barcha tizimlar o‘tkazib yuborgan. Endi tuzilma bunday normalarni hal qilinmagan havola deb belgilaydi; e’lon qilingan natijalar bu o‘zgarishdan oldin o‘lchangan.

07Tuzilmaning o‘zi

Birinchi korpus — O‘zbekiston qonunchiligi: rasmiy manbadan olingan 57 893 ta hujjat, o‘zbek va rus tillarida, 66 734 ta oldingi tahrir va hujjatlar o‘rtasidagi 523 943 ta sanali bog‘lanish bilan. U ichida til modelisiz, deterministik qoidalar asosida qurilgan; bir xil kirish ma’lumotlaridan ikki marta yig‘ilsa, natija bir xil bo‘ladi. Til modellari uni MCP vositalari orqali o‘qiydi: qidiruv, xatboshini o‘qish, xatboshini belgilangan sanadagi tahririda o‘qish va havola bo‘yicha o‘tish.

Sinovlarga qaytish