Metodologiya.
Savollar qanday tanlangan, har bir tizim qanday ishga tushirilgan, javoblar qanday baholangan va raqamlar nimani ko‘rsatmaydi.
01Savollar to‘plamlari
A to‘plam: mijozlarning 30 ta savoli
Yurist yozgan va chetga olib qo‘yilgan savollar to‘plamidan olingan; har birining hujjatlardan chiqarilgan kutilgan javobi bor. Savollar mijozlar qanday so‘rasa, shunday yozilgan, o‘zbek, rus va ingliz tillarida, va bank ishi, jinoiy daromadlarni legallashtirishga qarshi kurash, fuqarolik huquqi, javobgarlik, yer, soliq va mehnatni qamraydi. To‘plam e’lon qilinmaydi, toki hech bir tizimni unga moslab sozlab bo‘lmasin.
B to‘plam: 12 ta murakkab savol
Oddiy qidiruv uddalay olmaydigan holatlarni tekshirish uchun biz yozganmiz. Kutilgan javoblar yuristdan emas, hujjatlarning o‘zidan olingan. To‘plam quyida e’lon qilingan.
| Nimani tekshiradi | Savol |
|---|---|
| “Qonunda belgilangan boshqa hollarda” degan so‘zlar ortidagi norma | Bir bankda kreditim muddati o‘tib ketgan. Shu bank boshqa bankdagi kartamdan roziligimsiz pul yechib olishi mumkinmi? |
| Bir vaqtda bir nechta hujjat | Tamaki mahsulotlariga qanday sanitariya qoidalari amal qiladi, chakana sotuvchi oyiga qancha yig‘im to‘laydi va qonunga xilof muomala uchun qanday javobgarlik belgilangan? |
| Qarorlardagi raqamlar | 2010, 2011 va 2012-yillar uchun qonunchilikda Davlat byudjetining qanday daromad va xarajatlari belgilangan edi? |
| Uch kunlik hujjat | Xususiy bankning kiberxavfsizlik xodimlari sinovdan uch kun oldin qabul qilingan qaror talab qiladigan o‘qishdan o‘tishi shartmi? |
| O‘tgan sanadagi norma | 2024-yil 1-iyun holatiga tijorat banki uchun eng kam ustav kapitali qancha talab qilingan va hozir qancha talab qilinadi? |
| Ilovalardagi jadvallar | Turistik faoliyat litsenziyasi uchun ariza qancha muddatda ko‘rib chiqiladi va yig‘im miqdori qancha? |
| Litsenziya shartlari | Turoperator fuqarolarni umraga jo‘nata oladimi? Litsenziya talablarida nima deyilgan? |
| O‘tgan sanadagi norma | Xayriya tashkiloti 2025-yil sentabrda o‘z mablag‘larining qancha qismini o‘zini saqlashga sarflashi mumkin edi va hozir qanchasini sarflay oladi? |
| O‘tgan sanadagi norma | 2021-yilda bola parvarishi ta’tili bola necha yoshga to‘lguncha pensiya stajiga qo‘shilgan va hozir necha yoshgacha qo‘shiladi? |
| Regulyator sanksiyalari | To‘lov tashkilotlari uchun jinoiy daromadlarni legallashtirishga qarshi kurash qoidalarini buzganlik uchun jarima bormi? Uning miqdori qancha? |
| Nizomga ilovadagi norma | Javobsiz qoldirilgan elektron hisobvaraq-faktura 10 kundan keyin qabul qilingan hisoblanadimi? |
| Investor turiga qarab cheklovlar | Chet el investitsiyalari ishtirokidagi korxona yer sotib ola oladimi? |
02Har bir tizim qanday ishga tushirilgan
| Tizim | Sharoit |
|---|---|
| ChatGPT, Gemini, Perplexity | O‘z ilovalari, veb-qidiruv yoqilgan. Yangi suhbat; savollar bitta raqamlangan ro‘yxat bilan qo‘yilgan; javoblar qanday kelgan bo‘lsa, shunday nusxalangan. |
| ChatGPT Recansio bilan | O‘sha ilova va o‘sha so‘rov matni, Recansio MCP konnektori sifatida qo‘shilgan, yangi suhbat. Ikkala to‘plam. |
| Claude | O‘sha so‘rov matni to‘rt xil sharoitda: vositalarsiz; veb-qidiruv bilan; Recansio bilan; Recansio tadqiqot rejimida (hujjatlarni ko‘rib chiqish, havolalar bo‘yicha o‘tish). Har bir savol yangi kontekstda. |
| Qwen 3.8 27B, lokal | Noutbukda LM Studio’dagi 4 bitli vaznlar (Apple M1 Max, 64 GB). Fikrlash rejimi o‘chirilgan, harorat 0,6, har bir savol yangi chatda alohida. Recansio bilan: boshqa tizimlardagi o‘sha server, vosita natijalari 12 000 belgida qirqilgan, yakuniy javob vositalar bilan oltita qadamdan keyin majburan olingan. |
| Claude Recansio bilan, bitta chat | Yagona huquqiy manbasi Recansio bo‘lgan oddiy chat; A to‘plamning 30 ta savoli boshqa ilovalardagi kabi bitta ro‘yxat bilan qo‘yilgan. |
So‘rov matnida normani uning raqamlari, sanalari va shartlari bilan, hujjat, modda yoki bandni va rasmiy havolani keltirish, ishonch bo‘lmasa, buni ochiq aytish talab qilingan.
03Baholash
Har bir javobni bir-biridan alohida ishlagan uchta baholovchi baholadi. Baholovchi savolni, kutilgan javobni va bir vaqtda bitta javobni ko‘rgan: tizim nomisiz va aralash tartibda. Yakuniy baho uchtadan ko‘pchilik bilan belgilanadi; agar uchalasi uch xil baho bersa, javob qisman to‘g‘ri hisoblanadi.
| Baho | Qoida |
|---|---|
| To‘g‘ri | Kutilgan asosiy qoidalarni (norma, raqamlar, muddatlar, subyekt) jiddiy xatosiz o‘z ichiga oladi. |
| Qisman to‘g‘ri | Umumiy yo‘nalish to‘g‘ri, lekin asosiy element yo‘q yoki noto‘g‘ri. |
| Noto‘g‘ri | Kutilgan javobga zid, noto‘g‘ri raqam yoki normani o‘z ichiga oladi yoki to‘qib chiqarilgan narsani ishonch bilan bayon qiladi. |
| Javob yo‘q | Javob bera olmasligini aytadi va asosiy qoidani keltirmaydi. |
Ishonch bilan aytilgan noto‘g‘ri raqam “noto‘g‘ri” deb baholanadi. Uslub, hajm va til baholanmaydi.
Baholovchilar — til modellari (Claude’ning alohida nusxalari), tekshirilayotgan tizimlardan biri bilan bir oiladan. Ko‘r baholashda tizim nomi yashiriladi, lekin uning yozish uslubi yashirilmaydi. Lokal modelning 60 ta javobi bo‘yicha uchala baholovchi har bir bahoda bir xil fikrda bo‘lgan.
04Ko‘rsatkichlar
To‘g‘rilik
Har bir tizim bo‘yicha har bir turdagi baholar soni.
Xatboshiga havola
Javobda hujjatning o‘ziga emas, xatboshiga olib boradigan rasmiy manba havolasi bo‘lsa, hisobga olinadi. Bu javob matni bo‘yicha avtomatik sanalgan. Bu kerakli xatboshimi yoki yo‘qmi, bu yerda tekshirilmaydi; buni to‘g‘rilik ko‘rsatkichi ko‘rsatadi.
Vaqt
Savol yuborilganidan yakuniy javobgacha bo‘lgan haqiqiy vaqt. ChatGPT va oddiy chatdagi Claude uchun bu qo‘yilgan butun ro‘yxatga (12 yoki 30 ta savol) ketgan vaqt, chat interfeysi ko‘rsatgani bo‘yicha. Lokal model uchun bu test skripti o‘lchagan har bir savol vaqtining yig‘indisi, vositalarga murojaatlar bilan birga; savollar bittadan berilgan. Recansiosiz Claude ilovalar kabi o‘lchangan: barcha 30 ta savol bitta xabarda, vositalarsiz, operatorning yuklangan ko‘rsatmalari va saqlangan eslatmalarsiz, yuqori fikrlash darajasida. Vaqt tizimni o‘zi bilan solishtiradi, tuzilma bilan va tuzilmasiz; tizimlarni bir-biri bilan solishtirmaydi, chunki ular har xil uskunada ishlagan.
05Mahsulot xatarlarini baholash
Xatarlarni baholash bo‘yicha raqamlar nazorat ostidagi tajribada emas, bankning mahsulotlarni kelishish bo‘yicha haqiqiy ishida olingan. Avval: har bir mutaxassisga mahsulotni qonunga muvofiqligini baholash, xulosalarni bayon qilish va xatarlarni kamaytirish choralarini tushuntirish uchun 5–10 ish kuni kerak bo‘lgan. Recansio bilan: barcha bo‘linmalar uchun mahsulotni baholashga 10–20 daqiqa, va har bir xulosa o‘z bandiga bog‘langan. Mahsulotlar va hujjatlar maxfiy, ko‘rsatilmaydi.
06Cheklovlar
- To‘plamlar kichik: 30 va 12 ta savol. Bitta noto‘g‘ri javob natijani 3–8 punktga siljitadi.
- Har bir tizim bir marta javob bergan. Ilovalar vaqt o‘tishi bilan o‘zgaradi va boshqa kuni boshqacha javob berishi mumkin.
- B to‘plamning kutilgan javoblarini mustaqil yurist emas, biz hujjatlar asosida yozganmiz.
- Veb-qidiruvli Claude A to‘plamning 30 ta savolidan 25 tasiga javob bergan; qolgan beshtasi o‘tkazilmagan.
- B to‘plamning bitta savolini (“qonunda belgilangan boshqa hollarda” degan so‘zlar ortidagi norma) barcha tizimlar o‘tkazib yuborgan. Endi tuzilma bunday normalarni hal qilinmagan havola deb belgilaydi; e’lon qilingan natijalar bu o‘zgarishdan oldin o‘lchangan.
07Tuzilmaning o‘zi
Birinchi korpus — O‘zbekiston qonunchiligi: rasmiy manbadan olingan 57 893 ta hujjat, o‘zbek va rus tillarida, 66 734 ta oldingi tahrir va hujjatlar o‘rtasidagi 523 943 ta sanali bog‘lanish bilan. U ichida til modelisiz, deterministik qoidalar asosida qurilgan; bir xil kirish ma’lumotlaridan ikki marta yig‘ilsa, natija bir xil bo‘ladi. Til modellari uni MCP vositalari orqali o‘qiydi: qidiruv, xatboshini o‘qish, xatboshini belgilangan sanadagi tahririda o‘qish va havola bo‘yicha o‘tish.