Recansio bilan va usiz.
Haqiqiy huquqiy savollarda ikki sinov. Har birining o‘z usuli va o‘z cheklovlari bor.
Tokenlar, vaqt va kerakli xatboshi.
24 ta savol, 2026-yil 16-noyabr.
Savollarni amaliyotchi yurist yozgan va o‘z javoblarini ham bergan. Bitta model (Claude Opus 5.5) ularga ikki marta javob berdi: bir marta faqat veb-qidiruv bilan, bir marta faqat Recansio bilan. Uchta AI baholovchi ikkala javobni yurist javobi bilan solishtirdi: tasodifiy tartibda va qaysi tomon nimani yozganini bilmagan holda. Ular javob havola qilgan har bir xatboshining matnini ko‘rdi.
har bir savolga hujjatlarni chatga qo‘yishdan kamroq token
- Recansio bilan
- har savolga 9 500
- Hujjatlarni yuklash
- 131 000
- Veb-qidiruv, o‘z hisobi bo‘yicha
- 7 500
veb-qidiruvdan tezroq
- Recansio bilan
- har savolga 18 s
- Veb-qidiruv
- 62 s
- Barcha 24 tasi
- 7.3 daq / 25.0 daq
javob kerakli xatboshiga tayanadi
- Recansio bilan
- 20 ta to‘g‘ri, 24 tasi kerakli xatboshi bilan
- Veb-qidiruv
- 21 ta to‘g‘ri, 1 tasi kerakli xatboshi bilan
| Savol, soha bo‘yicha | Recansio bilan | Veb-qidiruv |
|---|---|---|
| 1. AML · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 2. AML · savol ingliz tilida | to‘g‘ri | to‘g‘ri |
| 3. Bank ishi · savol rus tilida | qisman | to‘g‘ri |
| 4. Bank ishi · savol rus tilida | qisman | to‘g‘ri |
| 5. Bank ishi · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 6. Fuqarolik huquqi · savol rus tilida | to‘g‘ri | to‘g‘ri |
| 7. Fuqarolik huquqi · savol rus tilida | to‘g‘ri | to‘g‘ri |
| 8. Fuqarolik huquqi · savol rus tilida | to‘g‘ri | to‘g‘ri |
| 9. Jinoiy va ma’muriy javobgarlik · savol ingliz tilida | to‘g‘ri | qisman |
| 10. Jinoiy va ma’muriy javobgarlik · savol rus tilida | to‘g‘ri | qisman |
| 11. Jinoiy va ma’muriy javobgarlik · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 12. Jinoiy va ma’muriy javobgarlik · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 13. Jinoiy va ma’muriy javobgarlik · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 14. Sug‘urta va kapital bozori · savol o‘zbek tilida | to‘g‘ri | noto‘g‘ri |
| 15. Sug‘urta va kapital bozori · savol rus tilida | noto‘g‘ri | to‘g‘ri |
| 16. Kreditlash · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 17. Kreditlash · savol o‘zbek tilida | qisman | to‘g‘ri |
| 18. Mehnat va soliqlar · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 19. Mehnat va soliqlar · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 20. Mehnat va soliqlar · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 21. To‘lovlar va valyuta · savol rus tilida | to‘g‘ri | to‘g‘ri |
| 22. To‘lovlar va valyuta · savol rus tilida | to‘g‘ri | to‘g‘ri |
| 23. To‘lovlar va valyuta · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
| 24. Ommaviy huquq · savol o‘zbek tilida | to‘g‘ri | to‘g‘ri |
- Tokenlar qanday hisoblangan
- Yordamchining har oltita savollik guruhga sarflagan jami tokenlari, undan bo‘sh ishga tushirish narxi (35 875 token) ayirilib, oltiga bo‘lingan. Yuklash uchun: har bir javob tayangan hujjatlarning bazadan olingan ruscha matni, bir belgiga 0.454 token hisobidan. Bu qiymatni o‘sha modelga Mehnat kodeksining 119 824 belgisini o‘qitib o‘lchaganmiz. 24 ta savol bo‘yicha mediana ko‘rsatilgan; ulardan 11 tasi ikki yoki undan ortiq hujjatga tayanadi. Barcha 29 ta hujjatni bir marta yuklash 2.9 million token talab qilardi.
- Veb-qidiruv hisobiga nima kirmaydi
- Yordamchi ochgan sahifalarni alohida vosita o‘qiydi va bu tokenlar uning hisobiga kirmaydi. Shuning uchun uning o‘z hisobi (har savolga 7 500) Recansio ko‘rsatkichiga yaqin, holbuki ish 3.4 marta ko‘p vaqt olgan.
- “Kerakli xatboshi” nimani anglatadi
- Javob havola qilgan kamida bitta xatboshining o‘zida hal qiluvchi norma bayon qilingan. “Yonida” — to‘g‘ri hujjatga yoki qo‘shni qismga havola. Baholovchilar havoladagi har bir xatboshining bazadan olingan matnini ko‘rdi.
- Cheklovlar
- 24 ta savol: bir-ikki javoblik farq — bu shovqin. Baholovchilar yurist emas, modellar; uchalasi Recansio uchun 24 ta bahodan 24 tasida, veb-qidiruv uchun 22 tasida bir xil fikrda bo‘lgan. Agar barcha savollaringiz bitta hujjatga tegishli bo‘lsa, uni har bir savolga emas, har bir suhbatga bir marta yuklaysiz. Savollar matni e’lon qilinmaydi: to‘plam keyingi sinovlarda ham hech kimga oldindan tanish bo‘lmasligi uchun.
Oldingi sinov: beshta yordamchi, 30 va 42 ta savol.
Veb-qidiruvli kuchli yordamchi allaqachon to‘g‘ri javob bera oladi: ChatGPT o‘zi 30 tadan 30 ta to‘g‘ri javob berdi, Recansio bilan esa 28 ta. Lekin hech bir yordamchi o‘zi qonunning aynan qayerida shunday yozilganini ko‘rsata olmadi. Recansiosiz berilgan 180 ta javobdan (Claude 12 ta, qolgan to‘rttasi 42 tadan) birortasi ham kerakli xatboshiga havola qilmagan. Recansio bilan 126 tadan 118 tasi havola qilgan. Recansio aynan shuning uchun kerak: tekshirsa bo‘ladigan javob.
Kerakli xatboshiga havola
Hujjatning o‘ziga yoki yangiliklar saytiga emas, qonun xatboshisiga havola qilgan javoblar. Recansiosiz Claude 12 ta javobda o‘lchangan, qolganlari 42 tada.
To‘g‘ri javoblar
Mijozlarning uch tildagi 30 ta savoli.
Vaqt
Savollar yuborilganidan yakuniy javobgacha. Qancha kam bo‘lsa, shuncha yaxshi.
Noutbukdagi bepul model
Qwen 27B, internetsiz, 64 GB xotira.
| Recansiosiz | Recansio bilan | |
|---|---|---|
| To‘g‘ri, mijozlarning 30 ta savoli | 5 | 24 |
| To‘g‘ri, 12 ta murakkab savol | 1 | 4 |
| Noto‘g‘ri, mijozlarning 30 ta savoli | 15 | 2 |
| Kerakli xatboshiga havola, 42 ta javob | 0 | 40 |
Amalda
Bankda mahsulot xatarlarini baholash. Ish jarayonida kuzatilgan, nazorat ostidagi sinov emas.
Usul va cheklovlar
- Savollar
- Mijozlar bergan 30 ta savol va 12 ta murakkab savol: o‘tgan sanalar, ilovalar, litsenziyalar, sanksiyalar.
- Baholash
- Uchta baholovchi, hech biri javobni qaysi tizim yozganini bilmagan. Qaror ko‘pchilik ovozi bilan.
- Cheklovlar
- Kichik to‘plamlar, har biri bir marta o‘tkazilgan. Bitta noto‘g‘ri javob natijani 3–8 punktga siljitadi.
O‘z savollaringizda sinab ko‘ring.
Bepul sinov ro‘yxatdan o‘tishingiz bilan ochiladi: 7 kunga 100 ta so‘rov, to‘lov ma’lumotlarisiz.