Token va kontekst oynasi nima?
AI bilan ishlaganingizda "token" va "kontekst oynasi" degan atamalarga duch kelasiz. Ularni tushunsangiz, modelning nega ba'zan suhbat boshini "unutib qo'yishini" ham bilib olasiz.
Token nima
Model matnni so'z bo'lib emas, token deb ataladigan bo'laklar bilan o'qiydi. Token ba'zan butun so'z, ba'zan so'zning bir qismi bo'ladi.
Ingliz tilida bir token taxminan to'rtta harfga to'g'ri keladi. O'zbek tilida esa vaziyat yomonroq: modellar asosan ingliz tilida o'qitilgani uchun o'zbekcha so'zlar ko'proq bo'lakka bo'linadi. "Avtomatlashtirish" degan bitta so'z olti-yettita tokenga bo'linishi mumkin.
Shuning uchun bir xil ma'nodagi matn o'zbek tilida inglizchadan ko'ra ko'proq token "yeydi" — bu pullik xizmatlarda qimmatroq tushadi va chegaraga tezroq yetkazadi.
Kontekst oynasi
Model bir vaqtning o'zida cheklangan miqdordagi tokenni "ko'rib tura oladi". Bu chegara kontekst oynasi deb ataladi.
Unga quyidagilarning hammasi sig'ishi kerak: tizim ko'rsatmasi, sizning barcha xabarlaringiz, modelning barcha javoblari va yuklagan fayllaringiz. Oyna to'lganda eng eski xabarlar chetga chiqib ketadi.
Mana shuning uchun uzoq suhbatda model boshida aytgan narsangizni "unutadi". U unutmaydi aslida — o'sha qism endi uning ko'rish maydonida yo'q.
Buni qanday boshqarish
- Yangi mavzu — yangi suhbat. Eski suhbatni davom ettirish o'rniga yangisini boshlang: oyna bo'shaydi va javob aniqroq bo'ladi.
- Muhim narsani takrorlang. Uzoq suhbatda asosiy shartni vaqti-vaqti bilan eslatib turing.
- Katta faylni bo'lib bering. 200 betlik hujjatni bir yo'la tashlash o'rniga kerakli bo'limni ajratib bering.
- Xulosani saqlang. Uzoq suhbat oxirida "shu yerda kelishilgan narsalarni ro'yxat qilib ber" deb so'rang, keyingi suhbatda shu ro'yxatdan boshlang.
Katta oyna hamma narsani hal qilmaydi
Zamonaviy modellarda kontekst oynasi ancha kattalashdi — ba'zilari yuz minglab tokenni ko'tara oladi. Lekin oyna kattalashgani sayin modelning o'rtadagi ma'lumotga e'tibori susayadi.
Amalda bu shunday ko'rinadi: 100 betlik hujjat bersangiz, model birinchi va oxirgi betlarni yaxshi "eslaydi", o'rtadagisini esa chala. Shuning uchun eng muhim ko'rsatmani so'rovning oxiriga qo'ying.