Токен
Token
Тил модели матнни ўқийдиган ва ёзадиган энг кичик бўлак: бутун сўз, сўзнинг бир қисми ёки белги.
Тил модели матнни ҳарфма-ҳарф ҳам, сўзма-сўз ҳам ўқимайди. У матнни токенларга бўлади. Қисқа ва кўп учрайдиган сўз одатда битта токен бўлади, узун ёки кам учрайдиган сўз эса бир нечта бўлакка бўлинади. Модел ичида ҳар бир токен рақамга айлантирилади.
Биринчи синф ўқувчисини эсланг: у янги сўзни бўғинлаб ўқийди. Модел ҳам нотаниш сўзни бўлаклаб "ўқийди", таниш сўзни эса бир бутун кўради.
Мисол: "китобларимиздан" каби узун ўзбекча сўз бир нечта токенга бўлиниши мумкин, тахминан "китоб", "лар", "имиз", "дан" каби. Аниқ бўлиниш моделга қараб фарқ қилади. Моделлар инглизча матнни кўпроқ кўргани учун инглизча сўзлар кўпинча камроқ бўлакка бўлинади.
Токен нега муҳим?
- Ёпиқ моделларда API орқали ишлаганда ҳар бир токен учун пул тўланади.
- Контекст ойнасининг ҳажми ҳам токенларда ўлчанади.
- Модел сўзни ҳарфлар эмас, бўлаклар кўринишида кўргани учун "бу сўзда нечта ҳарф бор?" каби саволларда илгари тез-тез адашарди.
Хато тушунча: "битта токен битта сўзга тенг". Баъзан шундай, лекин кўпинча эмас.