Кейинги сўз башорати
Next-token prediction
Тил моделининг асосий иши: матндан кейин қайси сўз келиш эҳтимоли юқорилигини ҳисоблаб, шулардан бирини танлаш.
Тил модели ҳар бир қадамда битта саволга жавоб беради: "Шу матндан кейин қайси сўз келиши мумкин?" У ҳар бир мумкин бўлган сўзга эҳтимол беради ва улардан бирини танлайди. Кейин танланган сўзни матнга қўшиб, яна кейингисини тахмин қилади. Узун жавоб шу кичик қадамлардан йиғилади.
Мисол: "Мен мактабга..." Давоми "бораман" бўлиш эҳтимоли жуда юқори, "учаман" бўлиши эса деярли нолга тенг. Модел миллионлаб матнни ўқигани учун қайси давом табиийроқ эканини билади.
Телефонингиздаги клавиатура кейинги сўзни таклиф қилишини кўргансиз. Тил модели шу ғоянинг жуда улкан кўриниши: у фақат олдинги битта сўзга эмас, бутун суҳбатга қараб тахмин қилади.
Бундан икки муҳим хулоса чиқади:
- Модел "тўғри"ни эмас, "эҳтимолли"ни танлайди. Шунинг учун баъзан ишонарли, лекин хато жавоб ёзади.
- Бир хил саволга ҳар сафар бироз бошқача жавоб олишингиз мумкин, чунки танловда тасодиф ҳам бор.
Хато тушунча: "демак, AI шунчаки автоматик тўлдириш". Усул оддий кўринади, лекин шу усул билан бугунги моделлар мураккаб масалаларни ҳам еча олади. Оддий усул оддий натижа дегани эмас.