Keyingi soʻz bashorati
Next-token prediction
Til modelining asosiy ishi: matndan keyin qaysi soʻz kelish ehtimoli yuqoriligini hisoblab, shulardan birini tanlash.
Til modeli har bir qadamda bitta savolga javob beradi: "Shu matndan keyin qaysi soʻz kelishi mumkin?" U har bir mumkin boʻlgan soʻzga ehtimol beradi va ulardan birini tanlaydi. Keyin tanlangan soʻzni matnga qoʻshib, yana keyingisini taxmin qiladi. Uzun javob shu kichik qadamlardan yigʻiladi.
Misol: "Men maktabga..." Davomi "boraman" boʻlish ehtimoli juda yuqori, "uchaman" boʻlishi esa deyarli nolga teng. Model millionlab matnni oʻqigani uchun qaysi davom tabiiyroq ekanini biladi.
Telefoningizdagi klaviatura keyingi soʻzni taklif qilishini koʻrgansiz. Til modeli shu gʻoyaning juda ulkan koʻrinishi: u faqat oldingi bitta soʻzga emas, butun suhbatga qarab taxmin qiladi.
Bundan ikki muhim xulosa chiqadi:
- Model "toʻgʻri"ni emas, "ehtimolli"ni tanlaydi. Shuning uchun baʼzan ishonarli, lekin xato javob yozadi.
- Bir xil savolga har safar biroz boshqacha javob olishingiz mumkin, chunki tanlovda tasodif ham bor.
Xato tushuncha: "demak, AI shunchaki avtomatik toʻldirish". Usul oddiy koʻrinadi, lekin shu usul bilan bugungi modellar murakkab masalalarni ham yecha oladi. Oddiy usul oddiy natija degani emas.