Oldindan oʻqitish
Pre-training
Model ulkan matnlarni oʻqib, keyingi soʻzni taxmin qilishni oʻrganadigan birinchi va eng qimmat oʻqitish bosqichi.
Oldindan oʻqitish, inglizcha pre-training, model yaratishning eng katta bosqichi. Model trillionlab soʻzdan iborat matnni oʻqiydi. Har safar keyingi soʻz yashiriladi va model uni topishga urinadi. Xato qilsa, parametrlarini ozgina tuzatadi. Bu milliardlab marta takrorlanadi va oʻn minglab maxsus kompyuterlarda oylab davom etadi.
Raqamlar bilan aytsak:
- Meta eng katta Llama modelini 16 mingta GPUʼda oʻqitgan.
- DeepSeek V3 modelining faqat yakuniy oʻqitishiga taxminan 5,6 million dollar sarflaganini eʼlon qilgan, oldingi tajribalar bu hisobga kirmagan.
- OpenAI rahbari GPT-4 100 million dollardan qimmatga tushganini aytgan.
Buni maktab va universitetga oʻxshatish mumkin: odam yillar davomida juda koʻp narsani oʻqiydi, lekin hali biror ishga tayyor mutaxassis emas.
Shu bosqichdan chiqqan modelni bazaviy model deyishadi. U koʻp narsani biladi, lekin hali yordamchi emas. Misol: unga "Toshkentda dam olish uchun qayerga borsa boʻladi?" deb yozsangiz, javob oʻrniga shunga oʻxshash yana bir nechta savolni yozib ketishi mumkin. U internetdagi savollar roʻyxatini davom ettirayotgandek boʻladi.
Model yordamchiga aylanishi uchun keyingi bosqich, yaʼni qoʻshimcha oʻqitish kerak.