Олдиндан ўқитиш
Pre-training
Модел улкан матнларни ўқиб, кейинги сўзни тахмин қилишни ўрганадиган биринчи ва энг қиммат ўқитиш босқичи.
Олдиндан ўқитиш, инглизча pre-training, модел яратишнинг энг катта босқичи. Модел триллионлаб сўздан иборат матнни ўқийди. Ҳар сафар кейинги сўз яширилади ва модел уни топишга уринади. Хато қилса, параметрларини озгина тузатади. Бу миллиардлаб марта такрорланади ва ўн минглаб махсус компьютерларда ойлаб давом этади.
Рақамлар билан айтсак:
- Meta энг катта Llama моделини 16 мингта GPUʼда ўқитган.
- DeepSeek V3 моделининг фақат якуний ўқитишига тахминан 5,6 миллион доллар сарфлаганини эълон қилган, олдинги тажрибалар бу ҳисобга кирмаган.
- OpenAI раҳбари GPT-4 100 миллион доллардан қимматга тушганини айтган.
Буни мактаб ва университетга ўхшатиш мумкин: одам йиллар давомида жуда кўп нарсани ўқийди, лекин ҳали бирор ишга тайёр мутахассис эмас.
Шу босқичдан чиққан моделни базавий модел дейишади. У кўп нарсани билади, лекин ҳали ёрдамчи эмас. Мисол: унга "Тошкентда дам олиш учун қаерга борса бўлади?" деб ёзсангиз, жавоб ўрнига шунга ўхшаш яна бир нечта саволни ёзиб кетиши мумкин. У интернетдаги саволлар рўйхатини давом эттираётгандек бўлади.
Модел ёрдамчига айланиши учун кейинги босқич, яъни қўшимча ўқитиш керак.