GPU
Graphics processing unit (GPU)
Bir vaqtning oʻzida minglab oddiy hisoblarni bajaradigan maxsus protsessor; AI modellari asosan shularda oʻqitiladi va ishlaydi.
GPU dastlab kompyuter oʻyinlarida grafika chizish uchun yaratilgan. Ekrandagi millionlab nuqtaning rangini bir vaqtda hisoblash kerak edi. Maʼlum boʻlishicha, neyron tarmoqlar ham aynan shunday ish talab qiladi: juda koʻp oddiy koʻpaytirish va qoʻshishni bir paytda bajarish.
Oddiy protsessor (CPU) bir nechta juda kuchli ustaga oʻxshaydi. GPU esa minglab oddiy ishchi. Katta dalada paxta terish kerak boʻlsa, bitta zoʻr terimchidan koʻra ming kishilik hashar tezroq ishni bitiradi. AI hisob-kitoblari ham xuddi shunday "paxta terimi".
Misol: Meta eng katta Llama modelini 16 mingta GPUʼda oʻqitgan. Bunday kompyuterlar ulkan maʼlumot markazlarida turadi, qimmat va juda koʻp elektr sarflaydi. Eng mashhur GPU ishlab chiqaruvchisi Nvidia.
GPU faqat oʻqitishda ishlamaydi. Siz har safar savol yozganingizda ham javob qayerdadir GPUʼda hisoblanadi. Shuning uchun yopiq modellarning APIʼsi pullik.
Xato tushuncha: "AIʼni ishlatish uchun albatta superkompyuter kerak". Ulkan modellarni oʻqitish uchun ha. Lekin kichik ochiq modellarni bugun oddiy kompyuterda ham ishlatsa boʻladi.