Инсон фикри билан ўқитиш
Reinforcement learning from human feedback (RLHF)
Одамлар модел жавобларини солиштириб баҳолайди, модел эса кўпроқ маъқулланган жавоблар томонга созланади.
Бу қўшимча ўқитишнинг бир қисми. Модел битта саволга бир нечта жавоб ёзади. Одамлар уларни солиштиради: қайси бири фойдалироқ, аниқроқ, хушмуомалароқ, қайси бири зарарли. Шу баҳолар асосида модел ўзини созлайди ва кейинги сафар одамлар маъқуллайдиган жавобни ёзишга мойил бўлади. Инглизча қисқартмаси RLHF.
Ўхшатиш: ёш ошпаз бир хил таомни уч хил пиширади, устоз эса татиб кўриб, "манависи яхши, буниси шўр" дейди. Шогирд ҳар сафар ретсепт китобини қайта ўқимайди, устознинг дидига мослашиб боради.
Мисол: ChatGPT ёки Claudeʼнинг мулойим оҳанги, саволга тартибли жавоб бериши ва хавфли сўровларни рад этиши асосан шу босқичнинг натижаси.
Бу усулнинг камчилиги ҳам бор. Одамлар кўпинча ўзларига ёқадиган, мақтовли жавобни юқори баҳолайди. Натижада модел баъзан ҳаддан ташқари рози бўладиган, хушомадгўй бўлиб қолиши мумкин. Шунинг учун "ажойиб ғоя!" деган жавобга кўр-кўрона ишонманг.
Хато тушунча: "жавоб остидаги баҳо тугмасини боссам, модел дарров ўрганади". Сиз берган баҳо компанияга боради ва кейинги моделларни ўқитишда ишлатилиши мумкин. Лекин ҳозир гаплашаётган моделингиз бундан ўзгармайди.