Мултимодал модел
Multimodal model
Фақат матнни эмас, расм, овоз ва видеони ҳам тушуна оладиган ёки ярата оладиган модел.
Бу ерда "модал" сўзи маълумот турини билдиради: матн, расм, овоз, видео. Илк тил моделлари фақат матн билан ишларди. Мултимодал модел эса бир нечта турни тушунади: сиз унга расм кўрсатасиз, овозли хабар юборасиз ёки видео юклайсиз, у эса улар ҳақида гаплаша олади. Баъзилари жавобни ҳам овозда ёки расм кўринишида беради.
Ўхшатиш: телефонда гаплашиш билан юзма-юз суҳбатнинг фарқи. Телефонда фақат овозни эшитасиз. Юзма-юз эса одамнинг қўлидаги нарсани ҳам, юз ифодасини ҳам кўрасиз. Мултимодал модел ҳам "кўзи ва қулоғи бор" суҳбатдошга яқинроқ.
Мисоллар:
- электр ҳисоби қоғозини суратга олиб, "буни тушунтириб бер" дейиш;
- фарзандингизнинг математика масаласини суратга олиб, ечиш йўлини сўраш;
- инглизча видеони юклаб, унинг ўзбекча қисқача мазмунини сўраш.
Бугунги катта моделларнинг кўпи, жумладан ChatGPT, Claude ва Gemini, матндан ташқари расмларни ҳам қабул қилади. Gemini эса видео ва овозни айниқса яхши тушунади.
Хато тушунча: "AI расмни худди одамдек кўради". Модел расмни ҳам рақамларга айлантириб "ўқийди". Шунинг учун майда тафсилотларда, масалан, расмдаги нарсаларни санашда адашиши мумкин.