OpenAI apibūdino šią naują ChatGPT versiją kaip žingsnį link natūralesnės žmonių ir mašinų sąveikos, kuri reaguoja į vartotojo įvestį tokiu pačiu greičiu kaip ir žmonių pokalbiuose. Naujoji versija atitinka ChatGPT 4 Turbo anglų kalba ir gerokai pranoksta Turbo kitomis kalbomis. API našumas gerokai pagerėjo, padidėjo greitis ir veikia 50 % pigiau.
Pranešime aiškinama:
Remiantis tradiciniais lyginamaisiais standartais, GPT-4o pasiekia GPT-4 Turbo lygio našumą teksto, samprotavimo ir kodavimo intelekto srityse, kartu nustatydamas naujus aukštus standartus daugiakalbėse, garso ir vaizdo galimybėse. Pažangus balso apdorojimas Ankstesnis bendravimo su balsu metodas apėmė trijų skirtingų modelių sujungimą, kad būtų galima perrašyti balso įvestį į tekstą, kur antrasis modelis (GPT 3.5 arba GPT-4) jį apdoroja ir išveda tekstą, o trečiasis modelis perrašo tekstą atgal į garsą. Teigiama, kad šis metodas praranda niuansus įvairiuose vertimuose.
OpenAI apibūdino ankstesnio požiūrio trūkumus, kurie (tikėtina) įveikiami naujuoju požiūriu:
Šis procesas reiškia, kad pagrindinis intelekto šaltinis GPT-4 praranda daug informacijos – jis negali tiesiogiai stebėti tono, kelių kalbėtojų ar foninio triukšmo, negali skleisti juoko, dainuoti ar reikšti emocijų. Naujajai versijai nereikia trijų skirtingų modelių, nes visos įvestys ir išvestys yra tvarkomos kartu viename modelyje, kad būtų galima visapusiškai įvesti ir išvesti garsą. Įdomu tai, kad OpenAI teigia, kad jie dar neištyrė visų naujojo modelio galimybių ir iki galo nesupranta jo apribojimų.
Nauji apsauginiai barjerai ir iteracinis leidimas OpenAI GPT 4o turi naujų apsauginių barjerų ir filtrų, kad būtų saugus ir būtų išvengta netyčinių balso išėjimų dėl saugumo. Tačiau šiandienos pranešime teigiama, kad iš pradžių jie diegia tik teksto ir vaizdų įvesties bei teksto išvesties ir riboto garso galimybes. GPT 4o galima naudoti tiek nemokamose, tiek mokamoje pakopose, o Plus vartotojai gauna 5 kartus didesnius pranešimų limitus.
Garso galimybes planuojama išleisti ribotos alfa fazės metu ChatGPT Plus ir API vartotojams per kelias savaites. Pranešime aiškinama: Suprantame, kad GPT-4o garso modalumai kelia įvairių naujų pavojų. Šiandien viešai išleidžiame teksto ir vaizdų įvestį bei teksto išvestį. Per ateinančias savaites ir mėnesius dirbsime su technine infrastruktūra, naudojimu po mokymo ir saugumu, reikalingu kitiems modalumams išleisti. Pavyzdžiui, paleidimo metu garso išvestys bus apribotos pasirinktais iš anksto nustatytais balsais ir atitiks mūsų esamą saugos politiką.
OpenAI paskelbė apie naują pavyzdinį dirbtinio intelekto generatyvinį modelį, kurį jie vadina GPT-4o – raidė o reiškia omni, nurodant modelio galimybę apdoroti tekstą, kalbą ir vaizdo įrašus. GPT-4o bus diegiamas iteratyviai visoje įmonės kūrėjams ir vartotojams skirtuose produktuose per ateinančias kelias savaites. OpenAI technikos direktorė Mira Murati teigė, kad GPT-4o suteikia GPT-4 lygio intelektą, tačiau pagerina GPT-4 galimybes įvairiuose modalumuose ir laikmenose. GPT-4o samprotauja balsu, tekstu ir vizija, – pirmadienį sakė Murati transliuojamoje prezentacijoje OpenAI biuruose San Franciske. Ir tai nepaprastai svarbu, nes mes žiūrime į savo ir mašinų sąveikos ateitį. GPT-4 Turbo, ankstesnis OpenAI pirmaujantis pažangiausias modelis, buvo apmokytas vaizdų ir teksto deriniu ir galėjo analizuoti vaizdus ir tekstą, kad atliktų tokias užduotis kaip teksto ištraukimas iš vaizdų ar net tų vaizdų turinio aprašymas. Tačiau GPT-4o prideda kalbą prie mišinio. Ką tai leidžia? Įvairių dalykų.
GPT-4o labai pagerina patirtį OpenAI dirbtinio intelekto pokalbių robotu ChatGPT. Platforma jau seniai siūlo balso režimą, kuris perrašo pokalbių roboto atsakymus, naudojant teksto į kalbą modelį, tačiau GPT-4o tai sustiprina, leisdamas vartotojams bendrauti su ChatGPT labiau kaip su asistentu. Pavyzdžiui, vartotojai gali užduoti GPT-4o palaikomam ChatGPT klausimą ir pertraukti ChatGPT, kol jis atsako. Modelis suteikia realaus laiko reakciją, sako OpenAI, ir netgi gali pastebėti vartotojo balso niuansus, reaguodamas generuodamas balsus įvairiais emociniais stiliais (įskaitant dainavimą).
GPT-4o taip pat atnaujina ChatGPT vizualines galimybes. Pateikęs nuotrauką arba darbalaukio ekraną, ChatGPT dabar gali greitai atsakyti į susijusius klausimus, pradedant temomis Kas vyksta šiame programinės įrangos kode? iki Kokio ženklo marškinėlius dėvi šis asmuo?.
Šios funkcijos ateityje vystysis toliau, sako Murati. Nors šiandien GPT-4o gali pažvelgti į meniu paveikslėlį kita kalba ir jį išversti, ateityje modelis galėtų leisti ChatGPT, pavyzdžiui, stebėti tiesiogines sporto rungtynes ir paaiškinti jums taisykles.
Mes žinome, kad šie modeliai tampa vis sudėtingesni, tačiau norime, kad sąveikos patirtis iš tikrųjų taptų natūralesnė, lengvesnė ir jums nereikėtų visiškai sutelkti dėmesio į vartotojo sąsają, o tiesiog susitelkti į bendradarbiavimą su ChatGPT, – sakė Murati. Pastaruosius porą metų buvome labai sutelkę dėmesį į šių modelių intelekto gerinimą… Tačiau tai yra pirmas kartas, kai iš tikrųjų žengiame didžiulį žingsnį į priekį, kalbant apie naudojimo paprastumą.
OpenAI teigia, kad GPT-4o taip pat yra daugiakalbė – patobulintas našumas maždaug 50 kalbų. OpenAI API ir Microsoft Azure OpenAI Service GPT-4o yra du kartus greitesnis, perpus pigesnis ir turi didesnius spartos apribojimus nei GPT-4 Turbo, teigia įmonė.
Šiuo metu balso funkcija nėra GPT-4o API dalis visiems klientams. OpenAI, pabrėždama netinkamo panaudojimo riziką, teigia, kad artimiausiomis savaitėmis planuoja pirmiausia pradėti teikti GPT-4o naujų garso funkcijų palaikymą nedidelei grupei patikimų partnerių.
GPT-4o nuo šiandien galima gauti nemokamoje ChatGPT paskyroje ir OpenAI aukščiausios kokybės ChatGPT Plus bei Team planų prenumeratoriams su 5 kartus didesniais pranešimų apribojimais. (OpenAI pažymi, kad ChatGPT automatiškai persijungs į GPT-3.5, senesnį ir mažiau pajėgų modelį, kai vartotojai pasieks spartos limitą.) Patobulinta ChatGPT balso patirtis, paremta GPT-4o, alfa versija Plus vartotojams bus prieinama kitą mėnesį arba vėliau, kartu su į įmones orientuotomis parinktimis.
Susijusiose naujienose OpenAI paskelbė, kad žiniatinklyje išleidžia atnaujintą ChatGPT sąsają su nauju, labiau pritaikytu pokalbio pradžios ekranu ir pranešimų išdėstymu, taip pat ChatGPT darbalaukio versiją, skirtą macOS, kuri leidžia vartotojams užduoti klausimus naudojant sparčiuosius klavišus arba fotografuoti ir aptarinėti ekrano kopijas. Pirmiausia prieigą prie programėlės gaus ChatGPT Plus vartotojai, pradedant nuo šiandien, o Windows versija pasirodys vėliau šiais metais.
Kitur GPT Store, OpenAI trečiųjų šalių pokalbių robotų, sukurtų pagal jos AI modelius, biblioteka ir kūrimo įrankiai, dabar yra prieinami nemokamos ChatGPT pakopos vartotojams. Nemokamos paskyros vartotojai gali pasinaudoti ChatGPT funkcijomis, kurios anksčiau buvo mokamos, pavyzdžiui, atminties funkcija, leidžiančia ChatGPT prisiminti nuostatas būsimoms sąveikoms, įkelti failus ir nuotraukas bei ieškoti internete atsakymų į aktualius klausimus.