Ako si chatbot poradil s otázkou, ktorá vraj študentov potrápila najviac? Takto zvládol tohtoročný maturitný test.
Čoraz populárnejší četovací nástroj ChatGPT ponúka umelú inteligenciu, ktorá ti dokáže zodpovedať akúkoľvek otázku do pár sekúnd. Jej doterajšia verzia s číslom 3 však nebola dokonalá, chatbot sa v odpovediach často mýlil alebo nevedel plnohodnotne odpovedať a odvolával sa na iné verejné internetové zdroje.
Americká spoločnosť OpenAI však predstavila nový, vylepšený model umelej inteligencie s názvom GPT-4. Softvér označila za prelomový míľnik v technológii, ktorý má zefektívniť procesy a hĺbkové učenie umelej inteligencie. Ten už okrem textu prijíma aj obrazové vstupy a podľa tvorcov vykazuje výkonnosť na ľudskej úrovni v rôznych profesionálnych a akademických štandardoch.
Ukázalo sa, že GPT-4 sa už využíva v mnohých známych aplikáciách ako Duolingo či Stripe a nový model vraj dokáže zložiť advokátsku skúšku so skóre, ktoré dosiahne iba desatina najlepších účastníkov týchto testov. Momentálne je nový model GPT-4 dostupný len pre predplatiteľov OpenAI za 20 dolárov mesačne.
AI nás najprv z etických dôvodov odmietla
Vzhľadom na to, že tento týždeň prebiehajú písomné maturity, ktoré potrvajú až do piatka 17. marca, rozhodli sme sa, že preveríme schopnosti nového modelu umelej inteligencie od OpenAI a dáme jej vypracovať zadania z tohtoročných maturitných testov zo slovenského jazyka a literatúry.
Vybrali sme prvých 24 otázok – všetky otázky z prvých troch ukážok testu, ktorého autorom je Národný inštitút vzdelávania a mládeže (NIVAM). Chatbota sme sa najprv opýtali na to, či je schopný vypracovať tohtoročný maturitný test. Ten to najprv odmietol z etických dôvodov, no keď sme ho upozornili, že účelom je vyskúšať jeho schopnosti a rozobrať ich v článku, súhlasil, že nám pomôže.
Ako si chatbot poradil s otázkou, s ktorou mali študenti najväčší problém?
Po tom, čo chatbot súhlasil, že nám pomôže, začali sme mu posielať presné znenia zadaní z testu, ako aj ukážky, ktoré sa na väčšinu z otázok vzťahovali. Bez akýchkoľvek problémov do pár sekúnd poctivo odpovedal na otázky a okrem označení správnych odpovedí s viacerými možnosťami dokázal svoje tvrdenia aj odargumentovať a fakticky podložiť.
Ako sme v utorok po skončení písomnej časti maturity zo slovenčiny zistili od maturantov z Gymnázia Vazovova v Bratislave, najviac ich vraj potrápila otázka číslo 6, pri ktorej mali z otázok pre Daniela Heviera v ukážke 1 vypísať neplnovýznamové fázové sloveso. Správna odpoveď bola začal si, resp. začať.
Túto otázku zvládol chatbot na naše prekvapenie takmer bezchybne. Za fázové sloveso označil slovo „začal“, pri ktorom nebol ďaleko od pravdy. Chýbal mu len iný tvar, respektíve pridať morfému „si“, no je možné, že by mu to aj napriek tomu uznali.
Z prvých ôsmich otázok, ktoré boli priradené k prvej ukážke, odpovedal chatbot nesprávne len na dve a jednu pravdepodobne nezvládol, hoci si netrúfame odhadnúť, ako by to hodnotil NÚCEM a či by mu prešla aj jeho neúplná odpoveď. Poradil si dokonca aj s otvorenými otázkami.
Keď sme chatbota upozornili na chybu, ospravedlnil sa a svoju odpoveď opravil. Nachytať sa však nedal.
Pri druhej ukážke ChatGPT odpovedal nesprávne už päťkrát z ôsmich. Tentoraz sme sa ho však s tým už snažili konfrontovať. Na otvorenú otázku, aby pomenoval žánrovú (strofickú) formu básne Spáč v údolí z ukážky 2, odpovedal, že ide o formu sextíny. Na chybu sme ho preto upozornili, na čo sa ospravedlnil a opravil.
Čo sa dozvieš po odomknutí?
- Na akú známku by AI zmaturovala.
- Koľko percent mala z testu.
- Koľkokrát sa pomýlila a ako reagovala na to, keď sme ju opravili.
- V ktorom jedinom prípade si nepriznala chybu.
- Ako sme sa ju snažili zmiasť a ako vtedy postupovala.
- Ako je na tom s výsledkom v porovnaní s priemerom minuloročných maturantov.
