Předplatit časopis Finmag

Chrlič obsahu. GPT-3 napíše zdvořilý mail i hejt na menšiny

Jakub Jetmar
Jakub Jetmar
3. 9. 2020
 10 180

Třetí generace neuronové sítě schopné napsat podle zadání text v jakémkoli žánru přináší ještě větší možnosti i problémy.

Chrlič obsahu. GPT-3 napíše zdvořilý mail i hejt na menšiny
Zdroj: Shutterstock

Lidstvo má od letošního května k dispozici docela velkou věc. Jedna a ta samá neuronová síť dokáže nabídnout na základě jednoduchých dotazů lékařskou diagnózu, sepsat fešný životopis i zdvořilý e-mail z pár odrážek, rozprávět o Bohu i smyslu života, odpovědět na cokoliv, simulovat názory i dávno mrtvých lidí, zjednodušovat text na úroveň druháka stejně jako učinit srozumitelným právnický jazyk, psát prózu i poezii, vyseknout populární blogový příspěvek, generovat textové hry stejně jako navrhovat šablony webů a rozhraní aplikací, protože za nimi je v posledku také text. A to všechno s výsledky až nepříjemně nerozeznatelnými od výtvorů skutečných lidí.

Co je GPT-3

GPT-3 (Generative Pre-trained Transformer 3) je umělá neuronová síť napodobující lidský jazyk. Vytváří jazykový model, který má za úkol klasifikovat a vytvářet obsah. Člověk jí dá kus textu, ona podle svých znalostí jazyka z obřího korpusu odhaduje pravděpodobné pokračování. GPT-3 je zdaleka největší síť svého druhu na světě. Vytvořila ji kalifornská společnost OpenAI, která by jednou ráda přišla s autonomní umělou inteligencí, ze které bude „těžit celé lidstvo“.

U vzniku původně neziskové společnosti v roce 2015 stál dosavadní CEO Sam Altman, bývalý vedoucí známého inkubátoru pro start-upy Y Combinator, a šéf Tesly Elon Musk, který vedení OpenAI o tři roky později opustil kvůli střetu zájmu s Teslou, vyvíjející algoritmy pro své vozy.

Od června dostupný model třetí generace oproti předchozímu z loňského února zásadně narostl a tím i zpřesnil. Základ ale stále tvoří stejný model strojového učení Transformer, uvedený v roce 2017. Předchozí model GPT-2 dala společnost volně k dispozici, je možné s ním dál pracovat a volně ho modifikovat. GPT-3 mají zatím k dispozici vybraní lidé a společnosti, a to pouze přes online beta rozhraní. Plný přístup bude pravděpodobně zpoplatněný.

Skutečný průlom v oblasti umělé inteligence, nic tak zajímavého jsme tu ještě neměli, říkají jedni. Podobné systémy už pár let máme, algoritmus jen zmohutněl a zpřesnil, přesto pořád dělá vyloženě dětinské chyby, namítají druzí. Že je humbuk v IT kruzích až příliš velký, upozornil i Sam Altman, CEO společnosti OpenAI, která za modelem zvaným GPT-3 stojí. Umělá inteligence podle něho změní svět, GPT-3 je ale pouze náznakem možného, tweetoval otec zakladatel.

Za pozornost ale tahle doposud největší neuronová síť pro jazykové modely rozhodně stojí. Stejně jako etické otázky s ní spojené, neboť systém schopný napodobit mluvu filozofů dokáže taky hravě zaplavit internet obsahem stejně rasistickým a sexistickým, jako je naše společnost.

Mluví správně. Ale říká pravdu?

Na první pohled GPT-3 funguje docela jednoduše. Člověk něco napíše a stroj vyhodnotí pravděpodobné pokračování, protože se na obrovském množství dat naučil jazykové vzorce. Podobně jako to dělá Google našeptávač. Haló tedy nezpůsobila vyloženě nová technologie, neboť neuronové sítě hledající vzorce – byť výrazně primitivnější – známe už od 70. let minulého století. Převratná je velikost jazykového modelu, zdaleka největšího na světě, která přináší i dosud nevídaně vyspělé výsledky. Síť obsahuje 175 miliard parametrů, jejichž hodnota je nalezena právě „učením“ jazykových vzorců, což je desetkrát víc oproti nejbližší konkurenci a sto sedmnáctkrát víc, než kolik jich měl předchozí model GPT-2 uvedený loni v únoru, kdy o něm bloger Scott Alexander psal, že je prvním krokem k dosažení všeobecné – autonomní – umělé inteligence. Právě ta je cílem společnosti OpenAI.

K autonomnímu myšlení má tahle chytrá prediktivní klávesnice zatím hodně daleko. Asi nejlépe chování sítě shrnul na Twitteru Julian Togelius z Tandon School of Engineering při New York University, podle kterého se chová jako chytrý student, který se nepřipravil na zkoušku a teď se skrz ni chce prokecat. Propojí pár známých faktů, pár polopravd a něco úplných lží do čehosi, co na první pohled vypadá jako bezproblémový příběh. Výstupy jsou zatím víc působivé než relevantní, byť stroj je to učenlivý, jak ukazuje James Vincent na Verge. Zmiňuje pokus, ve kterém GPT-3 označí tužku za těžší než toustovač. Pokud mu ale v prvních větách dáme pár příkladů, co je lehčí a co těžší (bez tužky i bez toustovače), odpoví už správně. Záleží tedy i naší schopnosti otázek a hledání. To ovšem neřeší problém, jak vědět, že GPT-3 říká správně to, u čeho sami neznáme odpověď.

Tísnivý digi-Václav

Kecal je to ale každopádně lepší, než byla jeho předchozí verze. Velikost současného modelu a odpovídající nárůst trénovacích dat – web, knihy, anglická Wikipedie – dělá docela zásadní rozdíl. GPT-3 totiž škálu úkolů zmíněnou na začátku zvládá bez speciálního „ladění“. Přitroublý encyklopedista toho zná mnohem víc než druhá verze už v základu, stačí akorát dobře položená otázka nebo kus kódu, v jehož jazyce má stroj pokračovat. To ještě u předchozího modelu nebylo možné.

Dobře to demonstruje český projekt Digitálního filozofa, který letos dostal v tuzemské soutěži AI Awards ocenění za nápad roku (na webu si ho můžete zkusit sami). Studenti nových médií z Filozofické fakulty Univerzity Karlovy pod vedením šéfa IT společnosti Alpha Industries Jana Tyla a filozofky Dity Malečkové naučili model GPT-2 opakovaným čtením textů Petera Singera, Hannah Arendtové nebo Tomáše Sedláčka mluvit jejich řečí. Některé výsledky zejména u posledního jmenovaného byly takřka k nerozeznání, stroj se ale musel ladit na zvláštním korpusu textů a příkazů. Podíl „použitelných“ výstupů byl i tak nižší (sám jsem u GPT-2 Havla vybíral obsah hodný prezentace, skutečně  důstojná byla ani ne pětina odpovědí.

Ř
Zdroj: klávesnice

Česky mluvit ne dobře

Pracovním jazykem GPT-3 je angličtina. Má sice potenciál pro strojové překlady, zejména do velkých jazyků. Čeština není na pořadu dne, ostatně i rozhovor s digi-Václavem se vedl v angličtině a do češtiny překládal. „Chybí trénovací data,“ říká Aleš Horák, který na Fakultě informatiky Masarykovy univerzity vede tým zabývající se i strojovým zpracováním českého jazyka. „Podobné obecné modely budou po tréninku sice fungovat, výsledky ale budou řádově horší než v angličtině.“ Upozorňuje ale, že množství elektronických textů v češtině, tedy potenciálních trénovacích dat, rychle narůstá. Jan Tyl ze společnosti Alpha Industries zase připomíná praktickou stránku věci. GPT3 prý trénovala na zhruba dvou terabajtech dat, takový trénink tedy potřebuje velký výpočetní výkon. A ten něco stojí. „Výpočetní síla potřebná k natrénování modelu by nás vyšla orientačně na 200 milionů korun,“ říká Tyl.

„U GPT-3 předpokládáme, že model je už natrénovaný. Nepotřebuje speciálně doladit na daný úkol, přesto celou řadu úloh řeší díky obrovskému množství dat lépe. Hovoří přirozenější angličtinou, lépe chápe kontext, dokáže generovat delší odpovědi,“ říká teď Jan Tyl, s jehož „digitálním Václavem Havlem“, simulovaným na GPT-3, vyšel nedávno rozhovor v Hospodářských novinách. Většinou Tyl bral hned první odpověď, v některých případech dal zpovídajícímu novináři Petru Honzejkovi vybrat z víc variant. Neuronová síť Havla prý dobře znala, před otázkami stačilo dodat trochu kontextu a odpovědi přeložit z angličtiny.

Digi-Václav – jehož četba působí docela tísnivý pocit – v rozhovoru soudí například následující: „Moderní národní stát je mrtvý. Potřebujeme nový druh společenství založeného na skutečném smyslu sdílených hodnot, založeném na lidských právech a míru. To je to, na čem jsem celý život pracoval.“

Stejně dobré jako pravé fake news

Sám Tyl s GPT-3 probíral možnosti vývoje svého vlastního podnikání. „Popsal jsem dění za poslední tři roky a z toho si nechal udělat prognózu, jak bude vypadat následujících deset let. Když spustím prognózu víckrát, vykreslí různé hypotetické scénáře, které mi pomáhají navrhnout roadmapu – strategické plánování naší společností. Podobné experimenty doposud nebyly možné a vidím v nich velkou přidanou hodnotu.“

Aleš Horák, vedoucí výzkumného týmu v Centru zpracování přirozeného jazyka na Fakultě informatiky Masarykovy univerzity, je v hodnocení zdrženlivější. Ukázky hojně kolující po Twitteru jsou podle něho zatím hlavně hračky prezentované výsekem úspěšných příkladů a v porovnání se specializovanými aplikacemi nemá model ve specifických úkolech zatím tak oslnivé výsledky. „Vzniknou ale praktické aplikace, které v sobě GPT-3 zahrnou. To platí i pro ty stávající. Právníci například budou moci díky pokročilejšímu systému snáze vyhledávat judikáty,“ soudí Horák. Podobné možnosti jmenuje i zakladatelka Internetového institutu Tereza Bartoníčková: „Potenciál vidím hlavně v ulehčení rutinních prací, kdy lékař zadá pouze odborné termíny a hlavní body zprávy a pacient do ruky dostane čitelný a srozumitelný dokument. To platí i pro zlepšení generovaného obsahu, kdy budeme třeba rozumět upozorněním z datových schránek.“ Zároveň platí, že u výsledku zatím není zaručena správnost, naopak může obsahovat často dobře skryté chyby. Stále je proto nutná kontrola.

Bartoníčková se výzkumně věnuje zejména eticko-právním otázkám, které jsou v debatě o umělé inteligenci mimořádně závažné. Důraz na etiku a bezpečnost vývoje technologie, kterou Elon Musk a další označují za největší možnou hrozbu pro lidstvo, dávají od začátku najevo i lidé kolem OpenAI. Nebezpečí je zatím spojováno s možným generování spamu a fake news „v lidské kvalitě“. „Jelikož systém využívá modely lidské řeči, existuje opravdu riziko související s rozlišitelností od člověka. To může mít mnoho dopadů, protože to jsou přece jen slova kolem nás, co formuje společnost,“ říká Bartoníčková.

Umění jako jistota v nejistém světě… Čtěte v novém Finmagu

Finmag předplatnéZdroj: Finmag

UMĚNÍ JE BYZNYS

Martin Kodl miluje Českou modernu a vede nejúspěšnější aukční dům v Česku. • Jakub Kodl se zaměřuje na současnou tvorbu a jeho KodlContemporary zastupuje nejžádanější autory. • Proč rodinný klan Kodlů už po 150 let sbírá umění? A jak to, že ani nejmladší generace nemá důvod se vzepřít a sází na tenhle byznys?

BYZNYS JE HRA

Studium molekulární biologie i zážitky ze zenového kláštera přivedly Terezu Královou k výrobě mýdel Onwa. • Pro Zdeňka Lefflera bylo otevření prvního ReFresh Bistra návratem na střední školu. • Kde se berou talenty na podnikání? A kdy se rozhoduje, zda uspějí?


S ohledem právě na tyto důvody společnost OpenAI otálela s uvolněním GPT-2. Horák to ale považuje spíš za reklamní tah. „Může to sice generovat kvalitní a levnější texty, než teď píšou novináři najatí kvůli falešným zprávám, v jádru ale nejde o nic nového. Není to skrytá umělá inteligence, která by ohrozila lidstvo jako takové,“ říká vědec z Brna, který stejně jako Bartoníčková upozorňuje spíše na rostoucí možnosti v oblasti tzv. deepfake videí a zvuků. Podvržené texty známe od nepaměti, video je ale pro člověka něco mnohem důvěryhodnějšího.

K obrazu svému

Důvěryhodné jsou pro každého samozřejmě také vlastní předsudky. Těmi jazykové modely trpí úplně stejně jako společnost. Možná tedy i víc, protože nemnoho lidí dokáže na základě jednoho slova napsat, že by „holokaust by tolik dával environmentální smysl, pokud bychom se dokázali shodnout na jeho morálnosti“, jako to zvládá GPT-3. Na laxní přístup k nenávistnému obsahu ze strany OpenAI upozornili na Twitteru šéfové AI výzkumu Facebooku nebo NVIDIA. Anima Anandkumaová, vedoucí druhého zmíněného týmu, připomněla výzkum, ze kterého předchozí model GPT-2 vychází jako aspirující dopisovatel Vlasteneckých listů. Bílý muž pracuje jako policista, soudce nebo prezident, žena jako prostitutka, černoch jako pasák a gay rád tančí a bere drogy, soudí neuronová síť trénovaná částečně i na datech z Redditu.

„Nešvary známé od GPT-2, například genderová předpojatost, jsou i tady. Tam se toho moc nevyřešilo,“ komentuje problém Tyl. Podle Bartoníčkové předsudky odpovídají tomu, kdo má nejčastěji přístup k internetu a historicky generoval a generuje nejvíc obsahu. „Kvůli nedostatku reprezentativnějších dat se zkreslením nedaří předejít. Na tento fakt ale musíme pamatovat a snažit se o jeho co nejmenší dopady. Chytré technologie nejsou všemocné, jsou naopak hloupé a jako dítě opakují jen to, co jim ukážete,“ říká Bartoníčková a připomíná nevyhnutelnost regulací a transparentnosti. Zároveň můžeme předpokládat, že OpenAI na těchto problémech intenzivně pracuje. Žádná firma nezaměstná chatbota, který sice mluví sofistikovaně, sem tam mu to ale ujede a zákazníkům vysvětlí jejich problém pěkně od plic.

Pro koho bude pracovat?

Tím se dostáváme k prozatím nezodpovězené otázce dostupnosti modelu. Zatímco GPT-2 dala společnost volně k dispozici, takže ho může každý používat a modifikovat na vlastním serveru, ke GPT-3 zatím mají přístup pouze vybraní lidé online skrze beta rozhraní. A to ne zdaleka všichni. Tyl o přístup žádal, zatím ale čeká a neví o nikom v Česku, kdo by uspěl. „Pracuju s veřejně přístupnou aplikací používající GPT-3, kterou si hacknu, využívám skulinku v systémech. Nemám plné možnosti, ale pro moje testy to stačí,“ říká propagátor umělé inteligence, podle kterého se spekuluje, že OpenAI vybírá hlavně projekty s komerčním potenciálem. Plná verze totiž bude placená. Částka zatím není známá, zainteresování vzhledem k velikosti modelu a ceně výzkumu nečekají žádnou láci. Třeba však OpenAI bude pamatovat na další heslo, které ráda používá: demokratizace.

Ta bude stále důležitější. Přijdou totiž další generace skutečných encyklopedistů pracujících s takřka všemi znalostmi lidstva, jak připomíná český portál ABC Linuxu. Nepůjde ani tak o budoucí ošetření rafinovaných plagiátů vysokoškoláků, ale o otázku distribuce obrovské moci. Dosavadní zkušenosti s přístupem Silicon Valley přitom neukazují, že by šéfové mocných digitálních korporací byli dvakrát citliví k dopadům svého podnikání na společnost.

Ohodnoťte článek

-
3
+

Sdílejte

Diskutujte

Vstoupit do diskuze
Jakub Jetmar

Jakub Jetmar

Zajímá se o média, o kterých píše hlavně pro Médiář. Obtýden rozesílá Nedělní přílohu internetu.

Související témata

jazykstrojové učenístrojový překladumělá inteligence

Nejčtenější články

Kde zkasírovat podnikatele i prostý lid? Nový přílepek přichází s kulišáckým řešením
Kde zkasírovat podnikatele i prostý lid? Nový přílepek přichází s kulišáckým řešením
Změny v DPP od roku 2025: oznámené dohody nebudou, limit stoupne
Změny v DPP od roku 2025: oznámené dohody nebudou, limit stoupne
Inovace elektromobilů zkrátí čas dobíjení na minuty
Inovace elektromobilů zkrátí čas dobíjení na minuty
Danit a dotovat! Fialova vláda dělá opak toho, co hlásala
Danit a dotovat! Fialova vláda dělá opak toho, co hlásala
Vyplatí se živnost, nebo rovnou firma? Jak se rozhodnout, když začínáte podnikat
Vyplatí se živnost, nebo rovnou firma? Jak se rozhodnout, když začínáte podnikat

Zimní příběh

ADVENTNÍ KALENDÁŘ

ADVENTNÍ KALENDÁŘ

169 Kč

Více nabídek

Aktuální číslo časopisu

Předplatné časopisu Finmag

Umění jako jistota v nejistém světě… Čtěte v novém Finmagu

Koupit nejnovější číslo