22. 12. 2023 – Martin Pacholet | Doba čtení: 7 min
Jestli můžeme končící rok 2023 v digitálním prostoru popsat jedním slovem, tak asi budeme vybírat mezi AI, genAI, chatGPT nebo openAI. Nikdy dříve se tak rychle neproměnil digitální prostor, jako se tomu stalo právě letos. Kdo nezkusil chatGPT, jako by nebyl. Kdo se nesnaží do svých procesů zapojit AI, ztrácí dech. Kdo už teď nemá tým „prompt engineerů“, tak ten by měl přemýšlet o digitálním důchodu.
Ale přestože jsou najednou všichni odborníci na chatGPT, podobně jako jsou v Česku všichni odborníci na fotbal, stále se najde spoustu omylů a neznalostí, které si pojďme dnes trochu blíže představit.
ChatGPT je v první řadě chatbot, front-endová apka. Prostředí, kde uživatel může něco napsat a dostane odpověď. Napsat může otázku, pokyn k nějaké akci, náhodné znaky na klávesnici, víceméně všechno, co vám klávesnice dovolí. Následně se po nějaké době objeví odpověď. Tato odpověď není poskytovaná myslící bytostí, ale generativní umělou inteligencí. ChatGPT je v první řadě front-end, sám o sobě není genAI. A v druhé řadě je potřeba říct, že tento chatbot obsahuje určité vychytávky, aby si uživatelé mysleli, že probíhá dialog mezi ním a AI někde na druhé straně.
Chatbot si pamatuje celou konverzaci nebo alespoň takovou část konverzace, jakou mu jeho nastavení dovolí, a díky tomuto triku to zdánlivě vypadá jako dialog. Můžete to přirovnat k dialogu se sklerotickým dědečkem. Na něco se zeptáte, on vám odpoví, ale hned to zapomene (to je defaultní nastavení generativní AI). Ale vy při příštím dotazu nejdřív šikovně připomenete dědečkovi, o čem jste před tím mluvili, a on se díky tomu pokusí správně navázat a pokračovat ve zdánlivě plynulém dialogu.
ChatGPT nemá vlastní názor, pocity ani myšlenky, tudíž bulvární články o tom, jak chatGPT plánuje vyhladit svět, jsou nesmysly. Pouze se z kontextu vytrhla generovaná odpověď umělé inteligence. Typicky získaná nějakým nestandardním postupem. Ale ano, některé odpovědi mohou být děsivé, podobně jako spousta obsahu na webu nebo třeba sociálních sítích.
Když lidé říkají, že by ve své firmě chtěli použít chatGPT, tak vlastně nemyslí, že by chtěli použít chatGPT, ale GPT. To je totiž LLM (Large Language Model) natrénovaný pro generování textů. G jako Generative, P jako Pretrained a T jako Transformer. Tím se v podstatě říká vše – model je předem natrénovaný, jeho trénování za pochodu a změna jeho nastavení je přinejmenším diskutabilní, i když nechceme říkat vyloučená.
Ale vlastně nejzajímavější je to písmenko T – transformer. GPT totiž podobně jako všechny neuronové sítě transformuje data na vstupu na nějaká data na výstupu. Není to ovšem typická stabilní transformace jako v matematice, kde 1+1 rovná se vždycky 2. Tady může být na stejný vstup vygenerováno/přetransformováno více výstupů. Na čem při tom záleží? Na konfiguračních parametrech a pak určitém faktoru náhodnosti. Některé odpovědi jsou pak lepší, některé horší a některé možná úplně nepoužitelné.
GPT modelů je v dnešní době celá řada a liší se rychlostí, cenou, ukecaností, daty, nad kterými jsou natrénované, dovednostmi, které nabízí. Tyto dovednosti představují API metody, které GPT veřejně poskytuje. Samozřejmě tou hlavní je odpovídání (tzv. completion), ale je tu třeba možnost pro vytváření nových search enginů (tzv. embedding) nebo finetuning (tomu se říká v angličtině stejně – finetunig). Velmi zajímavá je také metoda pro testování nevhodného obsahu (tzv. moderation) – něco, co by se hodilo skoro na každém diskusním fóru.
Taková otázka sama o sobě není dobře položená, ale protože se na ni všichni stejně ptají, pojďme se nad ní trochu zamyslet. Generování textu je svým způsobem druh umění. Dejte grafikovi zadání a výsledný obraz se bude někomu líbit a někdo řekne, že je to hnus. Dejte copywriterovi zadání a něco vám napíše. A výsledek bude pro někoho super a pro někoho jiného nuda. No a GPT je vlastně takový rychlý copywriter. Nejste s odpovědí spokojeni? Můžete se zeptat znovu a velmi pravděpodobně dostanete odpověď jinou.
Bude ta odpověď fakticky správná? Ano a ne. Bude správná a pravdivá, tak jako je pravdivý průměrný článek na internetu. Občas bude perfektní a občas bude nepravdivá. Někdy to poznáte na první pohled a někdy to ani nepoznáte. Nejproblematičtější je, že u znalostních otázek nemáte způsob, jak ověřit zdroj dat. Dokonce ani možná neexistuje, protože odpověď je třeba mixem informací propojených zcela nesmyslnými vazbami.
Bude odpověď kvalitně napsaný text? Někdy ano, někdy bude obsahovat drobné chybky a občas i větší, do očí bijící nedostatky. Zaznamenali jsme snahu uživatelů otázky převádět do angličtiny a odpovědi pak překládat do původního jazyka, ale nakolik to výsledky zlepšuje, vyčíslené nemáme. Jestli tedy vůbec. GPT model jako takový má navíc potíže s některými koncepty reálného světa – jsou to jazyky, a tak můžete v dialogu v pohodě měnit řeč anebo třeba zájmena (kdo, co udělal) jsou v některých typech úloh neřešitelný oříšek.
Můžeme odpovědím GPT věřit? Pokud jde spíš o zábavu nebo volný text, tak klidně ano. Pro profesionální použití záleží na typu úlohy:
Large Language Model je velký a je pomalý. Obvyklá reakční doba na získání odpovědí jsou jednotky sekund. U některých modelů klidně i desítky. Rychlost ovlivňuje částečně délka vstupu a také požadovaná délka odpovědi. Z toho vyplývá, že primární použití je zatím víc ve světě chatbotů. Existují i možnosti, jak GPT propojit s voicebotem, ale musíte se smířit s prodlevou.
GPT také něco stojí. Platební jednotkou je ve světě GPT tzv. token. Podle toho, jaký přesně model používáte, máte stanovenou cenu za 1000 tokenů. Cena za vstupní tokeny může být jiná než za tokeny výstupní. Vstupní token je typicky text s nějakým zadáním, ale také to může být doprovodná instrukce a vzorová ukázka, tomu se dohromady říká prompt. Výstupní tokeny jsou potom data, která GPT vrací. V českém jazyce je zpracování textů o něco dražší než třeba v anglickém, protože český text přepočítaný na tokeny je kvůli našim speciálním znakům (č, š, ř, ť, ů…) prostě pracnější ke zpracování.
Firmy za použití GPT platí a cena jejich dotazů se pak může pohybovat po přepočtu z USD na CZK v rozmezí od jednotek haléřů po jednotky korun.
Lidem, kteří vytváří příkazy pro generativní AI, se říká prompt engineeři. Na první pohled by jejich roli mohl zastávat každý. „Jsi učitelka zeměpisu na základní škole v páté třídě a snažíš se mě naučit hlavní města evropských zemí. Dej mi nějakou otázku, pomocí které mě otestuješ.“ Takový pokyn dokáže s prominutím sesmolit každý. Ale bude dobře fungovat? Čím víc profi úlohu potřebujete řešit, tím víc záleží na každém slovu. Některé prompty se tvoří řadu dní, než výsledky začnou mít požadovanou kvalitu.
Prompt engineeři také mívají vysokou znalost jednotlivých modelů a dokážou vybrat ten správný. Ví, jaké parametry jsou pro konkrétní úlohu vhodné – zejména jestli povolit nebo naopak spíše zamezit kreativitě čili stabilitě odpovědí. Dokážou odhadnout omezení jednotlivých úloh a třeba navrhnout také nějaký preprocesing pokynů a postprocesing odpovědí. V řadě případů navíc GPT vrací kromě textu odpovědi ještě nějaké technické parametry a opět je na těchto odbornících, aby stanovili hranice, kdy třeba je lepší odpověď nezobrazit, protože ani GPT si není úplně jistá.
Takže mezi jejich kompetence patří:
Některé příklady jsme již zmínili a v zásadě jde u různých firem o jejich obměny:
Toto jsou poslední dvě otázky, na které si dnes odpovíme. Obě spolu úzce souvisí a pro firmy jsou snad ještě důležitější, než jestli jejich data zůstávají v prostředí EU (ano zůstávají, pokud se nerozhodnete jinak).
Placené plány openAI vám zaručí, že vaše data nebudou použita k trénování veřejných modelů. Ovšem to samozřejmě říká, že ani pro vaše účely nedojde ke zlepšení. Data, která do openAI posíláte, ani získané odpovědi jiní uživatelé, natož jiné firmy nevidí. Vlastně fakticky ani vy se k nim podruhé nedostanete, pokud váš prompt nezaručuje stabilní a stejnou odpověď.
Naopak všichni uživatelé volně přístupného chatGPT by si měli uvědomit, že cokoliv do něj pošlou, může být použito. V tomto případě totiž platí, že „nic není zadarmo – neplatíte penězi, ale platíte svými daty a reakcemi“.
Už je vám svět generativní AI o něco srozumitelnější?
blockchain, UX, openbanking, BankID a wealth management, to jsou aktivity, kterým se v posledních letech intenzivně věnuje.
