Reklama

Co jsme se v roce 2023 naučili o generativní AI?

22. 12. 2023 – | Doba čtení: 7 min

Zdroj: midjourney

Jestli můžeme končící rok 2023 v digitálním prostoru popsat jedním slovem, tak asi budeme vybírat mezi AI, genAI, chatGPT nebo openAI. Nikdy dříve se tak rychle neproměnil digitální prostor, jako se tomu stalo právě letos. Kdo nezkusil chatGPT, jako by nebyl. Kdo se nesnaží do svých procesů zapojit AI, ztrácí dech. Kdo už teď nemá tým „prompt engineerů“, tak ten by měl přemýšlet o digitálním důchodu.

Ale přestože jsou najednou všichni odborníci na chatGPT, podobně jako jsou v Česku všichni odborníci na fotbal, stále se najde spoustu omylů a neznalostí, které si pojďme dnes trochu blíže představit.

Co je chatGPT?

ChatGPT je v první řadě chatbot, front-endová apka. Prostředí, kde uživatel může něco napsat a dostane odpověď. Napsat může otázku, pokyn k nějaké akci, náhodné znaky na klávesnici, víceméně všechno, co vám klávesnice dovolí. Následně se po nějaké době objeví odpověď. Tato odpověď není poskytovaná myslící bytostí, ale generativní umělou inteligencí. ChatGPT je v první řadě front-end, sám o sobě není genAI. A v druhé řadě je potřeba říct, že tento chatbot obsahuje určité vychytávky, aby si uživatelé mysleli, že probíhá dialog mezi ním a AI někde na druhé straně.

Chatbot si pamatuje celou konverzaci nebo alespoň takovou část konverzace, jakou mu jeho nastavení dovolí, a díky tomuto triku to zdánlivě vypadá jako dialog. Můžete to přirovnat k dialogu se sklerotickým dědečkem. Na něco se zeptáte, on vám odpoví, ale hned to zapomene (to je defaultní nastavení generativní AI). Ale vy při příštím dotazu nejdřív šikovně připomenete dědečkovi, o čem jste před tím mluvili, a on se díky tomu pokusí správně navázat a pokračovat ve zdánlivě plynulém dialogu.

ChatGPT nemá vlastní názor, pocity ani myšlenky, tudíž bulvární články o tom, jak chatGPT plánuje vyhladit svět, jsou nesmysly. Pouze se z kontextu vytrhla generovaná odpověď umělé inteligence. Typicky získaná nějakým nestandardním postupem. Ale ano, některé odpovědi mohou být děsivé, podobně jako spousta obsahu na webu nebo třeba sociálních sítích.

Jak se chatGPT liší od GPT?

Když lidé říkají, že by ve své firmě chtěli použít chatGPT, tak vlastně nemyslí, že by chtěli použít chatGPT, ale GPT. To je totiž LLM (Large Language Model) natrénovaný pro generování textů. G jako Generative, P jako Pretrained a T jako Transformer. Tím se v podstatě říká vše – model je předem natrénovaný, jeho trénování za pochodu a změna jeho nastavení je přinejmenším diskutabilní, i když nechceme říkat vyloučená.

Ale vlastně nejzajímavější je to písmenko T – transformer. GPT totiž podobně jako všechny neuronové sítě transformuje data na vstupu na nějaká data na výstupu. Není to ovšem typická stabilní transformace jako v matematice, kde 1+1 rovná se vždycky 2. Tady může být na stejný vstup vygenerováno/přetransformováno více výstupů. Na čem při tom záleží? Na konfiguračních parametrech a pak určitém faktoru náhodnosti. Některé odpovědi jsou pak lepší, některé horší a některé možná úplně nepoužitelné.

GPT modelů je v dnešní době celá řada a liší se rychlostí, cenou, ukecaností, daty, nad kterými jsou natrénované, dovednostmi, které nabízí. Tyto dovednosti představují API metody, které GPT veřejně poskytuje. Samozřejmě tou hlavní je odpovídání (tzv. completion), ale je tu třeba možnost pro vytváření nových search enginů (tzv. embedding) nebo finetuning (tomu se říká v angličtině stejně – finetunig). Velmi zajímavá je také metoda pro testování nevhodného obsahu (tzv. moderation) – něco, co by se hodilo skoro na každém diskusním fóru.

midjourney

Jaká je spolehlivost a přesnost GPT?

Taková otázka sama o sobě není dobře položená, ale protože se na ni všichni stejně ptají, pojďme se nad ní trochu zamyslet. Generování textu je svým způsobem druh umění. Dejte grafikovi zadání a výsledný obraz se bude někomu líbit a někdo řekne, že je to hnus. Dejte copywriterovi zadání a něco vám napíše. A výsledek bude pro někoho super a pro někoho jiného nuda. No a GPT je vlastně takový rychlý copywriter. Nejste s odpovědí spokojeni? Můžete se zeptat znovu a velmi pravděpodobně dostanete odpověď jinou.

Bude ta odpověď fakticky správná? Ano a ne. Bude správná a pravdivá, tak jako je pravdivý průměrný článek na internetu. Občas bude perfektní a občas bude nepravdivá. Někdy to poznáte na první pohled a někdy to ani nepoznáte. Nejproblematičtější je, že u znalostních otázek nemáte způsob, jak ověřit zdroj dat. Dokonce ani možná neexistuje, protože odpověď je třeba mixem informací propojených zcela nesmyslnými vazbami.

Bude odpověď kvalitně napsaný text? Někdy ano, někdy bude obsahovat drobné chybky a občas i větší, do očí bijící nedostatky. Zaznamenali jsme snahu uživatelů otázky převádět do angličtiny a odpovědi pak překládat do původního jazyka, ale nakolik to výsledky zlepšuje, vyčíslené nemáme. Jestli tedy vůbec. GPT model jako takový má navíc potíže s některými koncepty reálného světa – jsou to jazyky, a tak můžete v dialogu v pohodě měnit řeč anebo třeba zájmena (kdo, co udělal) jsou v některých typech úloh neřešitelný oříšek.

Můžeme odpovědím GPT věřit? Pokud jde spíš o zábavu nebo volný text, tak klidně ano. Pro profesionální použití záleží na typu úlohy:

  • pokud je úlohou sumarizace nebo klasifikace textu, tak GPT věřit můžeme, i když to automaticky neznamená, že druhá či třetí sumarizace toho samého nebude formulovaná jinak (nejspíš bude)
  • pokud jde ale o dotaz na konkrétní firemní informaci, která leží v nějaké interní databázi nebo informačním systému, tak GPT si možná něco vymyslí a možná se omluví, že takovou informaci nemá, ale správnou odpověď nezískáte
  • a pokud budete chtít k odpovědi vědět i zdrojový článek, pak je potřeba zvolit zcela jiný přístup

GPT v praktickém světě

Large Language Model je velký a je pomalý. Obvyklá reakční doba na získání odpovědí jsou jednotky sekund. U některých modelů klidně i desítky. Rychlost ovlivňuje částečně délka vstupu a také požadovaná délka odpovědi. Z toho vyplývá, že primární použití je zatím víc ve světě chatbotů. Existují i možnosti, jak GPT propojit s voicebotem, ale musíte se smířit s prodlevou.

GPT také něco stojí. Platební jednotkou je ve světě GPT tzv. token. Podle toho, jaký přesně model používáte, máte stanovenou cenu za 1000 tokenů. Cena za vstupní tokeny může být jiná než za tokeny výstupní. Vstupní token je typicky text s nějakým zadáním, ale také to může být doprovodná instrukce a vzorová ukázka, tomu se dohromady říká prompt. Výstupní tokeny jsou potom data, která GPT vrací. V českém jazyce je zpracování textů o něco dražší než třeba v anglickém, protože český text přepočítaný na tokeny je kvůli našim speciálním znakům (č, š, ř, ť, ů…) prostě pracnější ke zpracování.

Firmy za použití GPT platí a cena jejich dotazů se pak může pohybovat po přepočtu z USD na CZK v rozmezí od jednotek haléřů po jednotky korun.

Prompt engineeři – nové zlato v HR oblasti

Lidem, kteří vytváří příkazy pro generativní AI, se říká prompt engineeři. Na první pohled by jejich roli mohl zastávat každý. „Jsi učitelka zeměpisu na základní škole v páté třídě a snažíš se mě naučit hlavní města evropských zemí. Dej mi nějakou otázku, pomocí které mě otestuješ.“ Takový pokyn dokáže s prominutím sesmolit každý. Ale bude dobře fungovat? Čím víc profi úlohu potřebujete řešit, tím víc záleží na každém slovu. Některé prompty se tvoří řadu dní, než výsledky začnou mít požadovanou kvalitu.

Prompt engineeři také mívají vysokou znalost jednotlivých modelů a dokážou vybrat ten správný. Ví, jaké parametry jsou pro konkrétní úlohu vhodné – zejména jestli povolit nebo naopak spíše zamezit kreativitě čili stabilitě odpovědí. Dokážou odhadnout omezení jednotlivých úloh a třeba navrhnout také nějaký preprocesing pokynů a postprocesing odpovědí. V řadě případů navíc GPT vrací kromě textu odpovědi ještě nějaké technické parametry a opět je na těchto odbornících, aby stanovili hranice, kdy třeba je lepší odpověď nezobrazit, protože ani GPT si není úplně jistá.

Takže mezi jejich kompetence patří:

  • výběr vhodného modelu
  • nastavení parametrů pro jednotlivá volání
  • vytváření promptu ve smyslu nastavení kontextu, tj. rámce dané úlohy (kdo je tazatel, kdo je AI, v jaké oblasti se tematicky pohybujete apod.)
  • definice požadavků na podobu odpovědi – jako třeba délka, podoba, tone of voice
  • vytváření promptu ve smyslu vzorových ukázek a vzorových odpovědí
  • návrh na kontrolu či korekci vstupních dotazů
  • návrh na kontrolní mechanismy před zobrazením odpovědi
  • návrh na postprocesing odpovědí před jejich zobrazením uživateli
  • navrhují a podílí se na testování promptů
  • identifikují limity pro jednotlivé úlohy
midjourney

A jaká jsou nejčastější využití generativní AI?

Některé příklady jsme již zmínili a v zásadě jde u různých firem o jejich obměny:

  • automatizace rutinních činností pomocí klasifikace (česky bychom možná řekli kategorizace) – vstupní text označíte nějakým štítkem a určité štítky mohou potom být vyřešeny nějakým programem
    • klasifikace emailů a automatické odpovědi na některé z nich
    • eshop může klasifikovat na objednávce políčko „poznámka“ a poznámku pak předat správné osobě – poslíčkovi, člověku ve skladu apod.
    • klasifikovat můžete třeba příspěvky na sociálních sítích a ty nenávistné odmítat apod.
  • optimalizace opakujících se činností (česky se používá pojem sumarizace) – z e-mailu o sedmi odstavcích může vzniknout sumář o čtvrtinové délce, který zkrátí dobu k vyhodnocení, pokud je vaší prací sledování všech ekonomických zpráv, může vám openAI vytvářet sumáře zaměřené přesně na to, co vás zajímá
  • generování nápadů – toto je asi nejvíc používaný use case, protože nevyžaduje velká omezení – používají ho copywriteři, lidi z marketingu, kdokoliv, kdo rychle potřebuje získat základní informace o nějakém tématu anebo jenom odblokovat tvůrčí blok
  • odpovídání na dotazy – tady je potřeba rozlišit, o jaké dotazy jde:
    • všeobecné dotazy – opět spíše využití pro zábavu než pro profesionální využití
    • konkrétní dotazy na vaše interní směrnice či dokumenty – ano, i to GPT umí, ale pak už musíte pracovat s nějakou nadstavbou – buď si typicky vybudovat vlastní model (což dnes umožňuje openAI s GPT, ale snaží se o to třeba i Google se svými genAI), anebo si vytvořit pomocí GPT vlastní sémantický search a pak mu v rámci promptu poskytovat zdrojové texty

Učí se GPT pomocí dotazů uživatelů? Může jiná firma vidět moje data?

Toto jsou poslední dvě otázky, na které si dnes odpovíme. Obě spolu úzce souvisí a pro firmy jsou snad ještě důležitější, než jestli jejich data zůstávají v prostředí EU (ano zůstávají, pokud se nerozhodnete jinak).

Placené plány openAI vám zaručí, že vaše data nebudou použita k trénování veřejných modelů. Ovšem to samozřejmě říká, že ani pro vaše účely nedojde ke zlepšení. Data, která do openAI posíláte, ani získané odpovědi jiní uživatelé, natož jiné firmy nevidí. Vlastně fakticky ani vy se k nim podruhé nedostanete, pokud váš prompt nezaručuje stabilní a stejnou odpověď.

Naopak všichni uživatelé volně přístupného chatGPT by si měli uvědomit, že cokoliv do něj pošlou, může být použito. V tomto případě totiž platí, že „nic není zadarmo – neplatíte penězi, ale platíte svými daty a reakcemi“.

Už je vám svět generativní AI o něco srozumitelnější?

Další doporučené články

Spring Labs přináší fintechového (AI) kopilota

Spring Labs přináší fintechového (AI) kopilota

Třetina Američanů si kontroluje denně svůj bankovní zůstatek. V České republice vzhledem k naší náchylnosti k moderním technologiím to může být ještě větší...
12. 7. 2024 – Doba čtení: 2 min
Květen a červen 2024 na FinTechCowboys

Květen a červen 2024 na FinTechCowboys

První půlka roku je za námi. Praha se stala centrem kryptoměnových konferencí: ETH Prague a posléze pompézní BTC Prague dělají ve...
1. 7. 2024 – Doba čtení: 3 min
Válcuje genAI konverzační umělou inteligenci?

Válcuje genAI konverzační umělou inteligenci?

Startup Vocalls je předním dodavatelem AI konverzačních platforem v České republice. Jeho produkty podporují hlasovou i psanou komunikaci ve významných firmách, včetně...
26. 6. 2024 – Doba čtení: 7 min

Martin Pacholet

blockchain, UX, openbanking, BankID a wealth management, to jsou aktivity, kterým se v posledních letech intenzivně věnuje.

Další články autora