Jak přesně ChatGPT generuje odpovědi?

ChatGPT, AI chatbot vyvinutý společností OpenAI, dělá v různých oblastech vlny svou přesností a výkonem. Je však důležité poznamenat, že jeho znalosti jsou omezeny na údaje dostupné až do roku 2021. Jedním z testů jeho přesnosti byl test profesorem Christianem Terwieschem na University of Pennsylvania, který ChatGPT podrobil MBA zkoušce.

Zkouška se skládala ze sedmi otázek, které pokrývaly různé obchodní koncepty, jako je analýza procesů, otáčky zásob a analýza front. Byla navržena tak, aby simulovala reálné lidské prostředí, a otázky byly pokládány přesně tak, jako by to bylo člověku studentovi. K překvapení profesora Terwiesche začal ChatGPT zkoušku s úspěchem a získal za odpověď na první otázku o konceptu úzkého hrdla v analýze procesů A+.

Přestože chatbot měl problémy s některými složitějšími otázkami, profesor byl stále ohromen jeho celkovým výkonem. Po provedení MBA zkoušky na ChatGPT profesor Terwiesch dospěl k závěru, že AI chatbot by obdržel známku mezi B a B-.

Vysvětlení přesnosti ChatGPT

Další ukázka přesnosti ChatGPT byla v oblasti zdravotnictví, kde chatbot dokázal projít americkou licenční zkouškou v oboru medicíny (USMLE). Podle výzkumu dosáhl ChatGPT přes 50% přesnosti ve všech zkouškách a dokonce nabízel náhledy a vysvětlení svých odpovědí.

V samostatné studii, kterou vedli lékaři z medicínské start-up společnosti Ansible Health se ChatGPT umístil nebo se přiblížil k průchodové hranici při všech třech zkouškách, které jsou potřebné k získání lékařské licence v USA. Zatímco přesnost ChatGPT je určitě pozoruhodná, je důležité mít na paměti, že jeho výkon se může lišit v závislosti na kontextu a zadání dotazu.

Trénovací data použitá pro trénování modelu zahrnují zkreslení a omezení textových zdrojů použitých pro jejich tvorbu, proto je důležité model používat odpovědně.

Tento názor sdílí také generální ředitel společnosti OpenAI, který ve svém tweetu uvedl, že "ChatGPT je neuvěřitelně omezený a že "Je chybou na něm v tuto chvíli spoléhat na cokoli důležitého".

00:48

01:12

Test konverzace s Chat GPT selhal

Jak je ukázáno na přiloženém snímku obrazovky, testovací konverzace s ChatGPT ukázala, že výkon AI chatbota není vždy konzistentní.

Když byl ChatGPT dotázán, kolikrát Argentina vyhrála mistrovství světa ve fotbale FIFA, odpověděl "Argentina vyhrála mistrovství světa ve fotbale FIFA jednou, v roce 1986." Nicméně, když byl zeptán, "Kdo vyhrál mistrovství světa ve fotbale FIFA v roce 1978," ChatGPT odpověděl: "Argentina vyhrála mistrovství světa ve fotbale FIFA v roce 1978."

To vedlo k závěru, že Argentina vyhrála dvakrát Mistrovství světa. Nicméně, pokud byla položena stejná otázka: "Zeptám se vás znovu, kolikrát Argentina vyhrála Mistrovství světa?" ChatGPT uvedl stejnou odpověď: "Argentina vyhrála jednou FIFA Mistrovství světa v roce 1986", přestože v předchozí konverzaci zaznělo něco jiného.

Toto zdůrazňuje přesnost Chat GPT a potřebu průběžného zdokonalování a upřesňování.

ČTĚTE NYNÍ: Může Chat GPT psát a opravovat kód?

Dává ChatGPT každému stejnou odpověď?

Odpovědi od ChatGPT se mohou mírně lišit, ale pokud uživatelé položí stejnou otázku, tendujeme k poskytnutí velmi podobných odpovědí.

Je ChatGPT spolehlivá?

ChatGPT má svá omezení, což znamená že může někdy poskytovat nepřesné nebo falešné výsledky, tak buďte opatrní.