11 Nevýhod ChatGPT obsahu

Zvýrazněné body

• Proč nižší kvalita obsahu ChatGPT projde lidským hodnocením.
• ChatGPT je komplexní i když by měl být stručný.
• Profesor připomíná chybu, která kazí eseje vytvořené ChatGPT.
• ChatGPT neprojde fiktivním testem detekce androidů Voight-Kampff a tady je překvapivý důvod, proč je to důležité.

ChatGPT produkuje obsah, který je komplexní a pravděpodobně přesný.

Ale výzkumníci, umělci a profesory varují před nedostatky, na které je třeba dávat pozor, protože snižují kvalitu obsahu.

V tomto článku se podíváme na 11 nevýhod obsahu ChatGPT. Jděme do toho.

1. Používání frází na něm ukazuje, že je to nepřirozené

Výzkumníci, kteří studují způsoby, jak detekovat obsah vytvořený stroji, objevili vzorce, které znějí ne přirozeně.

Jednou z těchto vlastností je, že umělá inteligence má problém s idiomaty.

Idiom je fráze nebo říkání s přeneseným významem, například "každý mrak má stříbrnou podšívku".

Nedostatek idiomů v textu může být signálem, že text byl vygenerován strojem - a to může být součástí detekčního algoritmu.

Toto je výrok výzkumné práce Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers z roku 2022 týkající se této zvláštnosti v strojově generovaném obsahu:

"Složité frázové rysy jsou založeny na frekvenci konkrétních slov a frází v analyzovaném textu, které se v lidském textu vyskytují častěji."

…Z těchto komplexních slovních spojení si idiomové prvky udržují největší prediktivní sílu při detekci současných generativních modelů.“

Toto neschopnost používat idiomata přispívá k tomu, že výstup z ChatGPT zní a čte se ne-přirozeně.

2. ChatGPT má nedostatek schopnosti projevu

Umělec si všiml, že výstup z ChatGPT napodobuje umění, ale chybí mu skutečné kvality uměleckého vyjádření.

Vyjádření je činem komunikace myšlenek nebo pocitů.

Výstup ChatGPT neobsahuje výrazy, pouze slova.

Nemůže produkovat obsah, který by dotekl lidi emočně na stejné úrovni jako člověk - protože nemá žádné skutečné myšlenky ani pocity.

Hudební umělec Nick Cave ve svém bulletinu Red Hand Files komentoval ChatGPT text, který mu byl zaslán, a byl vytvořen v jeho stylu.

Nový marketingový toolkit poháněný AI
Ať vaši konkurenti nezůstanou pozadu. Vytvářejte dobře optimalizovaný a cílený obsah, který poskytuje výsledky třikrát rychleji.

Napsal:

"To, co dělá skvělou píseň skvělou, není její blízká podoba k rozpoznatelné práci.

…je to bezdechový konfrontace s vlastní zranitelností, vlastní nebezpečností, vlastní malostí, kterou potom brání pocit náhleho šokujícího objevu; je to očistný umělecký čin, který rozproudí srdce posluchače, když vnitřní dílo písně rozeznává svoji vlastní krev, svůj vlastní boj, svoje vlastní utrpení."

Jeskyně nazvala texty ChatGPT posměchem.

Toto jsou texty ChatGPT, které připomínají texty od Nicka Cavea:

"Mám na rukou krev andělů
Mám v očích oheň z pekel
Jsem králem propasti, vládcem temnoty
Jsem ten, kterého se bojí, ve stínech naslouchají"

A toto je skutečný Nick Cave text (Bratře, můj pohár je prázdný):

"No, já jsem sjížděl po duhách
Visel jsem na hvězdách
Nyní ten žebrák v hadřích tady stejně mává konvou
Vidíte tu konvičku, prázdná z ní už prázdnota
Ztratil jsem své touhy, mé touhy neviděl jsem dlouho
Sbírám zbytky popela
Po všech mých ohních."

Je snadné vidět, že strojem generovaný text připomíná text umělce, ale nic opravdu nekomunikuje.

Texty Nicka Caveho vyprávějí příběh, který rezonuje s patosem, touhou, studem a záměrným klamem osoby mluvící v písni. Vyjadřují myšlenky a pocity.

Není těžké vidět, proč to Nick Cave nazývá posměškem.

3. ChatGPT nedává výsledky

Článek zveřejněný na The Insider cituje akademika, který si všiml, že akademické eseje vygenerované pomocí ChatGPT nabízejí nedostatečné pohledy na téma.

ChatGPT shrnuje téma, ale nenabízí jedinečný úhel pohledu na téma.

Lidé tvoří skrze znalosti, ale také skrze své osobní zkušenosti a subjektivní vnímání.

Profesor Christopher Bartel z Appalachian State University podle The Insider uvedl, že zatímco esej ChatGPT může vykazovat vysokou gramatickou kvalitu a sofistikované myšlenky, stále chybí porozumění.

Bartel řekl:

"Jsou opravdu měkké. Neexistuje žádný kontext, žádná hloubka ani úhel pohledu."

Průhlednost je charakteristickým rysem dobře napsaného eseje a to není něco, co by bylo ChatGPT zvlášť dobré.

Tento nedostatek porozumění je třeba mít na paměti při hodnocení strojově generovaného obsahu.

4. ChatGPT je příliš slovní

Výzkumná práce publikovaná v lednu 2023 odhalila vzorce v obsahu aplikace ChatGPT, které ji činí méně vhodnou pro kritické aplikace.

Článek se jmenuje "Jak blízko je ChatGPT lidským expertům? Srovnání korpusu, vyhodnocení a detekce."

Výzkum ukázal, že lidé upřednostňovali odpovědi od ChatGPT v více než 50% otázek týkajících se financí a psychologie.

Ale ChatGPT selhal při zodpovídání lékařských otázek, protože lidé upřednostňují přímé odpovědi - to, co AI nedokázala poskytnout.

Výzkumníci napsali:

"...ChatGPT dosahuje ve srovnání s ostatními asistenty v oblasti medicíny, jak v anglickém, tak i v čínském jazyce, špatných výsledků z hlediska užitečnosti."

ChatGPT v naší shromážděné databázi často poskytuje podrobné odpovědi na lékařské konzultace, zatímco lidský odborník může přímo poskytovat jednoznačné odpovědi nebo návrhy, což může částečně vysvětlovat, proč dobrovolníci považují lidské odpovědi za užitečnější v lékařské oblasti."

ChatGPT se snaží pokrýt téma z různých úhlů, což se nehodí, když nejlepší odpověď je přímá.

Marketers používající ChatGPT si musí všímat tohoto, protože návštěvníci webu, kteří potřebují přímou odpověď, nebudou spokojeni s podrobnou webovou stránkou.

A mít štěstí s umístěním vaší stránky na významných pozicích Google, je lepší se zaměřit na stručnou a jasně vyjádřenou odpověď, která se hodí do Google Voice, než na příliš mnoho slov.

OpenAI, tvůrci ChatGPT, uznávají, že poskytování přehnaně podrobných odpovědí je známým omezením této aplikace.

Článek oznámení od OpenAI říká:

"Model bývá často příliš slovný..."

Je třeba mít na paměti, že ChatGPT je nakloněn k poskytování rozsáhlých odpovědí a při používání výstupu z ChatGPT se můžete dostat do situací, kde jsou kratší a přímější odpovědi lepší.

5. Obsah ChatGPT je velmi organizovaný s jasnou logikou

ChatGPT má psaní styl, který je nejen výmluvný, ale také obvykle následuje šablonu, která dává obsahu jedinečný styl, který není lidský.

Toto nelidské zrůdné chování se projevuje v rozdílech mezi způsoby, jakými lidé a stroje odpovídají na otázky.

Film Blade Runner obsahuje scénu s řadou otázek navržených k odhalení, zda dotyčný, který na otázky odpovídá, je člověkem nebo androidem.

Tyto otázky byly součástí fiktivního testu nazvaného "Voigt-Kampff test".

Jednou z otázek je:

"Sledujete televizi. Najednou si uvědomíte, že na vaši paži se plazí vos. Co uděláte?"

Běžnou lidskou reakcí by bylo říct něco jako zakřičeli by, vyšli by ven a po něm zaťali a podobně.

Ale když jsem položil/a tuto otázku ChatGPT, nabídl/a pečlivě organizovanou odpověď, která shrnula otázku a následně nabídla logická možná řešení - aniž by odpověděl/a na samotnou otázku.

Náhled chatu GPT odpovídajícího na otázku Voight-Kampffova testu

Odpověď je velmi organizovaná a logická, což jí dává velmi nepřirozený dojem, což není žádoucí.

6. ChatGPT je příliš podrobný a komplexní

ChatGPT byl školen tak, aby stroj byl odměněn, když lidé byli spokojeni s odpovědí.

Člověkem hodnocené odpovědi měly tendenci obsahovat více detailů.

Ale někdy, jako v lékařském kontextu, je lepší přímá odpověď než rozsáhlá odpověď.

To znamená, že stroj musí být podnícen k menší komplexnosti a více přímočarosti, pokud jsou tyto vlastnosti důležité.

Z OpenAI:

„Tyto problémy vznikají z předsudků v trénovacích datech (trenéři preferují delší odpovědi, které vypadají komplexnější) a dobře známých problémů s nadměrnou optimalizací.“

7. ChatGPT lže (halucinuje fakta)

Výše citovaná výzkumná práce, Jak blízko je ChatGPT k lidským odborníkům?, uvádí, že ChatGPT má tendenci lhát.

To hlásí:

"Při odpovídání na otázku vyžadující odborné znalosti z určitého oboru může ChatGPT vymyslet fakta, aby poskytl odpověď...

Například v právních otázkách může ChatGPT vynalézt neexistující právní ustanovení k zodpovězení otázky.

...Dále, když uživatel položí otázku, na kterou neexistuje žádná existující odpověď, může ChatGPT vymyslet fakta, aby poskytl odpověď.

Webová stránka Futurism dokumentovala případy, kdy strojem generovaný obsah publikovaný na CNET byl chybný a plný "hloupých chyb".

CNET by měl mít tušení, že by to mohlo nastat, protože OpenAI publikovala varování ohledně nesprávného výstupu:

"ChatGPT někdy píše zdánlivě uvěřitelná, ale nesprávná nebo nesmyslná odpovědi."

CNET tvrdí, že před publikací strojově generovaných článků, byly podrobeny lidskému posouzení.

Problémem při lidském posouzení je to, že obsah ChatGPT je navržen tak, aby zněl přesvědčivě správně, což může oklamat recenzenta, který není odborníkem na téma.

8. ChatGPT je neúplný, protože není rozdvojovací

Výzkumná práce "Jak moc je ChatGPT blízko lidským expertům?" také zdůrazňuje, že lidská komunikace může obsahovat nepřímý význam, který vyžaduje změnu tématu, aby ho bylo možné pochopit.

ChatGPT je příliš doslovný, což někdy způsobuje, že odpovědi nezachycují skutečné téma, protože umělá inteligence přehlíží jeho skutečný význam.

Výzkumníci napsali:

“Odpovědi od ChatGPT jsou obecně přísně zaměřené na danou otázku, zatímco odpovědi od lidí se liší a snadno se přesouvají na jiná témata.

Z hlediska bohatosti obsahu jsou lidé v různých aspektech více odlišní, zatímco ChatGPT se zaměřuje na samotnou otázku.

Lidé dokážou odpovědět na skrytý význam otázky založené na svém vlastním zdravém rozumu a znalostech, ale ChatGPT se spoléhá na doslovná slova otázky předložené v dané situaci...”

Lidé jsou schopni lépe odchýlit od doslovné otázky, což je důležité pro odpověď na otázky typu "co s tím".

Například, pokud se ptám:

"Koně jsou příliš velcí na to, aby byli domácími mazlíčky. Co takhle mývali?"

Nadcházející otázka se neptá, zda je mýval vhodným domácím mazlíčkem. Otázka se týká velikosti zvířete.

ChatGPT se soustředí na vhodnost mývalů jako domácích mazlíčků místo zaměření se na velikost.

Snímek obrazovky příliš doslovné odpovědi ChatGPT

9. ChatGPT má sklon k neutrálnosti

Výstup z ChatGPT je obvykle neutrální a informativní. Pokud se však vyskytne nějaké zkreslení výstupu, může se zdát užitečné, ale ne vždy tomu tak musí být.

Výzkumná práce, o které jsme právě hovořili, poznamenala, že neutrality je nechtěnou vlastností, pokud jde o právní, lékařské a technické otázky.

Lidé mají tendenci zaujímat stanovisko při vyslovování těchto názorů.

10. ChatGPT upřednostňuje formálnost

Výstup ChatGPT má nějakou tendenci omezovat se na formální odpovědi a místo toho odpovídá s celkem omezeným použitím běžných výrazů.

Na druhou stranu se lidé tendenci odpovídat na otázky s mluvnickým stylem, který používá každodenní slovní zásobu a slang. Jedná se o opak formálního stylu.

ChatGPT nepoužívá zkratky, jako jsou GOAT nebo TL;DR.

Odpovědi rovněž chybí příklady ironie, metafor a humoru, což může u některých typů obsahu učinit obsah ChatGPT příliš formálním.

Výzkumníci píší:

„...ChatGPT si rád používá spojky a příslovce, aby vyjádřil logický průběh myšlenek, jako například „V obecnosti“, „na druhou stranu“, „Za prvé,…, Za druhé,…, Nakonec“ a tak podobně.“

11. ChatGPT stále prochází školením

ChatGPT se stále trénuje a zlepšuje.

OpenAI doporučuje, aby veškerý obsah generovaný ChatGPT byl přezkoumán člověkem a označuje to za nejlepší praxi.

OpenAI navrhuje zachovat lidi v procesu:

"Kdekoli je to možné, doporučujeme, aby lidská osoba přezkoumala výstupy před jejich praktickým použitím."

To je zvlášť kritické v oblastech s vysokým nasazením a pro generování kódu.

Lidé by měli být obeznámeni s omezeními systému a měli by mít přístup k informacím potřebným k ověření výstupů (například pokud aplikace shrnuje poznámky, měl by mít člověk snadný přístup k původním poznámkám pro zpětné odkazy).

Nevhodné vlastnosti ChatGPT

Je zjevné, že ChatGPT má mnoho problémů, které ho činí nevhodným pro samostatnou tvorbu obsahu. Obsahuje zkreslení a nedokáže vytvářet obsah, který působí přirozeně nebo obsahuje skutečné poznatky.

Dále jeho neschopnost cítit nebo vytvářet vlastní myšlenky ho činí špatnou volbou pro generování uměleckých projevů.

Uživatelé by měli používat podrobné pokyny k vytvoření obsahu, který bude lepší než výchozí obsah, který tenduje vytvořit.

Nakonec lidská kontrola strojem generovaného obsahu není vždy dostatečná, protože obsah od ChatGPT je navržen tak, aby vypadal správně, i když tak není.

To znamená, že je důležité, aby lidským recenzentům byli odborníci v oblasti, kteří dokážou rozlišit mezi správným a nesprávným obsahem na dané téma.