Halucinace je odpověď AI, která zní přesvědčivě, ale je nepravdivá nebo vymyšlená: neexistující parametr produktu, smyšlená citace, odkaz, který nikam nevede. Model nelže úmyslně, jen doplňuje pravděpodobný text tam, kde mu chybí fakta.
Proč halucinace vznikají
Jazykový model generuje nejpravděpodobnější pokračování textu. Když fakta nezná, ve výchozím stavu neřekne „nevím“, ale napíše něco, co do kontextu sedí. Proto halucinace nejsou vidět na první pohled: mají správný tón i formát.
Nejčastěji vznikají u přesných čísel, dat, jmen, odkazů a citací, u právních a technických detailů, u málo známých témat a u dotazů na vaše interní data, která model nemá k dispozici.
Jak riziko snížit
- Dejte modelu podklady a chtějte odpověď jen z nich: vložený dokument, RAG nebo data přes MCP.
- Výslovně povolte „nevím“. Věta „když to v podkladech není, napiš, že to nevíš“ pomáhá víc, než by člověk čekal.
- Chtějte zdroje a ověřte, že existují a říkají to, co model tvrdí.
- Nechte výstup zkontrolovat člověkem, než odejde zákazníkovi nebo na web. Viz princip human in the loop.
- U opakovaných úloh kontrolujte automaticky. Třeba porovnáním čísel v popisku s čísly v datech produktu.
Halucinace se nedají vypnout úplně. Dají se ale udělat vzácnými a hlavně zachytit dřív, než napáchají škodu.
Příklad z praxe e-shopu
AI píše popisky z parametrů produktu a k hodinkám doplní „voděodolné do 50 m“, i když to v parametrech není. Zákazník se s nimi jde koupat a hodinky reklamuje. Prevence je jednoduchá: instrukce „používej jen uvedené parametry“ a automatická kontrola, jestli každé číslo v popisku existuje i v datech produktu. Co kontrolou neprojde, jde k ručnímu posouzení.