Human in the loop: proč AI agenty řídíme, místo abychom je pustili z řetězu

TL;DR: Human in the loop (HITL) znamená, že AI agent pracuje, ale v předem daných bodech se zastaví a rozhodne člověk. Není to brzda pokroku, ale způsob, jak agenty používat naplno a nepřijít přitom o kontrolu. Dnešní agenti jsou chytří, ale chybují a chyby se jim v dlouhých úlohách sčítají. A hlavně: model nemůže nést odpovědnost. Proto u nás platí dvě pravidla. Agenta řídíme, nenecháváme ho náhodně zkoušet věci. A každý úkol má jméno konkrétního člověka, který za výsledek ručí, ať ho odpracoval sám, nebo deset sub-agentů.

Proč o tom píšu

V posledním roce jsme ve Webotvůrcích předali AI agentům spoustu práce. Píšou kód, připravují pull requesty, dělají audity návštěvnosti a na EshopRadaru jeden agent čtyři měsíce řídil celý web. Funguje to. A právě proto slyším čím dál častěji otázku: „Když to umí samo, proč tam ještě potřebujete člověka?“

Moje odpověď je jednoduchá: agenty ještě nejde nechat autonomně a náhodně dělat věci. Je potřeba je řídit. A zároveň chci od lidí v týmu odpovědnost za konkrétní úkol. Ne „AI to udělala“, ale „udělal jsem to já, s pomocí AI“. Tenhle článek vysvětluje, co za tím stojí.

Co je human in the loop

Pojem pochází z řízení a vojenství, kde se rozlišují tři úrovně zapojení člověka do automatizovaného systému:

U AI agentů HITL v praxi znamená, že agent dělá práci a člověk dělá rozhodnutí. Agent si zjistí data, navrhne řešení, napíše kód nebo text. Nevratné, drahé nebo navenek viditelné kroky ale neprovede, dokud je neschválí člověk.

Anthropic to v textu Building effective agents (prosinec 2024) popisuje přímo: agenti se mohou „zastavit a počkat na zpětnou vazbu člověka v kontrolních bodech nebo když narazí na překážku“. A zároveň varuje, že autonomie agentů znamená vyšší náklady a riziko narůstajících chyb.

Proč agenty zatím nejde pustit samotné

Chyby se sčítají

Tohle je nejprostší argument a zároveň ten, který lidi nejvíc překvapí. Řekněme, že agent udělá každý dílčí krok správně s pravděpodobností 95 %. To zní skvěle. Jenže úloha o dvaceti krocích dopadne celá správně jen zhruba ve 36 % případů (0,95²⁰). Čím delší a samostatnější práce, tím jistěji se někde cestou něco pokazí. Člověk v kontrolním bodě tu řadu přeruší dřív, než se chyba nabalí.

Na EshopRadaru jsme to viděli naživo: po stěhování hostingu se agent připojil ke staré kopii databáze a vesele do ní zapisoval články. Každý jeho krok byl „správně“, jen celé to šlo do mrtvé kopie. Chytil to až rozpor v číslech.

Agent neví, co neví

Model nemá kontext firmy. Neví, že klient je citlivý na určitý tón, že jsme se minulý týden domluvili jinak, nebo že tahle služba se už neprodává. Zjistí to jen tehdy, když mu to někdo řekne. Proto u nás agent smí navrhovat, ale o tom, co jde ven k zákazníkovi, rozhoduje člověk.

Bezpečnost: smrtící trojkombinace

Vývojář Simon Willison v roce 2025 pojmenoval „lethal trifecta“: agent je nebezpečný ve chvíli, kdy má zároveň přístup k soukromým datům, čte nedůvěryhodný obsah (e-maily, weby, dokumenty od cizích lidí) a umí komunikovat ven. Pak stačí jeden podvržený text a agent může vynést data. Nejjednodušší obrana? Člověk, který schvaluje, co z agenta odchází.

Ironie automatizace

Britská psycholožka Lisanne Bainbridge publikovala v roce 1983 slavný článek Ironies of Automation. Jeho jádro platí dodnes: čím víc práce převezme automat, tím důležitější je člověk, který ho hlídá. A zároveň tím hůř se mu to dělá, protože ztrácí praxi a sledovat systém, který „skoro vždycky funguje“, je pro lidský mozek to nejtěžší. Proto nestačí mít člověka „někde poblíž“. Musí mít jasně dané, kdy a co kontroluje.

Autonomie není vypínač, ale posuvník

Andrej Karpathy (spoluzakladatel OpenAI, dřív šéf AI v Tesle) v přednášce Software Is Changing (Again) na Y Combinator AI Startup School v červnu 2025 použil obraz, který mám moc rád: dnes nestavíme roboty Iron Mana, ale oblek Iron Mana. Něco, co člověka posiluje, ne nahrazuje. Mluvil o „posuvníku autonomie“: u každé aplikace si můžete nastavit, kolik toho AI udělá sama, a posouvat ho podle toho, jak moc jí věříte. A o tom, že AI je zatím potřeba „držet na vodítku“, aby člověk stíhal ověřovat, co vyprodukovala.

Přesně tak k tomu přistupujeme. Posuvník nestojí pro celou firmu na jednom místě, nastavuje se podle typu úkolu:

Posuvník se dá posouvat oběma směry. Když agent opakovaně dělá určitý typ úkolu bez chyby, můžeme mu dát víc volnosti. Když chybuje, vracíme ho zpátky. O posunu rozhodují důkazy, ne nadšení.

Odpovědnost nese člověk. Vždycky.

V interním školicím materiálu IBM z roku 1979 je věta, která dnes koluje internetem víc než kdykoli předtím:

„Počítač nikdy nemůže nést odpovědnost, a proto nikdy nesmí dělat manažerské rozhodnutí.“

Je přes čtyřicet let stará a přesně to vystihuje. Model nemůže přijít o práci, nemůže se omluvit klientovi, nemůže se poučit z chyby tak, aby to příště udělal jinak celý tým. To může jen člověk.

Nejde jen o filozofii. Evropský AI Act (nařízení EU 2024/1689) v článku 14 vyžaduje u vysoce rizikových systémů lidský dohled: člověk musí rozumět tomu, co systém dělá, být si vědom sklonu mu příliš věřit (tzv. automation bias), umět jeho výstup nepoužít nebo přepsat a umět ho zastavit. Většina firemních agentů do „vysoce rizikové“ kategorie nespadá, ale princip je dobrý pro všechny.

My to v týmu převádíme do jednoduché praxe, kterou firmy jako Apple znají pod zkratkou DRI (directly responsible individual): každý úkol má jedno jméno. Když úkol ve Freelu patří kolegovi, je to jeho úkol, i když ho z devadesáti procent odpracovali agenti. On zadal cíl, on schválil výsledek, on za něj ručí před klientem. „Udělala to AI“ u nás není vysvětlení, ale varovný signál, že někdo vynechal kontrolu.

Mimochodem, slovo robot přišlo do světa z Čech: Karel Čapek ho použil ve hře R.U.R. v roce 1920. Roboti tam pracují dokonale a bez odmlouvání, a právě proto se lidé přestanou starat, co vlastně dělají. Sto let staré varování, které dnes zní překvapivě aktuálně.

Jak human in the loop děláme u nás

Žádný složitý framework. Pět pravidel, která platí pro každý úkol, na kterém pracuje agent:

1. Každý úkol má vlastníka. Konkrétního člověka, který zadal cíl a odpovídá za výsledek. Agent úkol vlastnit nemůže.
2. Cíl a hranice předem. Agent dostane, co má udělat, co nesmí a kde se má zastavit. Ne „udělej něco se SEO“, ale „najdi v Search Console stránky s nejhorším CTR a navrhni nové titulky, nic nenasazuj“.
3. Nevratné kroky schvaluje člověk. Nasazení na produkci, mazání dat, odeslání e-mailu, platba, zveřejnění. U nás se na produkci dostane kód jen přes pull request, který schválí člověk. Audity návštěvnosti jsou jen návrhy, nic se nemění bez schválení. Odpovědi klientům agent připraví jako koncept a odešle je člověk.
4. Všechno nechává stopu. Pull request, commit, komentář v úkolu, deník agenta. Když se něco pokazí, musí jít dohledat, kdo co schválil a proč.
5. Autonomii zvyšujeme podle výsledků. Posuvník posouváme, až když máme doklad, že agent daný typ práce zvládá.

Důležité je i to, co HITL není. Není to schvalování každého kliknutí. Kdyby člověk musel potvrzovat každý krok, začne klikat „Ano“ bez čtení a z kontroly se stane divadlo. I to je ironie automatizace: přehlcený kontrolor je horší než žádný, protože vytváří falešný pocit bezpečí. Kontrolní body proto dáváme tam, kde je rozhodnutí skutečně důležité, a jinde necháváme agenta pracovat.

Nejde o nedůvěru v AI

Ethan Mollick, profesor na Wharton School, v knize Co-Intelligence (2024) formuloval čtyři zásady práce s AI. Druhá zní: „Buďte tím člověkem ve smyčce.“ Ne proto, že by AI byla špatná, ale protože nejlepší výsledky vznikají spoluprací. AI přináší rychlost a šíři, člověk úsudek, kontext a odpovědnost.

Tak to vidím i já. AI agenti nám v týmu každý den ušetří hodiny práce. Ale firmu neřídí. Řídíme ji my, jen v mnohem silnějším obleku.

Chcete to nastavit i u sebe?

Zavést agenty do firmy neznamená koupit si nejlepší model. Znamená to rozhodnout, kde má agent volnou ruku, kde se zastaví a kdo za výsledek ručí. To vás naučíme na AI školení, nebo vám agenty a automatizace postavíme na míru i se schvalovacími body. Jak to vypadá, když agentovi dáte hodně volnosti, ukazuje náš experiment s EshopRadarem.

Zdroje

• Anthropic: Building effective agents (Erik Schluntz, Barry Zhang, 2024)
• Andrej Karpathy: Software Is Changing (Again), Y Combinator AI Startup School, červen 2025
• Simon Willison: The lethal trifecta for AI agents (2025)
• Lisanne Bainbridge: Ironies of Automation, Automatica 19(6), 1983
• Ethan Mollick: Co-Intelligence: Living and Working with AI, Portfolio, 2024
• IBM, interní školicí materiál, 1979: „A computer can never be held accountable…“
• Nařízení (EU) 2024/1689 o umělé inteligenci (AI Act), článek 14 – Lidský dohled
• Karel Čapek: R.U.R. (Rossum’s Universal Robots), 1920