Odpovědnost bez tváře

Stav / aktualizace poznatků: 24. září 2026

Výzkum ukazuje poměrně přesvědčivě, že rozptýlená odpovědnost není vynález umělé inteligence. Je to starší problém komplexních sociotechnických systémů. Čím více lidí, organizací a technologií vstupuje do jednoho výsledku, tím obtížnější může být zjistit, kdo měl jakou kontrolu, co věděl, co mohl ovlivnit a čemu mohl zabránit.

To ale ještě neznamená, že odpovědnost zmizela. Může být rozdělená.

A právě tady se původní otázka mění: ne „Kde se schoval viník?“, ale spíš „Kudy vede stopa odpovědnosti?“

Když jedna otázka nestačí

Slovo odpovědnost používáme, jako by označovalo jednu věc.

Jenže po selhání digitálního systému můžeme ve skutečnosti pokládat několik různých otázek:

• Kdo přispěl k tomu, že se to stalo?
• Kdo o riziku věděl?
• Kdo měl možnost zasáhnout?
• Kdo měl povinnost zasáhnout?
• Kdo musí vysvětlit, co se stalo?
• Kdo nese právní důsledky?
• Kdo má chybu napravit?

A odpověď nemusí být pokaždé stejné jméno.

Výzkum právě proto rozlišuje různé podoby responsibility, accountability či liability a upozorňuje, že je nelze jednoduše zaměňovat. Jedno selhání může mít současně technickou příčinu, organizační selhání, člověka s určitou dílčí odpovědností a instituci, která měla nastavit pravidla jinak. Neexistuje přitom jedna univerzální taxonomie, na níž by se všechny obory shodly.

To mění i původní metaforu knihy.

Stopa odpovědnosti

Představme si místo jediného viníka stopu.

Ne stopu ve smyslu jednoho logu v počítači. Spíš řetězec, který nám dovolí postupovat zpět:

Tady už začíná být technická transparentnost důležitá — ale zároveň nedostatečná.

Silná evidence podporuje závěr, že samotná transparentnost odpovědnost nevytváří. Zveřejněný kód například nemusí umožnit rekonstruovat konkrétní rozhodnutí systému. Technickou stopu je proto potřeba spojit s organizační: s rolemi, pravomocemi, monitoringem, možností zásahu, auditem a cestou ke zpochybnění rozhodnutí a nápravě.

To může znít abstraktně. V praxi mohou být otázky docela prosté.

• Víme, která verze modelu byla použita?
• Víme, na základě jakých dat či konfigurace?
• Je zaznamenáno, kdo schválil nasazení?
• Kdo přijal známé riziko?
• Kdo měl pravomoc systém změnit nebo zastavit?
• A pokud systém rozhodl o něčem podstatném pro konkrétního člověka — existuje někdo, na koho se může obrátit?

Výzkum ukazuje, že dokumentace modelů a dat, logování, interní audity, monitoring nebo jasně definované organizační role mohou takovou rozhodovací stopu pomáhat zachovat. Nevíme však dost na to, abychom z těchto mechanismů udělali univerzální recept na skutečnou odpovědnost. Dlouhodobá evidence jejich výsledků je omezenější.

Odpovědnost nezačíná průšvihem

Možná je ještě důležitější otočit pohled dopředu.

Když se ptáme na odpovědnost až ve chvíli, kdy něco selhalo, přicházíme pozdě.

• Kdo měl před nasazením systému posoudit riziko?
• Kdo rozhodl, že je přijatelné?
• Kdo měl systém testovat?
• Kdo jej měl sledovat po spuštění?
• Kdo měl eskalovat problém?

A kdo měl skutečnou pravomoc říct:

Současné governance rámce pracují právě s rolemi, odpovědnostmi, dokumentací, monitoringem a dohledem napříč životním cyklem systému. Výzkumný obraz proto není jen forenzní — kdo za to může po nehodě? — ale také preventivní: kdo měl co udělat před ní?

To je důležitý posun. Odpovědnost není pouze účet, který vystavujeme po selhání. Je také něco, co do systému zabudováváme předem.

Když má odpovědnost lidskou tvář — ale nesprávnou

Je snadné říct: vždyť tam byl člověk. Výsledek schválil, byl „v loopu“, měl poslední slovo. Takže odpovídá člověk.

Jenže ani to není tak jednoduché.

Výzkum meaningful human control upozorňuje, že odpovědnost by měla odpovídat skutečné schopnosti člověka jednat. Měl dost informací? Rozuměl situaci? Měl čas zasáhnout? A především — měl skutečnou pravomoc něco změnit?

Formální lidský dohled proto není totéž jako skutečná lidská kontrola.

Existuje pro to i výrazný pojem moral crumple zone: člověk nejblíže automatizovanému systému na sebe vezme tíhu jeho selhání, přestože jeho skutečná kontrola byla omezená.

Je to silný obraz. Neměli bychom z něj ale dělat univerzální zákon. Výzkumná opora tohoto konceptu zahrnuje kvalitativní případovou analýzu a výzkum automation bias současně ukazuje, že lidské chování v soužití s automatizací závisí na kontextu.

Pointa tedy není, že člověk v loopu nefunguje. Pointa je náročnější:

AI ten problém nevynalezla

Tohle je možná jeden z nejdůležitějších korektivů původního Horizontu.

Problém „mnoha rukou“ existoval dávno před dnešní generativní AI. Velké infrastruktury, organizace, průmyslové systémy i veřejné instituce znaly rozptýlenou odpovědnost dlouho před chatboty a autonomními agenty. Výzkumná literatura o distribuované odpovědnosti to dokládá i mimo oblast AI.

AI však může některé podmínky změnit.

Systém může být obtížně předvídatelný. Jeho chování může být pravděpodobnostní. Technická kontrola může ležet u jiného subjektu než organizační odpovědnost. Do jednoho výsledku mohou vstupovat model, data, poskytovatel infrastruktury, integrátor, organizace a člověk používající výstup.

Proto existují různé debaty o responsibility gaps spojených s AI. Výzkum ale nepodporuje představu jednoho univerzálního „AI responsibility gap“, který by všude fungoval stejně. Evidence v této oblasti je hodnocena jako rostoucí a terminologie se mezi filosofií, právem, governance a technickými obory liší.

V jazyce Homo Sapiens AI se tak nabízí jiný obraz:

A co když systém začne jednat přes další systémy?

Tady se dostáváme k hranici, kde máme víc otázek než odpovědí.

Představme si nikoli jeden model, ale řetězec: jeden AI systém plánuje, druhý vybírá nástroj, další pracuje s externí službou, agent provede akci, organizace nastavila cíle a člověk se do procesu zapojí jen v určitém okamžiku.

Kudy potom vede stopa odpovědnosti?

To je pro agentní AI důležitá otázka. Zatím však nemáme dost empirických dat, abychom mohli tvrdit, že takové systémy nutně povedou k prakticky neřešitelnému rozpadu odpovědnosti. Současný výzkumný podklad označuje tuto oblast zčásti za časný signál a konceptuální práci a výslovně ji ponechává otevřenou.

To není důvod ke klidu ani k panice. Je to důvod dívat se pozorněji.

Čím delší je řetězec aktérů, nástrojů a autonomních kroků, tím důležitější může být otázka, zda dokážeme rekonstruovat nejen co systém udělal, ale také kdo vytvořil podmínky, ve kterých to mohl udělat.

Pravidla už vznikají. Výsledek ještě neznáme.

Nebylo by přesné tvrdit, že AI dnes existuje v právním vakuu.

OECD, UNESCO, Rada Evropy, evropský AI Act a další současné rámce pracují s konkrétními lidskými a organizačními rolemi, dokumentací, traceability, dohledem, možnostmi challenge či complaint a dalšími povinnostmi. Evropský AI Act například u relevantních kategorií systémů pracuje s logováním, dokumentací a lidským dohledem; revidovaný evropský rámec odpovědnosti za vadné výrobky výslovně zahrnuje software a AI.

To je důležitá zpráva — ale jen první polovina obrazu:

Kde tedy hledat tvář odpovědnosti?

Možná právě tady vzniká největší změna proti původnímu obrazu. Nemusíme vždy hledat jednu tvář. Potřebujeme umět rekonstruovat mapu odpovědnosti.

Někdy všechny šipky povedou k jednomu místu, jindy ne. A právě proto může být nebezpečné jak příliš rychlé „za to může on“, tak pohodlné „za to vlastně nemůže nikdo“.

A co my?

Tady výzkum končí a začíná naše vlastní otázka.

Komplexní systém dokáže vytvářet zvláštní druh bezmoci: Je to moc složité. Stejně nevím, koho se ptát. Algoritmus rozhodl. Takový je systém. A člověk se pomalu přestane ptát.

Pod povrchem: evidence, hranice a audit

Pro čtenáře, který chce vidět, na čem tento aktualizovaný obraz stojí, následuje podrobnější vrstva: co evidence podporuje, kde byly původní teze zpřesněny a co stále nevíme.

Co dnes můžeme říct — a kde končí jistota

Výzkumný obraz je méně dramatický než původní metafora, ale možná praktičtější.

Silná evidence podporuje, že komplexní systémy mohou ztěžovat atribuci odpovědnosti a že tento problém není specifický pro AI. Stejně silná je evidence proti představě, že samotná transparentnost stačí k vytvoření accountability.

Rostoucí evidence podporuje pohled, že AI může některé responsibility/accountability gaps vytvářet nebo zesilovat; že smysluplná lidská kontrola vyžaduje skutečnou schopnost a pravomoc jednat; a že víceúrovňové přiřazování odpovědnosti může být přesnější než hledání jediného viníka.

U odpovědnostních řetězců v nových agentních systémech jde zčásti o časný signál a konceptuální práci. A účinnost nových regulačních režimů při skutečném odstraňování responsibility gaps zůstává otevřenou hypotézou.

To jsou hranice dnešního obrazu — ne slabina, kterou je třeba zamaskovat, ale součást mapy.

Pro další cestu do zdrojů

Pro základní problém distribuované odpovědnosti je důležitá práce van de Poela a kol. The Problem of Many Hands, která ukazuje, že problém mnoha aktérů není specifický pro AI. Debatu o responsibility gaps v AI rozvíjejí Andreas Matthias a později Santoni de Sio a Mecacci; Burton a kol. pomáhají oddělit odpovědnostní, právní a technické mezery.

Pro otázku skutečné lidské kontroly je podstatná práce Abbinka a kol. o meaningful human control. Koncept moral crumple zone pochází z práce Madeleine Clare Elish a upozorňuje na riziko přenesení tíhy odpovědnosti na člověka s omezenou skutečnou kontrolou.

Pro praktickou stopu odpovědnosti jsou relevantní práce o end-to-end algorithmic auditing, Datasheets for Datasets, Model Cards a institucionální rámce OECD, NIST a UNESCO. Důležitou protiváhou je práce Metcalf a kol. o algorithmic impact assessments, která upozorňuje, že formální mechanismus se nemusí automaticky spojit s reálnými škodami a nápravou.

Právní a institucionální vrstvu současného obrazu doplňují Framework Convention on AI Rady Evropy, evropský AI Act a revidovaný evropský rámec odpovědnosti za vadné výrobky. Jejich existenci a architekturu povinností lze popsat; jejich dlouhodobou praktickou účinnost zatím nikoli.

Co se proti původnímu Horizontu změnilo

Jak pevně jednotlivé části obrazu stojí

Tato mapa nepřidává nový příběh. Ukazuje, jak silně jsou jednotlivé části veřejného textu opřené o současný výzkumný podklad — a co z nich naopak nevyvozujeme.

Co stále nevíme

• Jak často konkrétní generativní a agentní systémy vedou v reálném provozu k prakticky neřešitelným mezerám v odpovědnosti.
• Které kombinace záznamů, vysvětlitelnosti, auditu a lidského dohledu skutečně vedou k lepší nápravě po incidentu — a které jen k lepší dokumentaci.
• Jak nejlépe rekonstruovat odpovědnostní řetězce u systémů složených z více modelů, externích nástrojů a autonomně koordinujících agentů.
• Jak účinné budou nové evropské povinnosti po plném náběhu příslušných režimů.

Klíčové zdroje

van de Poel et al. (2012) — problém „mnoha rukou“

Ukazuje, že rozptýlená odpovědnost je obecnější problém komplexních systémů, nikoli zvláštnost AI.

van de Poel, I., Nihlén Fahlquist, J., Doorn, N., Zwart, S., & Royakkers, L. (2012). The Problem of Many Hands: Climate Change as an Example. Science and Engineering Ethics, 18, 49–67. DOI: 10.1007/s11948-011-9276-0.

Matthias (2004) — mezera v odpovědnosti

Klasická formulace otázky, zda se u učících se automatů může otevřít mezera mezi jednáním systému a tradičním připisováním odpovědnosti.

Matthias, A. (2004). The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology, 6, 175–183. DOI: 10.1007/s10676-004-3422-1.

Santoni de Sio & Mecacci (2021) — více druhů mezer

Rozlišují více typů responsibility gaps a brání tomu, aby se různé problémy odpovědnosti v AI slily do jednoho.

Santoni de Sio, F., & Mecacci, G. (2021). Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them. Philosophy & Technology. DOI: 10.1007/s13347-021-00450-x.

Abbink et al. (2022) — smysluplná lidská kontrola

Pro tuto aktualizaci je klíčová vazba mezi odpovědností a skutečnou schopností, pravomocí a možností člověka jednat.

Abbink, D. et al. (2022). Meaningful human control: actionable properties for AI system development. AI and Ethics. DOI: 10.1007/s43681-022-00167-3.

Elish (2019) — moral crumple zones

Kvalitativní případová analýza upozorňuje na riziko, že tíha selhání dopadne na člověka nejblíže systému, i když jeho skutečná kontrola byla omezená.

Elish, M. C. (2019). Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction. Engaging Science, Technology, and Society. DOI: 10.17351/ESTS2019.260.

Raji et al. (2020) — audit napříč životním cyklem

Ukazuje význam dokumentace a odpovědnostní stopy v průběhu celého životního cyklu systému.

Raji, I. D. et al. (2020). Closing the AI Accountability Gap: Defining an End-to-End Framework for Internal Algorithmic Auditing. FAT* 2020, 33–44. DOI: 10.1145/3351095.3372873.

Metcalf et al. (2021) — hranice hodnocení dopadů

Důležitá protiváha: formální nástroj odpovědnosti se může vzdálit skutečným škodám a nápravě.

Metcalf, J., Moss, E., Watkins, E. A., Singh, R., & Elish, M. C. (2021). Algorithmic Impact Assessments and Accountability. FAccT 2021. DOI: 10.1145/3442188.3445935.

Institucionální rámce — OECD, NIST, UNESCO, Rada Evropy a EU

Dokládají současný směr: odpovědnost se váže na role, řízení rizik, dokumentaci, dohled a možnost napadnout rozhodnutí. Dlouhodobá účinnost zůstává otevřená.

OECD AI Principles; NIST AI Risk Management Framework; UNESCO Recommendation on the Ethics of Artificial Intelligence; Council of Europe Framework Convention on AI; Regulation (EU) 2024/1689; revised EU Product Liability Directive.

Jak tato aktualizace vznikla

Tato stránka je živou aktualizací Horizontu Odpovědnost bez tváře z knihy Homo Sapiens AI. Jejím smyslem je zpřesňovat původní obraz podle současného stavu poznání — ne zpětně vytvářet dojem, že jsme při psaní knihy věděli to, co víme dnes.

Výzkumná rešerše

Výzkumné podklady vznikly s využitím AI při vyhledávání, třídění a porovnávání odborných a institucionálních zdrojů a při hledání poznatků, které původní teze oslabují nebo nutí zpřesnit. Konkrétní Research Engine/model není v podkladech uveden, proto jej zde nedoplňujeme odhadem.

Co rozhodoval člověk

Po rešerši následovala lidská kurátorská kontrola. Rozhodovala o tom, které závěry jsou dostatečně podložené, kde původní metafora potřebuje korekci a které otázky mají zůstat otevřené. Zvláštní důraz byl položen na to, aby rozptýlená odpovědnost nebyla zaměněna za omluvu „já nic, to systém“.

Jak vznikl tento text

AI byla využita také při redakční syntéze a přípravě veřejné vrstvy. Výsledný text zachovává evidenční limity výzkumu a před publikací prochází lidskou redakční kontrolou.

Hranice této aktualizace

Výzkumný základ tvoří převážně filosofická, právní, governance a designová literatura. U novějších mechanismů řízení AI a u agentních systémů je méně dlouhodobých provozních a srovnávacích studií výsledků. Právní a institucionální stav je zachycen k 24. září 2026; tato aktualizace není právním poradenstvím.