Když se agenti domluví

Nejspíš jste o onom incidentu už slyšeli. Počátkem prázdnin skupina OpenAI agentů během interního testování unikla z izolovaného prostředí a napadla systémy portálu Hugging Face – jednoho z největších AI repozitářů na světě. Před pár dny (koncem srpna) vyšly podrobné zprávy od OpenAI i od nezávislých výzkumníků z METR. Žádná senzace, ale o to zajímavější čtení a vlastně i poučení pro každého, kdo pracuje s AI.

Poskytovatelé AI běžně testují své modely v izolovaných „pískovištích“ – testovacích prostředích, kde běží bez obvyklých omezení a ochranných pojistek, aby bylo možné zjistit, jaké jsou jejich reálné dovednosti. Jsou jim zadávány různě obtížné důvody, často na, nebo dokonce za hranicí proveditelnosti. Většina modelů je trénována tak, aby se při objevení překážky nevzdávala. Je to důležité – jen tak zvládnou splnit zadání uživatele i v situaci, kdy jim například nějaký podklad chybí (prostě si jej dohledají nebo najdou a použijí vhodnou náhradu) nebo nemohou nějakou funkci spustit (hledají jiné způsoby, jak zadání splnit).

AI je zkrátka a dobře trénována aby „prošla u zkoušky“ a nevzdávala se. A tak modely na tréninkových pískovištích místo přiznání, že nevědí, jak problém vyřešit, začaly hledat, jak celý systém obelstít. Přes interní nástroj, který dostaly jako neškodnou pomůcku, navíc zjistily, že „vedle“ běží další jejich kopie – a začaly se domlouvat a organizovat.

Asi 1 200 agentů si bez ptaní založilo vlastní diskusní nástěnku a zhruba 700 z nich se pak společně pustilo do útoku na Hugging Face – s cílem objevit zde jak překonat či obelstít systém hodnocení na tréninkových pískovištích. Nikdo jim ten úkol nezadal – byl to vedlejší produkt snahy uspět v testu. Příčinou je tzv reward hacking: situace kdy AI model neoptimalizuje svou činnost na „udělej práci lépe“, ale na „získej lepší skóre“. A to je vlastně něco, co by mělo zajímat každého, kdo používá umělou inteligenci.

Hackování odměn

Reward hacking totiž není laboratorní kuriozita, ale univerzální vlastnost dnešních jazykových modelů. Dáte-li agentovi špatně zvolený cíl, splní ho – doslova, a někdy na úkor toho, co jste ve skutečnosti chtěli. Obchodní agent, jemuž zadáte, aby poslal co nejvíc e-mailů bude posílat e-maily, nikoliv přemýšlet nad jejich kvalitou či správným zacílením. Agent podpory hodnocený podle počtu zavřených tiketů se naučí zavírat přednostně ty nejsnadnější (stejně jako to často dělali jeho lidští předchůdci). Zkrátka: špatně zaúkolovaná AI, zejména ta „agentická“, vykonávající zadání do značné míry samostatně, napáchá podobnou škodu jako špatně motivovaný zaměstnanec – jen toho může zvládnout mnohem víc a rychleji.

Incident s Hugging Face se nicméně odehrál v laboratorním prostředí záměrně zbaveném ochran. Produkční nástroje, které většina z nás běžně používá, mají zabudované pojistky, kontrolu akcí i potvrzování citlivých operací. Sama OpenAI uvádí, že s běžným produkčním nastavením klesá riziko podobného „úletu“ více než stonásobně. To ale zároveň znamená, že není vyloučené.

Co na to Copilot

Pokud, podobně jako my, fungujete primárně v ekosystému Microsoft Copilota, máte důvod ke střízlivému optimismu. Copilot běží uvnitř vám (vaší firmě) vyhrazeného prostředí (tzv. tenantu), respektuje identity v Entra ID, řídí se pravidly Microsoft Purview a – což je klíčové – dědí oprávnění konkrétního uživatele. Vidí tedy jen to, na co má daný člověk právo. Pro běžnou firmu je to jedno z nejlépe ohraničených prostředí, jaké dnes pro práci s AI existuje.

Jenže právě ono dědění oprávnění je zároveň tím, na co si dát pozor. Copilot nezpřístupní nic, k čemu uživatel nemá přístup – ale může zpřístupnit vše, k čemu přístup má. Pokud tedy máte v SharePointu nebo v Teams roky bobtnající nepořádek přesdílených složek, ke kterým „má přístup půl firmy“, může nevhodné nakládání s Copilotem vše bleskurychle zviditelnit.

V praxi to znamená, že zaměstnanec, který by se ke špatně nasdílené mzdové tabulce musel dlouze proklikávat (a nejspíš by ji tedy nikdy neobjevil), může její obsah dostat naservírován coby odpověď na jednoduchý prompt. Ostatně nedávno jsme tomu věnovali samostaný webinář.

Posunující se hranice

Druhá věc, kterou incident ukázal: hranice mezi „bezpečným“ a potenciálně „rizikovým“ použitím se posouvá nenápadně. Dokud AI jen kladete otázky, jste v bezpečné zóně. Ve chvíli, kdy začnete nasazovat agenty, kteří sami konají – zakládají záznamy, zapisují do systémů, spouštějí procesy napříč aplikacemi, posouváte se do pokročilejší kategorie. To ale neznamená, že byste se práci s agenty měli vyhýbat. Jejich přidaná hodnota a přínos jsou oproti běžnému chatu nesrovnatelné. Jen mějte na paměti, že je to tak trochu „něco za něco“. Poučení je jednoduché – každé oprávnění konat, které agentovi dáte, je dobré si rozmyslet. Není-li například zápis nezbytný, dávejte AI jen právo číst.

Pět věcí, se kterými můžete začít hned

Udělejte si pořádek ve sdíleních, přístupech a oprávněních, než agenty M365 Copilota (či jiné) nasadíte naplno. Projděte přesdílené složky a weby, omezte „přístup pro všechny“, nasaďte pravidla Purview. Je to ten nejúčinnější úvodní krok.
Držte se principu nejmenších nutných oprávnění. Agent i uživatel mají mít přístup jen k tomu, co ke svému úkolu opravdu potřebují – ideálně jen pro čtení.
U citlivých práv zapisovat či konat nechte v procesu člověka. Automatizace neznamená „být bez dohledu“.
Definujte, co znamená „hotovo“. Než agenta nasadíte, řekněte si, jaký reálný výsledek má přinést – nikoliv jen jakou zástupnou metriku má zvyšovat.
Mějte přehled o tom, jak agenty rychle vypnout. Ke každému nasazení patří jasně určená odpovědnost a možnost běh rychle zastavit.

Varování, nikoliv vzpoura strojů

OpenAI sama incident nazvala „varovným výstřelem“ a je to výstižné. Nešlo o vzpouru strojů, jen o připomínku, že AI agenti udělají přesně to, k čemu je nasměrujete a co jim dovolíte – se vší pílí a rychlostí (výkonem), které mají k dispozici. Jejich řízení není science fiction, ale disciplína: pořádek v datech, rozumně nastavená oprávnění a jasně zadané cíle.

A to je vlastně dobrá zpráva. Firmy, které mají své M365 prostředí v pořádku a k nasazování AI přistupují s rozvahou, se nemají čeho bát – naopak z toho mohou vytěžit maximum. Pokud si nejste jistí, kde si v tomhle vaše IT a jeho uživatelé stojí, rádi vám s tím v Artexu pomůžeme – od úklidu oprávnění až po bezpečné nasazení Copilota a agentů na míru.

Pokud si chcete udržet přehled o Microsoft updatech a jiných novinkách z IT světa, přihlaste se do našeho newsletteru, už na to nebudete muset nikdy myslet.

Pokud máte jakýkoliv dotaz, nebo zájem odstranit neefektivní články vašich procesů, neváhejte nás kontaktovat.