Jednoduchá otázka, na kterou mnoho lidí neumí odpovědět
Do AI dnes běžně vkládáme podklady, které bychom před několika lety poslali kolegovi, uložili na firemní disk nebo nechali pouze v interním systému.
Může jít například o:
- zápis z porady,
- interní tabulku,
- smlouvu,
- zdrojový kód,
- přepis rozhovoru před zveřejněním,
- materiál pod embargem,
- osobní údaje,
- neveřejný rukopis nebo pracovní dokument.
AI materiál přečte, zpracuje a vytvoří odpověď.
Ale kde přesně tento obsah skončí? Jak dlouho tam zůstane a co si z něj poskytovatel AI ponechá?
To jsou otázky, které při zavádění AI do firem, úřadů, škol nebo redakcí začínají být stejně důležité jako samotná kvalita modelu.
OpenAI slibuje: Citlivý obsah nemusíme uchovávat
The Wall Street Journal 20. srpna informoval o novém přístupu OpenAI k firemním zákazníkům. Firma podle listu připravuje systém, který má umožnit využívání jejích modelů bez toho, aby OpenAI musela uchovávat samotná zákaznická data.
Současně se snaží vyřešit problém, který na první pohled vypadá jako rozpor.
Poskytovatel AI potřebuje chránit soukromí firemních dat. Zároveň ale potřebuje rozpoznat situace, kdy někdo používá výkonný model například k přípravě závažného kybernetického útoku nebo k jiné nebezpečné činnosti.
A některé rizikové vzorce nejsou patrné z jediného promptu. Objeví se až při pohledu na sérii kroků.
OpenAI proto podle WSJ testuje architekturu, při které může zákaznický obsah zůstat v prostředí kontrolovaném zákazníkem, zatímco k poskytovateli dorazí pouze bezpečnostní signál na vyšší úrovni.
Takový signál může upozornit například na vzorec odpovídající přípravě kybernetického útoku, aniž by bylo nutné předávat a dlouhodobě ukládat samotné citlivé dokumenty nebo kompletní obsah konverzace.
Cílem je oddělit dvě věci, které dosud často šly proti sobě: ochranu citlivých firemních dat a schopnost odhalovat nebezpečné použití AI napříč více interakcemi.
Neplést si trénování a ukládání
Tady je důležité jedno základní rozlišení.
„Vaše data nepoužíváme k trénování modelů.“
neznamená automaticky:
„Vaše data vůbec neukládáme.“
To jsou dvě rozdílné otázky.
OpenAI už dnes ve své dokumentaci uvádí, že data z firemních produktů, například ChatGPT Enterprise, Business, Edu nebo z API, standardně nepoužívá k trénování svých modelů.
Současně ale existují různé režimy retence, tedy toho, jak dlouho mohou být data uložena.
Pro některé kvalifikované organizace OpenAI už dříve nabízela v API režim Zero Data Retention, zkráceně ZDR, tedy nulovou retenci zákaznického obsahu.
Nejde však automaticky o vlastnost každého účtu, každého firemního tarifu nebo každé funkce.
„Nepoužíváme k trénování“ a „neuchováváme“ nejsou synonyma.
Proč vůbec poskytovatelé něco uchovávají?
Na první pohled by nejlepší řešení mohlo znít jednoduše: neuchovávat nic.
Jenže výkonné modely mohou být zneužity a bezpečnostní systémy potřebují některé útoky poznávat.
Právě zde je zajímavé srovnání s Anthropic.
Anthropic standardně uvádí u svého API odstranění vstupů a výstupů z backendu do 30 dnů, pokud neplatí některá z výjimek nebo jiná smluvní úprava. Některým zákazníkům nabízí také režim Zero Data Retention.
U nejvýkonnější kategorie modelů, kterou Anthropic označuje jako Covered Models, ale firma zavedla zvláštní pravidlo: prompty a odpovědi se mají po dobu 30 dní uchovávat právě kvůli bezpečnostní analýze.
Důvod je podobný jako u problému, který nyní řeší OpenAI.
Jeden jednotlivý dotaz nemusí být nebezpečný. Série desítek nebo stovek navazujících požadavků už může ukázat pokus obejít ochranné mechanismy nebo připravovat závažný útok.
Dva různé přístupy k jednomu problému
Zjednodušeně lze současné přístupy popsat takto:
Anthropic
U některých nejvýkonnějších modelů potřebuje kvůli bezpečnosti po omezenou dobu uchovávat vstupy a výstupy, protože rizikové chování může být patrné až napříč více požadavky.
OpenAI
Zkouší rozpoznávat rizikový vzorec také bez toho, aby kvůli tomu musela uchovávat samotný citlivý zákaznický obsah.
Jestli tento přístup bude fungovat spolehlivě, zatím nevíme.
Neznáme například jeho přesnost, počet falešných poplachů ani přesně to, jak podrobný bezpečnostní signál může obsahovat.
Bylo by proto předčasné tvrdit, že OpenAI už našla technicky lepší řešení než konkurence.
Zajímavý je ale samotný směr: bezpečnostní systém má sledovat rizikové chování, nikoli nutně uchovávat celý citlivý obsah.
Proč by to mělo zajímat redakci
Představme si běžnou práci s AI v médiích.
Do systému můžeme vložit:
- neveřejný rozhovor před odvysíláním,
- dokument získaný od zdroje,
- připravovaný článek,
- interní redakční komunikaci,
- materiál pod embargem,
- osobní údaje respondentů,
- právně citlivé podklady,
- nezveřejněnou fotografii,
- zápis z porady.
Otázka potom nezní pouze:
„Je AI dost chytrá, aby mi s tím pomohla?“
Ale také:
„Co se s tím materiálem stane poté, co ho AI přečte?“
A právě tato druhá otázka může rozhodovat o tom, zda vůbec bude možné AI v některých pracovních situacích použít.
Sedm otázek, které by měla organizace položit poskytovateli AI
Při výběru firemního AI řešení proto nestačí porovnávat modely, rychlost nebo cenu.
- Používají se naše vstupy a výstupy k trénování modelů?
- Jak dlouho poskytovatel naše data uchovává?
- Lze nastavit Zero Data Retention?
- Platí nulová retence pro všechny používané funkce, nebo jen některé?
- Co se uchovává kvůli bezpečnosti a prevenci zneužití?
- Kdo může k datům získat přístup a za jakých podmínek?
- Kde jsou data zpracovávána a jaké smluvní a technické kontroly má zákazník k dispozici?
To jsou otázky, které se při běžném používání AI snadno ztratí za debatou o tom, zda je lepší ChatGPT, Claude nebo Gemini.
Přitom pro firmu mohou být důležitější než rozdíl několika procent v některém benchmarku.
Zero-retention jako nová konkurenční výhoda
Dlouho jsme AI služby porovnávali především podle toho, jak kvalitně odpovídají.
Pak přišla cena, velikost kontextového okna, rychlost, práce s obrazem nebo schopnost používat nástroje.
Teď se k tomu přidává další parametr:
Co si AI poskytovatel nechá poté, co jsme mu něco svěřili?
Pro banku, nemocnici, advokátní kancelář, státní správu nebo redakci může být odpověď zásadní.
Možná se proto dostáváme do fáze, kdy nebude nejdůležitější pouze otázka:
„Který model je chytřejší?“
Stejně důležitá může být otázka:
„Co se stane s naším dokumentem poté, co ho AI přečte?“
Původní zdroje
OpenAI — Business data privacy, security, and compliance
OpenAI Platform — Your data, retention and Zero Data Retention
Anthropic Privacy Center — How long do you store my organization's data?
Anthropic Privacy Center — Data retention practices for Covered Models
Redakční transparentnost
Článek vychází z aktuální zprávy The Wall Street Journal a z veřejné dokumentace OpenAI a Anthropic.
Firemní dokumentace potvrzuje pravidla a režimy, které jednotliví poskytovatelé sami deklarují. Není sama o sobě nezávislým potvrzením technické účinnosti nového bezpečnostního systému OpenAI.
Nový přístup OpenAI je čerstvě oznámený a jeho přesný rozsah se může lišit podle konkrétního produktu, zákaznické smlouvy a použité funkce. Článek proto netvrdí, že každý firemní účet OpenAI automaticky používá nulovou retenci nebo že nový bezpečnostní systém už byl nezávisle ověřen.