Všichni řeší Google. Meta přitom čte web ve velkém

U AI crawlerů se dá snadno sklouznout k jednoduché otázce: povolit je, nebo zablokovat? Jednotliví mezinárodní agenti se však výrazně liší tím, k čemu obsah používají, jak intenzivně web procházejí i tím, zda z jejich služeb přicházejí zpět reální návštěvníci.

DataDome ve svém reportu za druhé čtvrtletí 2026 uvádí, že od dubna do června zaznamenal na sledovaných webech 17,7 miliardy požadavků AI agentů. Oproti prvnímu čtvrtletí šlo o nárůst o 45 %. Report vychází z dat více než 400 zákazníků společnosti.

Aktivita rostla i během samotného období. V dubnu šlo o 4,77 miliardy požadavků, v květnu o 6,29 miliardy a v červnu už o 6,60 miliardy.

Více než polovinu AI požadavků vytvořila Meta

Pod označením Meta se přitom skrývají dva rozdílné crawlery, které nemají stejnou úlohu:

• Meta-ExternalAgent prochází veřejně dostupný web a získává obsah, který může Meta využívat při vývoji a trénování svých AI modelů. Jeho aktivita mezi prvním a druhým čtvrtletím vzrostla o 74 %, z 3,1 na 5,3 miliardy požadavků.
• Meta-WebIndexer má jinou funkci. Indexuje aktuální obsah webových stránek, aby ho Meta AI mohla používat při odpovědích na otázky, které vyžadují čerstvé informace. Jeho aktivita vzrostla ještě výrazněji, a to o 163 %, z 1,4 na 3,75 miliardy požadavků.

Společně tak oba agenti Mety vytvořili během druhého čtvrtletí přibližně 9,1 miliardy požadavků, tedy více než polovinu všech požadavků AI agentů, které DataDome ve své síti zaznamenal.

V červnu Meta-WebIndexer dokonce poprvé objemem požadavků překonal Meta-ExternalAgent. DataDome však upozorňuje, že zatím nelze říci, zda jde o dlouhodobější posun, nebo pouze výsledek jednoho měsíce.

Při těchto číslech je třeba brát v úvahu i jejich původ. DataDome neměří celý internet. Report vychází z provozu v síti více než 400 firemních zákazníků DataDome a samotná společnost působí v oblasti ochrany webů před automatizovaným provozem. Výsledky proto nelze automaticky přenést na každý web.

ChatGPT prochází web méně, ale posílá více lidí

Objem crawlerové aktivity a počet skutečných návštěvníků, které AI služba pošle na web, se nemusejí pohybovat stejným směrem.

• ChatGPT-User, který získává aktuální stránky při odpovídání na dotazy uživatelů, vytvořil ve druhém čtvrtletí o 6 % méně požadavků než v prvním. Návštěvnost přicházející z ChatGPT však za stejné období vzrostla o 17 %.

ChatGPT zároveň podle DataDome v jednotlivých měsících přinášel 80 až 88 % veškeré návštěvnosti z AI nástrojů, kterou společnost ve své síti zaznamenala. U Mety je situace opačná. Její dva crawlery vytvořily 9,1 miliardy požadavků, ale zpět na sledované weby poslaly téměř nulovou návštěvnost.

To ještě automaticky neznamená, že přístup crawlera bez návštěvnosti nemá pro web žádnou hodnotu. Meta-WebIndexer například indexuje aktuální obsah pro odpovědi Meta AI. Data DataDome však neukazují, jakou obchodní hodnotu může taková přítomnost v AI odpovědích konkrétnímu webu přinést.

Podobnou aktivitu Mety už zaznamenaly i české e-shopy

Na Ecommerce Bridge jsme už v červnu v článku AI boti spomalujú aj váš e-shop. Experti ponúkajú rady a tipy, ako s nimi bojovať přinesli zkušenosti společnosti PageSpeed.ONE s konkrétními e-commerce klienty.

U jednoho českého e-shopu zaznamenala během sedmi dnů čtyři miliony požadavků, přičemž 90 % z nich posílal Meta AI indexer.

Další český e-commerce klient podle PageSpeed.ONE blokoval více než 600 tisíc požadavků od botů denně. Firma uvedla i případ, kdy Meta indexer dokázal na jednu jazykovou mutaci vytvořit až 510 tisíc požadavků denně, tedy v průměru přibližně šest za sekundu.

Může plošné blokování AI botů webu uškodit?

Jeden agent může sbírat obsah pro trénink modelů. Další indexuje aktuální informace pro AI odpovědi. Jiný přistupuje na konkrétní stránku proto, že se na její obsah právě ptá uživatel.

Dokonce i agenti jedné společnosti mohou mít rozdílnou funkci. Meta-ExternalAgent a Meta-WebIndexer podle DataDome nedělají to samé. Stejně tak je třeba rozlišovat mezi jednotlivými agenty OpenAI.

Podobný přístup doporučoval v našem starším článku i PageSpeed.ONE. Místo plošného vypnutí botů radí analyzovat jejich aktivitu a podle situace filtrovat, limitovat a reagovat na provoz jednotlivých agentů.

Googlebot je například důležitý pro procházení a indexování stránek ve vyhledávači, zatímco některé AI služby už dnes přinášejí i reálnou návštěvnost. Plošné blokování všech botů proto může odstřihnout i zdroje, které jsou pro web užitečné.

Nejprve zjistěte, kdo váš web vlastně čte

Před rozhodnutím, kterému crawleru přístup ponechat a kterého omezit, je třeba mít data z vlastního webu. Při automatizovaném provozu jsou důležitým zdrojem zejména access logy serveru. PageSpeed.ONE doporučuje analyzovat je společně s Google Analytics a Google Search Console, sledovat anomálie v provozu a to, jaké user-agenty na web přistupují.

Užitečné může být i porovnání rychlosti odezvy backendu s běžnou návštěvností. Pokud se server zpomaluje v době, kdy počet lidí na webu neroste, má smysl prověřit, jaký další provoz v té době vzniká.

K jeho řízení lze podle PageSpeed.ONE využívat například WAF, rate limiting nebo nástroje na bot management. Cílem nemusí být automaticky odstřihnout všechny stroje, ale dostat jejich provoz pod kontrolu.

Bot se může za Metu či ChatGPT pouze vydávat

DataDome upozorňuje, že při nastavování pravidel pro jednotlivé agenty je třeba ověřovat i jejich identitu. User-agent je údaj, kterým se program při návštěvě serveru představuje. Jeho název však lze napodobit. Jiný automatizovaný nástroj se tak může vydávat například za známého AI crawlera.

Proto DataDome nedoporučuje automaticky povolovat přístup pouze na základě známého názvu v hlavičce User-Agent. Jako možnosti ověření uvádí Web Bot Auth a ověřování IP adres podle rozsahů, které provozovatelé crawlerů zveřejňují.

Pro běžného provozovatele e-shopu jde o techničtější téma, které může řešit s hostingem, CDN nebo správcem infrastruktury. Podstata je však jednoduchá: pokud chcete jednotlivým AI agentům nastavovat rozdílná pravidla, musíte vědět, zda jde skutečně o toho, za koho se vydávají.

Nejde jen o to, zda AI na web pustíte

Data DataDome neříkají, že by e-shopy měly okamžitě zablokovat Metu. Stejně tak z nich nelze vyvodit, že by měly automaticky povolit každého agenta OpenAI. Ukazují však, proč už nemusí stačit jedna politika pro všechny AI crawlery.

Meta vytváří více než polovinu požadavků AI agentů sledovaných DataDome, ale přináší téměř nulovou návštěvnost. ChatGPT-User vytvořil méně požadavků než v předchozím čtvrtletí, zatímco návštěvnost z ChatGPT vzrostla.

E-shop proto potřebuje nejprve znát situaci na vlastním webu. Kteří agenti na něj chodí? Jak často? Které stránky procházejí? Jakou zátěž vytvářejí? Posílají zpět návštěvníky, nebo webu přinášejí jinou měřitelnou hodnotu?

Teprve potom dává smysl rozhodovat, koho nechat web procházet, koho omezit a koho zablokovat.