AI boti zpomalují i váš e-shop. Experti nabízejí rady a tipy, jak s nimi bojovat

AI boti převzali polovinu internetu

Podle zprávy společnosti HUMAN Security roboti poprvé překonali lidský internetový provoz a automatizovaný traffic meziročně roste osmkrát rychleji než ten lidský. GPTBot, Meta-ExternalAgent, Bytespider, Perplexity, Bingbot. Seznam crawlerů, kteří dnes okupují servery, se rozšiřuje každý měsíc.

Na rozdíl od Googlebota, který má svůj crawl budget a respektuje pravidla, se mnoho nových AI agentů chová agresivně. Jednotky requestů za sekundu z jedné adresy, miliony dotazů týdně, ignorování robots.txt, maskování přes proxy. Traffic z GPTBota meziročně vzrostl o 305 %, z Googlebota o 96 %. Pro e-shop dimenzovaný na sezónní špičky se to v praxi pozná na signálech:

• Zpomalení webu mimo špičky návštěvnosti. Server vázne večer, v noci nebo o víkendu, kdy lidé tolik nenakupují. Jde o typický signál, že se něco děje.
• Zpomalení odezvy backendu (TTFB) bez zjevné příčiny. Backend náhle odpovídá pomaleji, ale nic jste nenasazovali ani neměnili a lidská návštěvnost neroste.
• Občasné výpadky webu bez vazby na změny na webu nebo kampaň. Když vývojáři krčí rameny a příčinu nevidí, často jsou na vině boti.
• Rostoucí náklady na hosting. Server se musí škálovat, ale objednávek nepřibývá. Platíte za kapacitu, kterou spotřebovávají boti, ne vaši zákazníci.

Čísla, která bolí

Konkrétní případy z poslední doby:

• Jeden náš český e-commerce klient blokuje přes 600 000 dotazů od botů denně.
• Jiný za sedm dní obdržel 4 miliony dotazů, z nichž 90 % posílal Meta AI indexer.
• Meta indexer dokáže vygenerovat až 510 000 dotazů za den na jednu jazykovou mutaci (průměrně 6 dotazů za sekundu).

Podle studie Deloitte Digital přitom každých 100 ms zrychlení webu přináší e-shopu +8,4 % konverzí a +9,2 % na průměrné hodnotě objednávky. Zpomalení od AI botů se tak promítá rovnou do tržeb.

Co s tím? E-shop potřebuje strategii

Důležité je říct na rovinu, že toto nevyřešíte jedním nastavením. Boj s boty je dlouhodobý problém, nad kterým budete iterovat opakovaně. Na druhou stranu základní kroky může udělat každý a výsledky uvidíte rychle.

Podívejte se na monitoring rychlosti webu

Porovnejte špičky metriky rychlosti odezvy backendu se špičkami návštěvnosti. Pokud se neshodují, máte pravděpodobně problém s boty. Použít můžete náš monitoring PLUS nebo jakýkoliv jiný. Případně si alespoň udělejte jednorázový test rychlosti webu na PageSpeed.ONE nebo v PageSpeed Insights.

Nasaďte Cloudflare nebo podobnou službu

Cloudflare je společnost, která provozuje obří síť serverů po celém světě (CDN). Jejich služba ve verzi zdarma do jisté míry pomůže. Obslouží klidně až 40 % provozu a vašemu serveru dost odlehčí. Základní blokování botů tam je také. Pro pokročilejší práci doporučujeme Cloudflare ve verzi PRO.

Zeptejte se svého hostingu na ochranu před boty

České a slovenské hostingy boj s crawlery vedou taky, někteří lépe, někteří hůř. Zeptejte se, jak to řeší, a chtějte konkrétní data pro váš web.

Pokud jste technicky založení, můžete si pomoct sami

Ve spolupráci s vašimi vývojáři a specialisty na infrastrukturu můžete projít následující checklist:

• Analyzujte access logy, Google Analytics a Google Search Console. Hledejte anomálie v provozu, neobvyklé user-agenty, přístupy na web z podezřelých regionů.
• Omezte přístup na web chytrým filtrováním (WAF) a omezením požadavků (rate limiting). Robots.txt je fajn, ale nebude stačit. Potřebujete nástroje, které pravidla skutečně vynucují. WAF je filtr, který odchytává škodlivé požadavky dříve, než dorazí na váš web a rate limiting hlídá, aby jeden návštěvník neposlal příliš mnoho požadavků.
• Řešte bot management. Cloudflare AI Crawl Control, Bot Fight Mode nebo obdobné nástroje od jiných poskytovatelů. Potřebujete přesně vědět, kdo na váš web chodí, a umět reagovat.
• Volte strategický přístup. Nevypínejte boty plošně. Googlebota potřebujete a některé AI crawlery vám mohou přinášet návštěvnost z AI vyhledávačů. Filtrujte, limitujte, pružně a strategicky reagujte na aktuální provoz.

Éra, kdy v e-commerce stačil rozumný robots.txt je nenávratně pryč. Pokud se o svůj e-shop staráte, je čas naučit se s touhle novou generací crawlerů žít. Jsou totiž agresivnější, chytřejší a mají úplně jinou motivaci než staří dobří indexovací boti.