Povolení nebo blokování AI crawlerů: robots.txt a llms.txt
AI služby jako ChatGPT, Claude, Gemini a Perplexity stahují webové stránky: k trénování modelů, k odpovídání ve vyhledávání nebo k zodpovězení dotazu uživatele. Pomocí robots.txt určíte, kteří z těchto robotů smějí Váš web navštěvovat. Kromě toho existuje návrh llms.txt. V tomto článku se dozvíte, jací roboti existují, jak je povolit nebo zablokovat a co llms.txt dělá a co ne. Jako příklad používáme example.com.
1. Nejdůležitější AI roboti
Většina AI společností používá samostatné názvy pro trénování, vyhledávání a stahování na žádost uživatele. Můžete tak například zablokovat trénování a přesto zůstat ve výsledcích vyhledávání.
| Název v robots.txt | Od | K čemu slouží |
|---|---|---|
GPTBot | OpenAI | Shromažďování stránek, které mohou být použity k trénování modelů |
OAI-SearchBot | OpenAI | Vyhledávací funkce ChatGPT. Pokud jej zablokujete, Váš web se nebude zobrazovat ve výsledcích vyhledávání ChatGPT |
ChatGPT-User | OpenAI | Stažení stránky, když o to uživatel požádá. Podle OpenAI se zde robots.txt možná neuplatní |
ClaudeBot | Anthropic | Shromažďování stránek, které mohou být použity k trénování modelů |
Claude-SearchBot | Anthropic | Indexování stránek pro vyhledávací funkci Claude |
Claude-User | Anthropic | Stažení stránky, když o to uživatel požádá |
Google-Extended | Nejde o samostatného robota, ale o název, kterým určíte, zda smí Google používat Váš obsah k trénování modelů Gemini a pro grounding. Podle Googlu to nemá vliv na Vaše umístění ve Vyhledávání Google | |
PerplexityBot | Perplexity | Zobrazování webů a odkazů na ně ve výsledcích vyhledávání Perplexity, nikoli k trénování |
Perplexity-User | Perplexity | Stažení stránky, když o to uživatel požádá. Podle Perplexity tento robot robots.txt většinou ignoruje |
Seznam se pravidelně mění. Aktuální názvy najdete v dokumentaci společností OpenAI, Anthropic, Google a Perplexity.
2. Ukázkový soubor robots.txt
Tento příklad blokuje trénování modelů, ale povoluje vyhledávací roboty a běžné vyhledávače:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Robot se řídí pouze skupinou se svým vlastním názvem, jinak skupinou
*. V příkladu tedy GPTBot nesmí nikam a pravidloDisallow: /winkelmand/se na GPTBot nevztahuje. - Pokud chcete povolit všechny AI roboty, nemusíte nic dělat: bez pravidel je povoleno vše.
- Pokud omylem zablokujete vyhledávacího robota, například
OAI-SearchBot,Claude-SearchBotneboPerplexityBot, budete v těchto AI vyhledávacích službách hůře k nalezení. - Blokování funguje pouze do budoucna. Co již bylo staženo dříve, tím zpět nezískáte.
public_html Vaší domény. Vytvoříte nebo upravíte jej ve Správci souborů nebo přes FTP. WordPress si sám vytváří robots.txt, dokud žádný soubor neexistuje, a AI Builder jej při publikování umístí sám. Jak robots.txt funguje dále, se dočtete v článku Jak skrýt stránku před Googlem: robots.txt nebo noindex?.3. Co je llms.txt?
llms.txt je návrh z roku 2024 na textový soubor umístěný na https://example.com/llms.txt. Do něj v Markdownu napíšete krátký popis svého webu a odkazy na nejdůležitější stránky, aby AI služba rychle viděla, kde najde správné informace. Jednoduchý příklad:
# Pekárna Příklad > Řemeslná pekárna v Brně s chlebem, pečivem a dorty na objednávku. ## Důležité stránky - [Sortiment](https://example.com/assortiment): chléb, pečivo a dorty - [Objednávky](https://example.com/bestellen): objednání a vyzvednutí dortu - [Kontakt](https://example.com/contact): adresa a otevírací doba
Dobré vědět:
- llms.txt není oficiální standard, ale návrh. Neexistuje záruka, že AI služby tento soubor čtou. Google oznámil, že jej Vyhledávání Google nijak nevyužívá.
- llms.txt nic neblokuje. Pokud chcete roboty zablokovat, použijte robots.txt.
- Soubor nevznikne sám od sebe: vytvoříte jej sami, nebo jej necháte vytvořit pluginem.
4. Vytvoření llms.txt ve WordPressu
Známé SEO pluginy dokážou llms.txt vytvořit a udržovat za Vás:
- Yoast SEO: přejděte do Yoast SEO, Nastavení, Funkce webu a u AI funkcí zapněte llms.txt. Stránky může vybrat Yoast, nebo je můžete určit sami.
- Rank Math: na Nástěnce pluginu Rank Math zapněte modul LLMS Txt. Nastavení pak najdete v části Obecná nastavení.
Názvy nabídek se liší podle verze. Pokud možnost nevidíte, aktualizujte plugin. Poté si soubor zobrazíte na adrese https://vasedomena.cz/llms.txt.
Bez WordPressu vytvoříte soubor sami: textový soubor llms.txt ve složce public_html, stejně jako robots.txt.
Podrobný návod se snímky obrazovky: Sitemap a robots.txt ve WordPressu a na Vašem vlastním webu a Sitemap a robots.txt v AI Builderu v příručce Být vidět online.
Chcete se dozvědět více? Absolvujte bezplatný kurz Být vidět online, lekci 3.3 robots.txt: co blokovat a co ne.