Modul 1 · 1.3
Indexování: co se do indexu dostane a co ne
Modul 1: Jak fungují vyhledávače · Doba čtení: 11 minut
Cíl lekce: Po této lekci dokážete u stránky posoudit, zda se může dostat do indexu, a pokud ne, který ze čtyř "zámků" ji zadržuje: stavový kód, robots.txt, noindex, nebo canonical.
Klíčové pojmy: indexování, technické požadavky Googlu, noindex (meta robots a X-Robots-Tag), robots.txt není noindex, kanonikalizace, duplicitní obsah, soft 404, "Procházeno, aktuálně neindexováno", "Objeveno, aktuálně neindexováno", žádná záruka
Co se při indexování děje
Jakmile crawler stránku stáhne (lekce 1.2), vyhledávač ji začne číst. Google analyzuje text, titulek, nadpisy, obrázky a videa a určí, v jakém jazyce stránka je. Zjišťuje také, zda stránka není kopií jiné stránky a která z těchto kopií je ta "pravá". Teprve potom Google rozhodne, zda stránku zařadí do indexu.
Google k tomu říká dvě věci, které si dobře zapamatujte:
- Zařazení není zaručeno. I když Vaše stránka splňuje všechny požadavky, Google se může rozhodnout ji nezařadit.
- Je normální, že není zařazeno všechno. Google v nápovědě k přehledu indexování doslova píše, že byste neměli očekávat, že bude indexována každá adresa Vašeho webu, a že je to v pořádku. Jde o Vaše důležité stránky.
Tři technické požadavky
Google uvádí tři technické požadavky, které stránka musí splnit, aby mohla být zařazena do indexu:
- Googlebot není blokován. Stránka je dostupná a robots.txt její stažení nezakazuje.
- Stránka funguje. Server vrací stavový kód 200, ne chybu.
- Stránka má indexovatelný obsah. Text v typu souboru, který Google umí přečíst, a žádné porušení zásad proti spamu.
V praxi k tomu přibývají dvě rozhodnutí majitele webu: noindex ("tohle nezařazuj") a canonical, který odkazuje na jinou adresu ("ne tuhle, ale tamtu"). Dohromady to dává čtyři zámky, kterými stránka musí projít.
Zámek 1: stavový kód
Do indexu se může dostat jen stránka se stavem 200. Kód 301 nebo 308 přesměruje vyhledávač na novou adresu; posuzuje se pak tato nová adresa. Kód 404 nebo 410 odstraní dříve zařazenou adresu z indexu.
Záludnou variantou je soft 404 z lekce 1.2: stav 200, ale obsahem je chybové hlášení nebo téměř prázdná stránka. Google to často rozpozná a takovou stránku nezařadí. Také prázdná stránka kategorie v e-shopu ("nebyly nalezeny žádné produkty") může být považována za soft 404.
Zámek 2: robots.txt
Pomocí robots.txt zakazujete crawleru stránku stáhnout. To je něco jiného než zakázat ji zařadit. Google je v tom jasný: robots.txt není způsob, jak stránku udržet mimo Google. Pokud na blokovanou stránku odkazují jiné weby, může se její adresa ve výsledcích přesto objevit, jen bez popisu. V Search Console se tomu říká "Indexováno, ale blokováno souborem robots.txt".
Robots.txt slouží k řízení procházení: například aby crawler neprocházel tisíce stránek s výsledky vyhledávání na Vašem vlastním webu. Podrobněji se mu věnuje lekce 3.3.
Zámek 3: noindex
Pokud opravdu chcete, aby se stránka neobjevila ve výsledcích vyhledávání, použijte noindex. Lze to udělat dvěma způsoby se stejným účinkem:
<!-- v <head> stránky -->
<meta name="robots" content="noindex">X-Robots-Tag: noindexDruhý způsob je HTTP hlavička, kterou server posílá spolu se stránkou. Funguje i pro soubory, které nejsou HTML, například pdf. Hodnota none znamená totéž co noindex, nofollow. S <meta name="googlebot" content="noindex"> platí pravidlo jen pro Google; jiné vyhledávače mohou obecné pravidlo vykládat jinak.
A teď past, do které se padá velmi často: noindex a blokace v robots.txt spolu nefungují. Když robots.txt stránku blokuje, Google ji nestáhne, a noindex tedy nikdy neuvidí. Stránka se pak přes odkazy z jiných webů do indexu přesto dostat může. Chcete-li stránku z Googlu odstranit: nechte ji stáhnout a přidejte na ni noindex.
Kde se s noindex můžete setkat nechtěně?
- Ve WordPressu je v Nastavení, Čtení zaškrtávací políčko "Požádat vyhledávače, aby neindexovaly tento web". To nastaví noindex na celý web. Užitečné během tvorby, katastrofální, když ho zapomenete vypnout.
- V AI Builder můžete web nebo stránku nastavit na "neindexovat"; do stránky se pak vloží
noindex, nofollow. Ani bezplatný demo web se nikdy neindexuje. - SEO plugin nebo šablona se špatným nastavením pro jednotlivé stránky nebo typy stránek.
Jiné nástroje na tvorbu webů mají podobné přepínače, často s názvem jako "skrýt před vyhledávači".
Zámek 4: canonical
Mnoho webů má stejnou stránku pod více adresami: s www i bez, s http i https, s parametrem na konci, například ?utm_source=nieuwsbrief. Google z takových skupin vybere jednu adresu jako kanonickou verzi a ve výsledcích zobrazuje jen ji. Ostatní jsou duplikáty.
Googlu můžete s výběrem pomoct přesměrováním (silný signál) nebo odkazem canonical ve stránce:
<link rel="canonical" href="https://www.example.com/bruidsboeketten">Canonical je signál, ne příkaz: Google může vybrat jinou adresu. Pokud Váš canonical odkazuje na jinou adresu, stránka sama říká: "nezařazuj mě, ale tu druhou". To je v pořádku, když to sedí, a problém, když jde o omyl, například když každá stránka odkazuje na domovskou stránku. Podrobněji se tomu věnuje lekce 3.5.
Duplicitní obsah na Vašem vlastním webu podle Googlu není porušením zásad proti spamu a nevede k ručnímu opatření. Je ale neefektivní: crawlery stahují totéž vícekrát a Vy sami nerozhodujete, která adresa se zobrazí ve výsledcích.
Hlášení v Search Console
V přehledu Stránky v Search Console (lekce 2.4) uvidíte u každé neindexované stránky důvod. Objevují se tam všechny čtyři zámky:
| Hlášení (přibližně) | Zámek | Co znamená |
|---|---|---|
| Nenalezeno (404), Soft 404, Chyba serveru (5xx), Stránka s přesměrováním | 1 | Stavový kód nedovoluje zařazení |
| Blokováno souborem robots.txt | 2 | Google nesměl stránku stáhnout |
| Vyloučeno značkou noindex | 3 | Google viděl noindex |
| Alternativní stránka se správnou kanonickou značkou; Duplicitní stránka bez kanonické verze vybrané uživatelem | 4 | Jako kanonická verze byla vybrána jiná adresa |
| Procházeno, aktuálně neindexováno | žádný | Google stránku přečetl a (zatím) ji nezařadil |
| Objeveno, aktuálně neindexováno | žádný | Google adresu zná, ale zatím ji nestáhl |
Poslední dvě nejsou technickou chybou. "Procházeno, aktuálně neindexováno" je časté; Google říká, že to nemusí být vždy problém. Jde-li o důležitou stránku, zkontrolujte, zda opravdu něco přináší: jedinečná, užitečná stránka má větší šanci než tenká stránka, která se podobá deseti jiným.
Shrnutí
- Po procházení vyhledávač rozhoduje, zda stránka půjde do indexu; to není nikdy zaručeno a nemusí tam být všechno.
- Čtyři zámky: stav 200, žádná blokace v robots.txt, žádný noindex, canonical chybí nebo odkazuje sám na sebe.
- robots.txt zakazuje stažení, ne zařazení. K udržení stránky mimo výsledky použijte noindex a takovou stránku pak v robots.txt neblokujte.
- Canonical je silný signál, ne příkaz. Duplicitní obsah není spam, ale je neefektivní.
- "Procházeno, aktuálně neindexováno" není technická chyba; posuďte hodnotu stránky.
Kvíz
Úkol
Úkol A1.3: Smí tato stránka do indexu? Zadejte adresu stránky (stránky z Vašeho vlastního webu, nebo stránky, kterou záměrně skrýváte, například děkovné stránky). Potom zvolte své očekávání: "smí do indexu", nebo "nesmí do indexu", a pokud zvolíte "nesmí", také který zámek ji zadržuje (stavový kód, robots.txt, noindex, canonical na jinou adresu). Program projde čtyři zámky stejně jako v této lekci a svůj výsledek postaví vedle Vašeho.
Další čtení
- Google, Technické požadavky Vyhledávání Google: https://developers.google.com/search/docs/essentials/technical
- Google, Blokování indexování pomocí noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
- Google, Úvod do robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Google, Sloučení duplicitních adres URL (kanonikalizace): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
- Nápověda Google Search Console, Přehled Indexování stránek: https://support.google.com/webmasters/answer/7440203