Jak vyřadit stránku z Googlu: robots.txt, nebo noindex?
Nechcete mít nějakou stránku v Googlu, například děkovací stránku, testovací stránku nebo starou akci? Mnoho lidí si v takovém případě vzpomene na soubor robots.txt. Soubor robots.txt ale stránku z Googlu neodstraní. K tomu slouží noindex. V tomto článku se dočtete, jaký je mezi nimi rozdíl, jak používat obojí a co dělat se stránkou, kterou jste smazali. Jako příklad používáme example.com.
Rozdíl ve zkratce
| robots.txt | noindex | |
|---|---|---|
| Co říká | „Tuto stránku nestahuj.“ | „Tuto stránku nezařazuj do výsledků vyhledávání.“ |
| Udrží stránku mimo Google? | Ne. Pokud na stránku odkazují jiní, může se adresa přesto zobrazit, a to bez popisu. | Ano, jakmile Google stránku znovu navštíví. |
| Kde se nachází? | Jeden soubor na adrese https://example.com/robots.txt | Přímo ve stránce, nebo jako hlavička, kterou server odesílá |
| K čemu se používá? | K řízení procházení, například k vynechání stránek s výsledky vyhledávání na Vašem vlastním webu | Pro stránky, které mají zůstat dostupné, ale nepatří do Googlu |
Ani jedno není zabezpečení. Váš soubor robots.txt si může přečíst kdokoli a stránka s noindex zůstává normálně dostupná. Pokud je potřeba něco skutečně ochránit, zabezpečte to heslem. Viz Zabezpečení složky heslem v DirectAdmin.
Použití noindex
Vložte tento řádek do části <head> stránky:
<meta name="robots" content="noindex">
U souborů bez HTML, například u PDF, může server odeslat stejný pokyn jako hlavičku: X-Robots-Tag: noindex. Účinek je stejný.
Většinou to nemusíte psát sami:
- AI Builder: otevřete sekci SEO, vyberte stránku a v části Další možnosti pro tuto stránku vypněte přepínač Tato stránka je dohledatelná v Googlu. Stránka zůstane dostupná, ale dostane noindex. Poté web znovu publikujte.
- WordPress: SEO plugin má u každé stránky nastavení, kterým zakážete její indexování. Zaškrtávací políčko Požádat vyhledávače, aby neindexovaly tento web v části Nastavení, Čtení platí pro celý web.
- Jiné nástroje pro tvorbu webů: hledejte nastavení typu „skrýt před vyhledávači“.
Vytvoření nebo úprava souboru robots.txt
U hostingového balíčku se soubor robots.txt nachází ve webové složce Vaší domény, v DirectAdmin je to složka public_html. Soubor vytvoříte nebo upravíte přes Správce souborů nebo FTP, viz Otevření Správce souborů: složky ve Vašem balíčku. Příklad:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *platí pro všechny vyhledávací roboty.Disallow:s cestou zakazuje vše, co touto cestou začíná.Disallow: /zakazuje celý web.- Pokud vytvoříte i skupinu
User-agent: Googlebot, Google se bude řídit pouze touto skupinou a skupinu*bude ignorovat. Zopakujte v ní proto všechna pravidla, která mají platit i pro Google. - Neblokujte složky se styly, skripty nebo obrázky, které Vaše stránka potřebuje.
- Chybějící robots.txt nevadí: pak je povoleno vše. Pokud adresa vrací chybu serveru, Google dočasně přestane stránky stahovat.
WordPress si sám vytváří robots.txt, dokud ve webové složce žádný soubor není. AI Builder při publikování sám vytvoří robots.txt s řádkem Sitemap:.
Podrobný návod se snímky obrazovky: Sitemap a robots.txt v AI Builderu a Sitemap a robots.txt ve WordPressu a na Vašem vlastním webu v příručce Dohledatelnost online.
Google si Váš robots.txt obvykle uchovává až 24 hodin. V Search Console najdete v části Nastavení přehled robots.txt: kterou verzi Google stáhl naposledy, s chybami a upozorněními, a tlačítko pro opětovné stažení.
Smazaná stránka: 404 nebo 410, ne soft 404
Pokud jste stránku smazali, měla by adresa vracet stavový kód 404 (nenalezeno) nebo 410 (odstraněno). Při další návštěvě pak Google adresu z výsledků vyhledávání odstraní. Má-li stránka nástupce, přesměrujte starou adresu kódem 301 na tuto novou stránku, viz Přesměrování webu: přesměrování domény nebo stránky.
Soft 404 je stránka, která tvrdí, že neexistuje, nebo je téměř prázdná, ale přesto vrací kód 200 (nalezeno). Google to často rozpozná a takovou stránku do indexu nezařadí. V Search Console to uvidíte jako důvod Soft 404. Za soft 404 může být považováno i přesměrování všech smazaných stránek na Vaši domovskou stránku. Stránka, která skutečně zmizela, by proto měla vracet skutečný kód 404 nebo 410.
Potřebujete stránku z výsledků rychle odstranit, například proto, že na ní omylem byly osobní údaje? Použijte v Search Console funkci Odstranění. Funguje dočasně, přibližně šest měsíců. Proto zároveň zajistěte, aby stránka vracela 404 nebo 410, byla chráněna heslem nebo měla noindex.
Další čtení
- Google: Blokování indexování pomocí noindex (anglicky)
- Google: Úvod do robots.txt (anglicky)
- Google: přehled robots.txt
- Blokování souborů pomocí .htaccess
Používáte WordPress? V lekci Dohledatelnost: základy bezplatného kurzu WordPressu se dozvíte více o robots.txt a o políčku Požádat vyhledávače, aby neindexovaly tento web.
Chcete se dozvědět více? Absolvujte bezplatný kurz Dohledatelnost online, lekci 3.3 robots.txt: co blokovat a co ne.