Jak ponechat stránku mimo Google: robots.txt nebo noindex?

Nechcete mít stránku v Google, například děkovací stránku, testovací stránku nebo starou akci? Mnoho lidí si pak vzpomene na soubor robots.txt. Ale robots.txt nedrží stránku mimo Google. K tomu slouží noindex. V tomto článku se dozvíte rozdíl, jak obojí používat a co udělat se stránkou, kterou jste odstranili. Jako příklad používáme example.com.

Rozdíl ve zkratce

Ani jedno z toho není zabezpečení. Vaše robots.txt si může přečíst kdokoli a stránka s noindex zůstává běžně dostupná. Pokud musí být něco opravdu chráněné, umístěte to za heslo. Viz Zabezpečení složky heslem v DirectAdmin.

Použití noindex

Vložte tento řádek do <head> stránky:

<meta name="robots" content="noindex">

U souborů bez HTML, například pdf, může server odeslat stejnou instrukci jako hlavičku: X-Robots-Tag: noindex. Výsledek je stejný.

Většinou to nemusíte psát sami:

• AI Bouwer: otevřete část SEO, vyberte stránku a v části Více pro tuto stránku vypněte přepínač Tato stránka vyhledatelná v Google. Stránka zůstane dostupná, ale dostane noindex. Poté znovu publikujte.
• WordPress: SEO plugin má pro každou stránku nastavení, aby se stránka neindexovala. Zaškrtávací políčko Odrazovat vyhledávače od indexování tohoto webu v Nastavení, Čtení platí pro celý web.
• Jiné tvůrce webů: hledejte nastavení jako "skrýt před vyhledávači".

Vytvoření nebo úprava robots.txt

U hostingového balíčku se robots.txt nachází ve webové složce Vaší domény, v DirectAdmin ve složce public_html. Soubor vytvoříte nebo upravíte přes Správce souborů nebo FTP, viz Otevření Správce souborů: složky ve Vašem balíčku. Příklad:

User-agent: *
Disallow: /zoeken
Disallow: /winkelmand/

Sitemap: https://example.com/sitemap.xml

• User-agent: * platí pro všechny vyhledávací roboty. Disallow: s cestou zakazuje vše, co začíná touto cestou. Disallow: / zakazuje celý web.
• Pokud vytvoříte i skupinu User-agent: Googlebot, Google se řídí pouze touto skupinou a skupinu * ignoruje. Zopakujte tam proto všechna pravidla, která mají pro Google také platit.
• Neblokujte složky se styly, skripty nebo obrázky, které Vaše stránka potřebuje.
• Chybějící robots.txt není problém: pak je povoleno vše. Pokud adresa vrací chybu serveru, Google dočasně přestane stahovat.

WordPress si sám vytvoří robots.txt, dokud ve webové složce žádný soubor není. AI Bouwer při publikování sám vytvoří robots.txt s řádkem Sitemap:.

Google uchovává Váš robots.txt obvykle až 24 hodin. V Search Console najdete v Nastavení přehled robots.txt: kterou verzi Google naposledy stáhl, s chybami a upozorněními, a tlačítko pro opětovné stažení.

Odstraněná stránka: 404 nebo 410, žádné soft 404

Pokud jste stránku odstranili, měla by adresa vracet stavový kód 404 (nenalezeno) nebo 410 (odstraněno). Při další návštěvě pak Google adresu odstraní z výsledků vyhledávání. Má li stránka nástupce, přesměrujte starou adresu pomocí 301 na novou stránku, viz Site Omleiden: přesměrování domény nebo stránky.

Takzvané soft 404 je stránka, která tvrdí, že neexistuje, nebo je téměř prázdná, ale přesto vrací kód 200 (nalezeno). Google to často rozpozná a takovou stránku nezařadí. V Search Console to uvidíte jako důvod Soft 404. I přesměrování všech odstraněných stránek na domovskou stránku může být považováno za soft 404. U stránky, která skutečně zmizela, tedy nechte vrátit skutečné 404 nebo 410.

Musí stránka rychle zmizet z výsledků, například protože na ní byly omylem osobní údaje? Použijte Odstranění v Search Console. To funguje dočasně, přibližně šest měsíců. Zajistěte proto také, aby stránka měla 404, 410, heslo nebo noindex.

Další čtení

• Google: Blokování indexování pomocí noindex (anglicky)
• Google: Úvod do robots.txt (anglicky)
• Google: přehled robots.txt
• Blokování souborů pomocí .htaccess

Používáte WordPress? V lekci Vyhledatelnost: základy bezplatného kurzu WordPress se dozvíte více o robots.txt a zaškrtávacím políčku Odrazovat vyhledávače.