Sitemap a robots.txt ve WordPressu a na Vašem vlastním webu

Sitemap je seznam adres, které chcete mít ve vyhledávačích. Soubor robots.txt říká vyhledávačům, které adresy nesmějí navštěvovat a kde najdou Vaši sitemap. Takto je zkontrolujete ve WordPressu a na webu, který si vytváříte sami.

WordPress

WordPress od verze 5.5 sám vytváří sitemap i robots.txt:

• Sitemap najdete na adrese https://jouwdomein.nl/wp-sitemap.xml.
• Soubor robots.txt je virtuální: ve Vaší webové složce žádný soubor není, ale WordPress ho zobrazí na adrese https://jouwdomein.nl/robots.txt, včetně odkazu na sitemap.
• Používáte SEO plugin, například Yoast SEO nebo Rank Math? Ten často vytváří vlastní sitemap, například sitemap_index.xml. Adresu najdete v nastavení pluginu. Právě tuto adresu odešlete do Google a Bing.

Výchozí robots.txt ve WordPressu vypadá přibližně takto:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Neblokuje WordPress vyhledávače?

1. Přihlaste se do WordPressu a přejděte do Nastavení a poté Čtení.
2. U viditelnosti pro vyhledávače se podívejte na zaškrtávací políčko Požádat vyhledávače, aby neindexovaly tento web.
3. Toto políčko musí být nezaškrtnuté. Klikněte na Uložit změny.

Je-li políčko zaškrtnuté, WordPress žádá vyhledávače, aby celý Váš web přeskočily. Často se zapíná během tvorby webu a pak se na něj zapomene.

Více o viditelnosti ve WordPressu se dočtete v článku Viditelnost ve vyhledávačích: základy.

Vlastní robots.txt

Pokud do své webové složky sami vložíte soubor robots.txt, má přednost před virtuálním robots.txt WordPressu. U webhostingu WebOké je webovou složkou Vaší domény public_html. Soubor do ní nahrajete pomocí Správce souborů v DirectAdmin (viz Otevření Správce souborů: složky ve Vašem balíčku) nebo přes FTP.

Jednoduchý robots.txt, který vše povoluje a odkazuje na Vaši sitemap:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Web, který si vytváříte sami

Vytváříte si web sami nebo v jiném programu? Pak zjistěte, zda tento program vytváří sitemap. Pokud ne, obejdete se bez ní: i malý web s dobrými odkazy mezi stránkami vyhledávače najdou. Sitemap ale pomáhá. Umístěte ji do své webové složky a uveďte ji v robots.txt, jak je popsáno výše.

Kontrola

• Otevřete https://jouwdomein.nl/robots.txt. Je pod User-agent: * uvedeno Disallow: /? Pak Váš web nesmí navštívit žádný vyhledávač. Jakmile je web hotový, tento řádek odstraňte.
• Je tam řádek Sitemap:? Otevřete tuto adresu v prohlížeči. Měli byste vidět seznam adres Vašeho webu s https a Vaší vlastní doménou.

Tip: robots.txt stránku z Google nevyřadí. Stránka, kterou vyhledávače nesmějí navštívit, se přesto může objevit ve výsledcích vyhledávání, pokud na ni odkazují jiné weby. Chcete-li stránku z Google skutečně vyřadit, použijte noindex. Rozdíl se dozvíte v lekci robots.txt: co blokujete a co ne z kurzu Být vidět online.