X-Robots-Tag - co to jest?

X-Robots-Tag - definicja

X-Robots tag to element nagłówka HTTP, który informuje Googlebota o tym, jak crawlować i indeksować witrynę internetową. W przeciwieństwie do Meta Robots tag, który działa jedynie w kodzie HTML, X-Robots tag może zostać użyty do dokumentów PDF, zdjęć, plików tekstowych itd.

Dyrektywy X-Robots-Tag

Najpopularniejsze reguły X-Robots tag:

• noindex – informuje boty Google, by nie wyświetlały witryny lub treści multimedialnych w SERP-ach,
• nofollow – atrybut nofollow informuje roboty wyszukiwarki, by nie podążały za linkami, które są w witrynie,
• none – odpowiednik atrybutów noindex oraz nofollow,
• noarchive – informuje boty, by nie pokazywały scache’owanych stron w wynikach wyszukiwania,
• nosnippet – uniemożliwia wyświetlenie krótkiego fragmentu strony w SERP-ach.

Kiedy używać nagłówka X-Robots-Tag?

Pomimo tego, że większość reguł możesz ustalić za pomocą Meta Robots tag, X-Robots tag może być przydatny, kiedy:

• chcesz poinformować wyszukiwarkę, by nie indeksowała plików multimedialnych lub zdjęć,
• potrzebujesz ustalić dyrektywę na całą witrynę, a nie tylko na podstronę.

Jak widzisz, do zablokowania elementów strony możesz użyć dwóch narzędzi – Meta Robots tag lub X-Robots tag. To, jakiego użyjesz, zależy od celu. Jeśli potrzebujesz zablokować podstronę w formacie HTML, wystarczy użycie tego pierwszego. Jeżeli natomiast blokujesz np. zdjęcie lub dokument PDF, wtedy bardziej przyda się X-Robots tag.