Google nie indeksuje strony – dlaczego? Poradnik

Operator „site:xyz.pl” zawęża wyniki wyszukiwania w Google tylko do adresu sprecyzowanego po dwukropku. To świetne narzędzie do dokładniejszego przeszukiwania sieci, za pomocą którego można także ustalić, czy Twoja witryna została zaindeksowana. Wprowadź tego typu zapytanie w Google i sprawdź, ile wyników udało się znaleźć wyszukiwarce:

W przypadku domeny onet.pl Google znalazło ponad 5 milionów wyników, co oznacza, że strona jest jak najbardziej zaindeksowana. Jeśli chciałbyś sprawdzić indeksację konkretnej podstrony, wystarczy zawęzić zapytanie do jej adresu:

Wybrany artykuł blogowy pojawia się w wynikach wyszukiwania, więc został zaindeksowany. Poza tym dzięki opcji "cache" można również sprawdzić, kiedy strona była indeksowana ostatnim razem. Wystarczy rozwinąć trójkącik znajdujący się przy każdym z wyników wyszukiwania i kliknąć "Kopia".

Google Search Console daje dostęp do bardziej zaawansowanych narzędzi pozwalających na sprawdzenie indeksowania. W menu nawigacyjnym przejdź do Indeks > Stan:

Możesz znaleźć tutaj liczbę podstron z Twojej witryny, które zostały rozpoznane przez Google’a. Jeśli ich ilość wynosi 0, oznacza to, że cała strona ma problem z indeksowaniem.

Górny pasek w Google Search Console pozwala także sprawdzić wybrany adres URL:

Jeśli dana podstrona nie została zaindeksowana, otrzymasz następującą informację:

Poniżej znajduje się opcja Poproś o zindeksowanie. Gdy z niej skorzystasz, URL zostanie dodany do priorytetowej kolejki indeksowania. Ponowne wysłanie takiej prośby nie ma jednak sensu, gdyż niczego nie zmieni.

Robots.txt to tak naprawdę pierwszy plik, jaki Googlebot odwiedza, gdy przystępuje do crawlingu strony. Jest tak, gdyż to właśnie w nim można znaleźć instrukcje dotyczące tego, jakich podstron nie należy indeksować. W nagłówku każdej podstrony można zawrzeć tag, który określa, jak ma ona być traktowana przez plik robots.txt, a więc w efekcie, czy będzie indeksowana:

<meta name="robots" content="noindex">

Oznaczenie noindex sprawia, że Google nie indeksuje strony. Stosuje się je np. wtedy, gdy witryna jest dopiero tworzona lub trwa jej przebudowa. W takiej sytuacji oczywiście jej zawartość nie powinna być jeszcze widoczna. Jako że oznaczenie noindex odnosi się do indywidualnej podstrony, nie dziwne, że w przypadku rozbudowanej witryny czasami jego usunięcie można przeoczyć. W efekcie pewna zawartość nie będzie indeksowana przez Google. Upewnij się zatem, że każda podstrona jest odpowiednio oznaczona.

Osierocone strony (orphan pages) to podstrony, które znajdują się w witrynie, jednak nie prowadzą do nich żadne wewnętrzne linki. Użytkownik może na nie trafić, jeśli zna dokładny adres URL. Taka sytuacja stwarza jednak problem, jeśli chodzi o indeksowanie.

Jak wspomniano wcześniej, crawling to kluczowy aspekt indeksacji stron. Nazwa programu, który jest odpowiedzialny za ten proces (crawler), nie jest przypadkowa. Taki bot pełźnie (z angielskiego crawl) od jednej strony do innych, korzystając przy tym z linków, jakie się między nimi znajdują. Osierocona strona w zasadzie nie może być zaindeksowana, gdyż Googlebot nie ma jak się na nią dostać, aby przeprowadzić crawling. Właśnie z tego powodu ważne jest realizowanie przemyślanego linkowania wewnętrznego. Jeśli zostanie ono wykonane w prawidłowy sposób, każda podstrona będzie właściwie podlinkowana. O osieroconych podstronach warto szczególnie pamiętać podczas przeprowadzania migracji strony, gdyż łatwo wtedy o utratę kluczowych wewnętrznych połączeń.

Aby znaleźć orphan pages, wyeksportuj swoje adresy URL, a następnie porównaj je z listą podstron znalezionych przez Google’a, która znajduje się w Google Search Console. Warto też skorzystać ze specjalnych narzędzi jak Screaming Frog SEO Spider.

Google każdego dnia indeksuje mnóstwo nowej zawartości. Zasoby wyszukiwarki są jednak ograniczone, dlatego Googlebot nie może za każdym razem dokonać crawlingu całej strony. Z tego powodu każdy crawler odwiedza Twoją witrynę z pewnym budżetem, który ogranicza, ile nowej treści może przeanalizować.

Jeśli na przykład Twoja witryna składa się z 300 podstron, a budżet Googlebota ogranicza crawling do 10 na dzień, minie miesiąc, zanim crawler ponownie „przepełźnie” przez całą witrynę. Nie oznacza to oczywiście, że w takiej sytuacji musiałbyś czekać aż 30 dni, aby Google zaindeksowało np. nowe artykuły blogowe. Web spider jest w stanie wykryć nowy content na przykład dzięki zgłoszeniu mapy strony w Google Search Console i nadać mu priorytet.

W mapie witryny znajdują się informacje na temat jej zawartości jak podstrony, pliki multimedialne i linki. Google korzysta z tego pliku, aby lepiej indeksować całą stronę. Dzięki niemu może nawet znaleźć osierocone strony. Wiele CMS-ów oraz usług hostingowych pozwala automatycznie stworzyć i przesłać taką mapę witryny.

Postaraj się, aby do każdej podstrony, a przynajmniej do tych najważniejszych, dało się przejść za pomocą jednego linka na stronie głównej. Nie umieszczaj odnośników w niestandardowy sposób np. w plikach multimedialnych.

Jeśli linki korzystają z licznych parametrów URL (np. xyz.pl?produkt=123), ich indeksowanie może być trudniejsze niż w przypadku zwykłej ścieżki URL (np. xyz.pl/oferta/monitor1).

Niski crawl budget może zatem prowadzić do problemów z indeksowaniem stron internetowych. Jak go zatem poprawić? Pamiętaj, że wielkość budżetu jest w dużym stopniu uzależniona od autorytetu witryny – dbaj więc o jakościowe linki zwrotne i przydatny content, a Google nada priorytet Twojej witrynie. Jak wspomniano wcześniej, linkowanie wewnętrzne jest konieczne, aby Google było w stanie sprawnie dokonać crawlingu zawartości strony. Z drugiej strony niewłaściwe zrealizowanie tego procesu może przyczynić się do problemów z budżetem. Jeśli do jednej (tak naprawdę nieważnej) podstrony kieruje zbyt dużo linków, Googlebot nada jej wysoki priorytet, przez co budżetu może zabraknąć na inne części witryny. Podobnie zbyt skomplikowane łańcuchy przekierowań także mogą wyczerpać crawl budget, dlatego warto je jak najszybciej zoptymalizować.

Aby crawl budget nie był marnowany na podstrony, których zawartość nie jest wartościowa i nie powinna być indeksowana, warto je wykluczyć w pliku robots.txt. Jest to prosty plik tekstowy, który działa jak przewodnik po witrynie i wskazuje robotom indeksującym, które strony należy wykluczyć przy skanowaniu. W ten sposób crawl boty mogą oszczędzić czas i zająć się tylko tymi podstronami, które są naprawdę wartościowe.