Indeksowanie stron internetowych może potrwać kilka dni… lub dwa miesiące. O tym, jakimi konkretnie zasadami kieruje się Google przy wpisywaniu witryn do swoich baz danych wiemy niestety mniej, niż byśmy chcieli. W poniższym tekście zbierzemy te informacje, którymi kalifornijski gigant podzielił się z ekspertami SEO i wyjaśnimy, jak zaindeksować stronę w Google.
Jak Google podchodzi do indeksowania stron — oficjalne informacje
Jak wspomnieliśmy wyżej, konkretnej odpowiedzi na pytanie ile trwa indeksowanie strony WWW po prostu… nie ma. Oficjalne, dość ogólne informacje na ten temat otrzymujemy w Google Search Centre, skąd wiemy, że:
- „indeksowanie trwa od kilku dni do kilku tygodni”;
- „systemy [Google] najszybciej uwzględniają w indeksie treści o wysokiej jakości, które są przydatne dla użytkowników”.
I to w zasadzie wszystko, co znajdziemy w dokumentacji od Google. Nieco więcej o podejściu do szybkości indeksowania ujawnia John Mueller, czyli „łącznik” Google ze społecznością SEO. Według niego:
- nawet strony internetowe wysokiej jakości, spełniające wszystkie wymagania techniczne Google mogą nie zostać zindeksowane — lub z pewnym opóźnieniem (źródło);
- częstotliwość, z jaką crawlery wracają na raz zindeksowaną witrynę w poszukiwaniu nowych treści nigdy nie jest stała (źródło);
- większość treści wysokiej jakości trafia do wyników wyszukiwania w ciągu tygodnia od publikacji (źródło).
A zatem, jeżeli Twoja witryna rzeczywiście zawiera content dobrej jakości i trudno jej cokolwiek zarzucić od strony technicznej — możesz poczekać nawet kilka dni, zanim pojawi się w wynikach wyszukiwania. Czasem trafi tam po 24 godzinach, innym razem po tygodniu.
Ale gdyby indeksacja strony potrwała dłużej, nadal nie musi to znaczyć, że jest z nią coś nie tak. Google zostawia sobie tutaj całkiem duży margines. I trudno się dziwić, bo roboty Google również mają ograniczone zasoby i cały czas muszą wybierać, na indeksowaniu których adresów URL powinny w danym momencie się skupić. Z reguły priorytet będą miały witryny wyższej jakości… ale znów, nie ma na to gwarancji.
Możesz jednak zwiększyć szanse na to, aby to właśnie Twoja strona została szybko przeanalizowana przez roboty Google. O tym ze szczegółami piszemy poniżej.
Czym jest indeksowanie stron?
Indeksowanie stron w Google to cały proces od chwili, gdy Googlebot trafi na Twoją witrynę, do momentu, gdy znajdzie się ona w bazie danych wyszukiwarki. Czyli, krótko mówiąc, aż stanie się widoczna w wynikach wyszukiwania.
Dopóki Twoja strona nie zostanie zaindeksowana, jedynymi sposobami, aby na nią dotrzeć, będzie wpisanie całego adresu URL w przeglądarce lub kliknięcie prowadzącego do niej linku.
Etapy indeksowania stron przez Google
Proces indeksowania można podzielić na trzy etapy: wykrycie strony przez Googlebota, jej crawlowanie oraz, na końcu, umieszczenie w bazie danych (indeksie). Jeśli strona nie jest rankowana w Google — problem musiał pojawić się na którymś z pierwszych dwóch etapów. Przejdźmy przez nie po kolei.
-
Wykrycie strony przez Google
Roboty Google pracują non stop, automatycznie przeszukując internet w poszukiwaniu nowych witryn. Jednak aby dana strona mogła znaleźć się na orbicie crawlera, w dostępnej dla robotów sieci musi znaleźć się przynajmniej jeden prowadzący do niej link. Crawlery działają na prostej zasadzie: podążają za odnośnikami na stronach już obecnych w bazach danych Google.
W przypadku gdy dodajemy do raz zaindeksowanej strony nowe treści — powiedzmy, artykuł, który właśnie czytasz — tak naprawdę nie trzeba nic robić. Wystarczy, że umieścimy link do nowej podstrony w obrębie domeny i przy następnej wizycie crawlera na stronie trafi ona do indeksu. Zadziała tutaj linkowanie wewnętrzne. Oczywiście, Googlebot może też trafić na link zewnętrzny podczas przeszukiwania zupełnie innej domeny.
Jeżeli jednak witryna jest zupełnie nowa, a adres domeny nigdy nie pojawił się w Google — warto od razu skorzystać z Google Search Console. Indeksacja stron przy pomocy tego narzędzia jest na szczęście bardzo łatwa. Pierwszym krokiem jest zweryfikowanie nowej domeny w GSC i potwierdzenie, że jesteś jej właścicielem; już w ten sposób Google dowie się o istnieniu Twojej strony. Potem, już z poziomu Search Console, możesz:
- zgłaszać do indeksowania pojedyncze adresy URL;
- dodać mapę strony — plik XML z listą wszystkich adresów w obrębie domeny, które powinny zostać przeanalizowane i zaindeksowane przez Googlebota.
W przypadku choć trochę bardziej rozbudowanych witryn przesłanie mapy witryny to jedyna sensowna metoda. Tym bardziej, że w zasadzie każdy CMS oferuje wtyczki z opcją automatycznego generowania i aktualizowania sitemapy.
Przeczytaj także:
Googlebot – co to jest i jak działa? -
Skanowanie strony
Co się dzieje, gdy robot indeksujący dotrze już pod nowy adres?
Najpierw musi w ogóle dostać się na stronę. :) Wiele problemów z indeksowaniem ma swoje źródło właśnie tutaj: w nieprawidłowo skonfigurowanym robots.txt czy błędami po stronie hosta (o tym piszemy nieco niżej).
Załóżmy, że to mu się udało. Następnie crawler będzie musiał stronę wyrenderować (uruchomić kod JavaScript — co ciekawe, jeszcze do niedawna Googleboty miały z tym spore problemy) i dopiero potem zabrać się za analizę treści. Pod uwagę bierze wszystko: meta dane, nagłówki, właściwą treść, a nawet pliki graficzne. Chodzi o to, aby określić tematykę strony i jej funkcję w obrębie domeny, ocenić responsywność pod kątem urządzeń mobilnych, a także zweryfikować, czy rzeczywiście zawiera unikalne treści.
-
Dodanie strony do bazy danych Google
Jeśli strona przejdzie przez poprzednie etapy i zostanie uznana za potencjalnie wartościową — trafi do indeksu Google i pojawi się w wynikach wyszukiwania.
Jak sprawdzić, czy strona jest zaindeksowana? Wystarczy zajrzeć do GSC i zakładki Sprawdzanie adresu URL:
Google nie indeksuje mojej strony — co robić?
Co, jeśli po tygodniu-dwóch od zgłoszenia strony do indeksacji w Google Search Console wciąż będzie widniała informacja, że jej adres URL nie znajduje się w Google? Może to oznaczać jeden z kilku problemów:
- crawlery Google nie mogą dostać się na stronę ze względu na błędy w konfiguracji pliku robots.txt;
- elementy strony są wprost zablokowane w robots.txt przez dyrektywę Disallow;
po zakończeniu prac nad stroną nie usunięto meta tagu:
<meta name="”robots”" content="”noindex”">zalecającego robotom, aby nie podejmowały się skanowania strony;
- Googlebot może zostać także „zablokowany” z poziomu plików .htaccess;
- błędy znalazły się w samej mapie witryny — Google co prawda jest w stanie poradzić sobie bez niej, ale może mieć problemy z dotarciem do głębiej osadzonych w strukturze witryny podstron; sama mapa może być też po prostu nieaktualna;
- problem leży po stronie serwera — warto więc sprawdzić, czy Google może w ogóle nawiązać z nim połączenie, pobrać pliki i je wyrenderować;
- dość często roboty trafiają na przeszkodę źle skonfigurowanych (zbyt rozbudowanych, zawierających błędy itp.) przekierowań między adresami.
Błędy indeksowania można naprawić jedynie u źródła. Ponowne wysyłanie próśb o indeksowanie strony nic nie da, dopóki witryna dalej będzie borykać się z technicznymi problemami.
Wskazówka: informację o tym, na jakim etapie procesu indeksowania wystąpił problem znajdziesz w GSC, w sekcji Dlaczego strony nie są zaindeksowane.
Czy i jak można przyspieszyć indeksowanie strony w Google?
Tak naprawdę nawet specjaliści Google nie mają wpływu na szybkość indeksowania. Wszystko zależy od robotów wyszukiwarki, stojących za nimi algorytmów i odrobiny szczęścia (albo rachunku prawdopodobieństwa). Można jednak temu „szczęściu” pomóc.
Oto kilka wskazówek, jak przyspieszyć indeksowanie strony w Google:
- Zawsze korzystaj z sitemap. Choć Googlebot poradzi sobie bez mapy witryny, jest to wyraźny sygnał, że strona jest gotowa do indeksowania, a także swego rodzaju przewodnik po głębiej ukrytych w strukturze strony URL-ach.
- Umieść link do strony poza swoją domeną — na przykład promując ją na Facebooku czy LinkedInie. Wtedy jest szansa, że Googlebot trafi na nią z innego, często crawlowanego źródła.
- Uprość strukturę strony. Roboty wyszukiwarek mają ograniczone zasoby (tzw. crawl budget) i nie poświęcą ich wszystkich, aby dotrzeć do podstrony ukrytej za 6-7 odnośnikami. Dobrą praktyką jest, aby wszystkie istotne treści znajdowały się w odległości co najwyżej trzech kliknięć od strony głównej domeny.
- Zadbaj o techniczne SEO — choćby o to, aby czas ładowania stron był jak najkrótszy. Oczekiwanie, aż strona się renderuje też „zużywa” zasoby robotów.
- Zastanów się, które podstrony nie wymagają indeksowania i marnowałyby crawl budget. Na pewno nie potrzebujesz w Google bezpośredniego linku do panelu logowania czy koszyka zakupowego. Takie odnośniki można wykluczyć albo w robots.txt, albo definiując atrybut rel=”nofollow” przy samym linku.
