Wojciech Bębenek Blog Marketing SEO 9 czerwca 2026

Jak Google „czyta” Twoją stronę? Crawl i indeksacja w prostych słowach

Wyobraź sobie, że zatrudniasz najlepszych copywriterów, inwestujesz krocie w link building, a opisy produktów dopieszczasz do perfekcji. Pomimo tych działań, ruch organiczny nadal stoi w miejscu, a nowe kolekcje indeksują się wolno lub wcale. Przyczyn może być wiele, ale jedną z najbardziej prawdopodobnych może okazać się potężny wyciek crawl budgetu (budżetu crawlowania). Co to takiego ten crawl budget i dlaczego jest wart uwagi w biznesie? Od praktycznej strony omawiam to w poniższym artykule.

Artykuł w pigułce: to koniecznie zapamiętaj z artykułu! ⬇️

Jeśli zarządzasz e-commerce efekty wydanego budżetu marketingowego na content i link building, może blokować technologia. Oto co musisz wiedzieć o crawl budget z perspektywy biznesowej:

Finansowy wyciek: Googlebot nie ma nieskończonego czasu. Jeśli Twój system generuje miliony podstron bez wartości (filtry, parametry sortowania, błędy techniczne), robot marnuje na nie moc obliczeniową, zamiast indeksować nowe kolekcje i produkty, które mają dla Ciebie zarabiać.
Paraliż marketingu: brak optymalizacji crawl budgetu sprawia, że nowo opublikowany content lub unikalny asortyment ląduje w Google Search Console ze statusem „Wykryto – obecnie niezindeksowana”. W języku biznesu oznacza to: ta strona dla klientów nie istnieje.
Zarządzanie, nie mikroklikanie: nie musisz wiedzieć, jak edytować pliki systemowe, jednak powinieneś/powinnaś egzekwować cel od odpowiedzialnego za to zespołu. Pomagają przy tym, jasno ustalone KPI: optymalizacja szybkości serwera, odcięcia robotów od wyższych kombinacji filtrów fasetowych oraz czyszczenia technicznej struktury sklepu.
Szybki zysk (Quick Win): udrożnienie budżetu skanowania to bardzo efektywna metoda na uwolnienie ukrytego ruchu organicznego – bez wydawania ani jednej dodatkowej złotówki na nowe teksty czy linki.

Wojciech Bębenek

SEO Expert

Wojciech Bębenek

SEO Expert

Crawl budget - dlaczego Twój e-commerce może przez niego tracić fortunę?

Co to jest crawl budget?

Crawl budget (budżet crawlowania) to ograniczone zasoby czasu i mocy obliczeniowej, jakie roboty Google (Googleboty) przeznaczają na skanowanie, zrozumienie i analizę Twojej witryny w określonym czasie. Mówiąc najprościej – Googlebot nie ma nieskończonego czasu ani darmowego prądu. Na każdą stronę internetową przeznacza określoną porcję zasobów. Wchodzi, skanuje i wychodzi. Jeśli Twój e-commerce to wielopoziomowy labirynt pełen pustych adresów, zbędnych filtrów i duplikatów, robot zmęczy się na samym wejściu. Przejrzy setki tysięcy bezwartościowych podstron , a do Twoich kluczowych produktów biznesowych nawet nie dotrze. Efekt? Pozostałe działania SEO przyniosą Ci jedynie połowiczne efekty, a Ty przepalisz budżet marketingowy.

Strategia crawl budgetu, czyli jak nakarmić algorytm właściwymi danymi

Zarządzanie budżetem crawlowania to nie jest sztuka dla sztuki. Tak jak pisałem wyżej, Googlebot skanuje Twój serwis w bardzo konkretnym celu: chce zrozumieć architekturę witryny, zaindeksować ją i – w efekcie – dostarczyć Ci wartościowy ruch organiczny Problemy z crawl budgetem najczęściej dotyczą większych e-commerce’ów, natomiast nawet mniejsze sklepy oraz serwisy contentowe potrafią sporo tracić z powodu braku odpowiedniej strategii i wdrożonej optymalizacji.

Tworząc strategię crawl budgetu musimy sobie odpowiedzieć na pytanie, w jakim celu w ogóle to robimy? Odpowiedź jest prosta, Googleboty skanują każdą stronę internetową po to, aby:

Zrozumieć czego dotyczy serwis.
Zaindeksować serwis w wynikach organicznych.
W efekcie wygenerować ruch organiczny.

Punkt 1. jest kluczowy w kontekście optymalizacji crawl budgetu. To właśnie poprawne zrozumienie całego serwisu przez Googlebota jest w stanie poprawić jego widoczność i ruch organiczny. Aby to osiągnąć, należy zadbać o to, aby Googlebot skanował tylko te adresy URL, które są istotne z punktu widzenia SEO, jak i biznesu. Wielokrotne skanowanie serwisu w formie, w której Googlebot odwiedza wyłącznie strony, które posiadają wartościowy content, nie są zduplikowane, czy nie posiadają parametru noindex pozwala Google’owi zrozumieć cały kontekst.

Jeśli odpowiednio „nakarmisz” algorytm unikalnym contentem, wolnym od duplikatów i technicznego chaosu, uruchomisz poniekąd mechanizm machine learningu, który realnie wyskaluje najtańszy kanał pozyskiwania klientów – Organic Search.

Uporządkowana struktura crawl budgetu jest solidną bazą, na podstawie której Googleboty uczą się serwisu. Co się jednak dzieje, gdy puszczasz proces samopas?

W nieuzbrojonym e-commerce wszystkie filtry, parametry sortowania i techniczne zakamarki bardzo często są otwarte na oścież. Googlebot, zamiast analizować strukturę kategorii, zaczyna kręcić się w kółko, sprawdzając setki tysięcy kombinacji filtrów z jednym produktem na krzyż.

Owszem, Twoja strona nadal będzie pojawiać się w wyszukiwarce. Jednak o spektakularnych wzrostach i dominacji w branży możesz zapomnieć – chaotyczna baza adresów URL to skuteczny blocker dla każdego algorytmu. Uporządkowanie tej struktury to proces, który przy dużych serwisach potrafi zająć Google od kilku miesięcy do nawet ponad pół roku. Im szybciej zaczniesz, tym szybciej odetniesz konkurencję od żerowania na Tobie.

Dlaczego nie każda strona trafia do Google?

Analiza crawl budgetu wymaga opanowania podstawowych zasad indeksacji stron w wynikach organicznych, czyli reguł określających, czy dana podstrona trafi do indeksu, czy nie. Googlebot nie jest jasnowidzem. Jeśli nie zostawisz mu w kodzie jasnej instrukcji, zacznie działać po swojemu – a to (jak wiesz) w dużym e-commerce rzadko kończy się dobrze.

„Drogi Googlebocie, wejdź i sprzedawaj”

Jeśli chcesz, aby dana podstrona (np. kluczowa kategoria produktowa czy wpis blogowy) generowała ruch, musi mieć otwartą drogę do indeksu. Podstrony, które chcemy zaindeksować, powinny posiadać „na sztywno” w kodzie HTML (oraz wyrenderowanym DOM) poniższy zapis:

<meta name=”robots” content=”index, follow”>

Taki zapis można uznać jako deaful’towy, bo Google domyślnie uznaje strony za indeksowalne. Jeśli robot nie znajdzie wyraźnego zakazu (dyrektywy noindex w kodzie) lub linku canonical kierującego na inny adres URL, zakłada, że chcesz się pokazać światu.

Aby robot nie pogubił się w strukturze, powinieneś/powinnaś jednak podbić tę decyzję tzw. self-referencing canonical, czyli „canonicalem na siebie”.

„Wstęp tylko dla personelu”

Z drugiej strony masz setki tysięcy adresów, których klient nigdy nie powinien zobaczyć w Google – koszyki zakupowe, panele logowania, regulaminy czy nieszczęsne, wielopoziomowe kombinacje filtrów. Wrzucenie tam komendy odcinającej indeksację sprawia, że Googlebot, gdy już tam trafi, odbija się od ściany i nie zaśmieca wyników wyszukiwania.

Podstrona, której nie chcemy w indeksie, powinna mieć zapis:

<meta name=”robots” content=”noindex, nofollow”>

W tym przypadku obecność linku self-referencing canonical schodzi na dalszy plan – może tam być, ale jego brak nikomu nie zaszkodzi.

Dla adresu URL: https://domena.com/example/, self-referencing canonical powinien wyglądać następująco:
PRZYKŁAD SELF-REFERENCING CANONICAL

Gdzie najczęściej znika ruch w Twoim e-comm erce? Najczęstsze blokady indeksacji

Podczas audytów najczęściej spotykam trzy techniczne blokady, które potrafią skutecznie odciąć witrynę od dopływu nowych klientów. Co najgorsze – często dochodzi do nich przez drobne niedopatrzenia deweloperskie lub tzw. czeskie błędy w konfiguracji CMS-a. Trzej główni podejrzani, których Twój zespół SEO powinien prześwietlić w pierwszej kolejności to:

meta robots,
link canonical,
dyrektywy w pliku robots.txt.

Dyrektywa noindex w tagu meta robots

To najprostsza i najczęstsza blokada. Wystarczy jedno słowo w kodzie strony, aby Google potraktował całą kategorię produktową jak powietrze. Właśnie ten element warto sprawdzić w pierwszej kolejności.

Pamiętaj o jednym – samo wpisanie noindex sprawia, że strona nie wyświetli się w wynikach wyszukiwania, ale Googlebot nadal musi na nią wejść, aby tę dyrektywę przeczytać. Jeśli Twój system generuje miliony stron z tagiem noindex (np. przez brak optymalizacji filtrowania produktów), robot i tak marnuje Twój cenny crawl budget na ich ciągłe odwiedzanie.
PERPEKTYWA CRAWL BUDGET'U

Wojna o Canonical, czyli kiedy Google „wie lepiej”

Link kanoniczny (canonical) to drogowskaz dla Googlebota. Problem pojawia się wtedy, gdy na podstronie, którą chcesz zaindeksować w Google, w meta robots ustawiony jest index, ale link canonical kieruje zupełnie gdzie indziej (np. na stronę główną lub do innej kategorii). W takiej sytuacji podstrona ta nie trafi do indeksu, bo z perspektywy Google, w jakiś sposób duplikuje ona content znajdujący się pod adresem kanonicznym.

Warto również dodać, że Google nie zawsze respektuje ustawiony przez nas link canonical. Na przykład w sytuacji, gdy jakość treści na stronie uznanej za kanoniczną będzie niska, Google zignoruje Twoje instrukcje i samodzielnie wybierze inny adres kanoniczny. Możemy to zaobserwować w GSC podczas analizy pojedynczych URLi.
💡 ALERT DLA MANAGERA

Dyrektywy disallow w pliku robots.txt

Kolejną blokadą indeksacji mogą być dyrektywy disallow w pliku robots.txt. Takie dyrektywy, same w sobie nie stanowią blokady przed indeksowaniem, ponieważ do poszczególnych adresów URL blokują one dostęp tylko Googlebotom.

Plik robots.txt to jednak pierwsza rzecz, jaką Googlebot czyta po wejściu na Twój serwer. Dyrektywa Disallow działa jak zamknięta brama z napisem: „Zakaz wstępu dla robotów”, więc to tu dochodzimy do największego paradoksu technicznego SEO, na którym wykłada się wielu deweloperów.

Wyobraź sobie sytuację: przez pomyłkę wdrożono tag noindex na ważną kategorię. Strona znika z Google, więc chcesz to szybko naprawić. W tym celu zmieniasz tag na index, ale jednocześnie Twój programista – chcąc „oszczędzić crawl budget” – blokuje cały ten katalog w pliku robots.txt za pomocą reguły Disallow.

Co się dzieje? Googlebot odbija się od bramy (robots.txt). Nie wchodzi na stronę, więc… nigdy nie dowie się, że usunąłeś/aś z niej blokadę noindex. Strona zostaje uwięziona w cyfrowej próżni.

Optymalizacja crawl budgetu krok po kroku

Aby pokazać Ci, jak te mechanizmy działają na żywym organizmie, w tej części artykułu skupimy się na optymalizacji crawl budgetu w przykładowym sklepie internetowym.

Wyobraźmy sobie duży, wielobranżowy e-commerce – z dziesiątkami tysięcy produktów, setkami kategorii, dynamicznym systemem filtracji i stale rotującym asortymentem. To idealne środowisko dla Googlebota, ale też… podręcznikowe miejsce do powstawania technicznego chaosu, który po cichu podgryza Twoje zyski.

Rozłóżmy proces audytu i optymalizacji takiego serwisu na czynniki pierwsze. Dokładnie tak, jak robimy to krok po kroku, pracując z markami, które chcą przeskalować swój ruch organiczny i odblokować pełen potencjał dotychczasowych działań SEO.

Krok 1: Wielka inwentaryzacja, czyli co powinno być indeksowane?

Pierwszym zadaniem w procesie optymalizacji jest szczera selekcja. To moment, w którym warto określić grupy adresów URL, które powinny być indeksowalne oraz upewnić się, czy posiadają one dyrektywę index w meta robots, a także czy nie są w żaden inny sposób blokowane przed indeksacją (np. blokada w pliku robots.txt, link canonical na inny adres).

W tabeli poniżej znajdują się przykładowe grupy adresów URL, które powinny być indeksowalne w środowisku e-commerce:

Nazwa	Adres URL
Strona główna	https://domena.pl
Kategorie	https://domena.pl/kategoria/
*Indeksowalne filtry	https://domena.pl/kategoria/filtr1
Strony paginacji	https://domena.pl/kategoria?strona=2
Karty produktowe	https://domena.pl/kategoria/produkt/
Strona główna bloga	https://domena.pl/blog/
Strony paginacji na blogu	https://domena.pl/blog?strona=2
Wpisy blogowe	https://domena.pl/blog/wpis-blogowy/
Strony marek	https://domena.pl/marka1/
LP istotne od strony SEO	https://domena.pl/oferta-walentynkowa/

*Gdzie postawić granicę? Wojna o filtry w e-commerce

Najbardziej gorącym punktem każdego audytu e-commerce jest tzw. filtracja fasetowa. To, co uznamy za indeksowalne filtry zawsze zależy od indywidualnego researchu potencjału wyszukiwań słów kluczowych. Chodzi tutaj o miejsce, w którym stawiamy granicę pomiędzy indeksowalnymi a nieindeksowalnymi kombinacjami filtrów. Najczęściej jest to granica pomiędzy dwoma a trzema kombinacjami, gdzie od trzeciego filtra w górę zaczyna się noindex.

Sam research odbywa się na bazie danych w planerze słów kluczowych. Jeśli np. frazy targetujące podwójne filtry posiadają search volume, wówczas warto zachować je jako indeksowalne. Zobrazujmy to najprostszym przykładem:

Filtr 1 – marka – Nike
Filtr 2 – kolor – Czarny

Widzimy, że taki filtr posiada wyszukiwania, co oznacza, że warto zachować poziom indeksacji do podwójnych filtrów włącznie.

Krok 2: Odcinanie cyfrowego balastu: co NIE powinno być indeksowane?

Skoro wiemy już, co zarabia, czas zidentyfikować „pasażerów na gapę” – adresy URL, które wprowadzają chaos, zżerają moc obliczeniową Googlebota i rozmywają autorytet domeny. To tak zwane śmieciowe URLe (garbage URLs).

W tabeli obok znajdują się przykłady takich grup adresów URL:

Przykład	Przykładowy adres URL
Wysokie kombinacje filtrów	https://domena.pl/kategoria/filtr1x2x3x4x5x6
Kombinacje filtrów w obrębie tej samej grupy filtrów	https://domena.pl/kategoria/filtr1xmarka-1xfiltr2xmarka-2
Adresy z parametrami ilość na stronie	https://domena.pl/kategoria?pokaz=72
Adresy z parametrami sortowania	https://domena.pl/kategoria?sortuj=cena_od_najmniejszej
Adresy z innymi parametrami	https://domena.pl/kategoria?fq=63836745
Adresy z wewnętrznej wyszukiwarki*	https://domena.pl/?search=słowo-kluczowe

* Jeśli chodzi o adresy z wewnętrznej wyszukiwarki, to kwestia ich blokady powinna być zgodna ze strategią indeksacji. Jeśli Twój sklep nie posiada klasycznego drzewa kategorii, a cała nawigacja opiera się na dynamicznych filtrach, dobrze zoptymalizowane strony wyszukiwarki mogą służyć za indeksowalne listingi.
PAMIĘTAJ!

Krok 3: Szybki test: jak bardzo Twój indeks jest „zaśmiecony”?

Mając już określone adresy URL, których chcemy się pozbyć z indeksu, możemy w prosty i szybki sposób, sprawdzić ich aktualną obecność w Google wpisując poniższą dyrektywę w wyszukiwarce.

Przykład dla adresów sortowania: site:domena.pl inurl:”sortuj”.

Następnie możemy również sprawdzić, na jaką skalę indeksują się adresy URL z tej grupy.

Krok 4: Analiza raportów w GSC

W całym procesie optymalizacji crawl budgetu kluczowa jest również stała obserwacja sytuacji w raportach. Sprawdzisz to w zakładce:
Indeksowanie > Strony w GSC.

Większość raportów w tej zakładce będzie bardzo pomocnych przy podejmowaniu i weryfikowaniu działań. Szczególnie istotne w tym zakresie będą m.in. raporty wspomniane już przeze mnie wyżej:

Strona wykluczona za pomocą tagu „noindex”

Czy ilość adresów URL się zwiększa? Rosnący słupek w tym raporcie to dowód na to, że Googlebot posłusznie czyta nowe instrukcje i konsekwentnie sprząta techniczny śmietnik (sortowania, śmieciowe filtry). Strony te przestają obciążać budżet, a serwis przechodzi zdrowy, cyfrowy detoks.

Duplikat, wyszukiwarka Google wybrała inną stronę kanoniczną niż użytkownik

Brak optymalizacji crawl budgetu bardzo często generuje liczne duplikaty, które trafiają do tego raportu. Uporządkowanie go ucina ten chaos – odcina bota od powielonych treści, przywraca autorytet właściwym stronom kanonicznym.

Co dzieje się po wdrożeniu zmian?

Określenie tego, co powinno i co nie powinno być indeksowane jest pierwszym podstawowym krokiem w całej optymalizacji crawl budgetu.

Rozpisanie takiego planu, a następnie jego wdrożenie rozpoczyna okres tak zwanego przeindeksowania serwisu. To wtedy Googlebot zaczyna zauważać wprowadzane zmiany w zakresie tagu meta robots i odkrywa zmienione dyrektywy index / noindex na poziomie poszczególnych podstron. Czego możesz się teraz spodziewać?

Jest to moment, w którym intensywność skanowania może znacznie wzrosnąć z uwagi na masowo wprowadzane zmiany. Googlebot je zauważa, więc zaczyna przeznaczać większe zasoby na crawlowanie serwisu. Zmianę intensywności skanowania możemy obserwować w raporcie – Statystyki indeksowania w GSC.

Jest to również etap, w którym pozwalamy na swobodny proces crawlowania i przeindeksowania całego serwisu na nowo. Co ważne, w tym czasie nie wprowadzamy żadnych dodatkowych zmian z zakresu optymalizacji crawl budgetu. Okres ten daje Googlebotom możliwość zrozumienie na nowo całej architektury serwisu, dlatego przez kolejne miesiące lepiej nie zaburzać tego procesu żadnymi dodatkowymi zmianami. Na kolejne ulepszenia w obszarze crawl budgetu przyjdzie jeszcze czas.

W tym czasie warto jednak obserwować ilość zaindeksowanych URLi, do których dodaliśmy noindex. Najprostszą metodą kontroli jest regularne sprawdzanie w wyszukiwarce wspomnianej wcześniej komendy site: połączonej z parametrem, który właśnie zablokowałeś/aś przed indeksacją (np. site:twoj-ecommerce.pl inurl:sortuj).

Twój cel biznesowy na tym etapie jest prosty: liczba zaindeksowanych, śmieciowych adresów URL w zakładce narzędzi Google powinna z tygodnia na tydzień systematycznie i stopniowo maleć. Każdy znikający z tego raportu adres to odzyskany ułamek sekundy uwagi Googlebota, który docelowo zostanie przekierowany na podkręcanie widoczności Twoich realnych produktów.
💸 NA CO LICZYĆ?

Jak sprawdzić, co widzi Google? Statystyki indeksowania

Aby przejść do analizy crawl budgetu, musisz najpierw sprawdzić, co tak naprawdę Googlebot widzi na Twojej stronie. Interesują nas odpowiedzi na cztery konkretne pytania:

Które adresy URL skanuje robot?
Których adresów URL w ogóle nie skanuje?
Które adresy URL ostatecznie indeksuje?
Jak duży jest bałagan w obecnym indeksie Google?

Do tej weryfikacji wykorzystujemy dwa główne źródła danych: logi serwera oraz raporty w Google Search Console.

Analiza logów serwera

Jednym z podstawowych sposobów analizy crawl budgetu jest analiza logów serwera. W tym celu potrzebujesz surowych danych dotyczących tego, które dokładnie adresy URL były skanowane przez Googlebota. Z prośbą o taki zrzut danych warto zgłosić się do działu IT.

Pamiętaj, aby dane były odfiltrowane po konkretnych identyfikatorach (User-Agent). Ponieważ Google indeksuje strony przede wszystkim na smartfonach, kluczowe będą dwa roboty:

1.Googlebot Smartphone (Mobilny – najczęstszy)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

2. Googlebot Desktop (Stacjonarny)

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Analiza raportów w GSC

Co w przypadku, gdy brakuje nam danych z logów serwerów? Niestety, prowadząc projekt SEO, zdarza się to częściej, niż byśmy chcieli.

Alternatywnym i obecnie bardzo częstym rozwiązaniem jest analiza crawl budgetu na bazie danych w Google Search Console. Aktualnie, to narzędzie jest w stanie nam dostarczyć, może niepełny, ale z pewnością wystarczająco szeroki obraz tego, w jaki sposób Googlebot skanuje nasz serwis.

Zakładka Strony w GSC

W zakładce – Strony – w Google Search Console znajdziesz szereg raportów odnoszących się do skanowanych przez Googlebota adresów URL. Ogromną zaletą tego widoku jest to, że Google automatycznie grupuje adresy pod kątem tego, jak „widzi” je robot. Kluczowe statusy, które musisz przeanalizować pod kątem crawl budgetu, to:

Strona wykluczona za pomocą tagu „noindex”.
Strona zeskanowana, ale jeszcze nie zindeksowana.
Strona wykryta – obecnie niezindeksowana.
Duplikat, użytkownik nie oznaczył strony kanonicznej.
Duplikat, wyszukiwarka Google wybrała inną stronę kanoniczną niż użytkownik.
Strona zawiera przekierowanie.
Błąd przekierowania.
Strona zablokowana z powodu zabronionego dostępu (błąd 403).
Nie znaleziono (404).
Błąd serwera (5xx).
Strona zablokowana przez plik robots.txt.
Pozorny błąd 404.
Strona zablokowana z powodu innego błędu 4xx.

Dane z tych raportów to Twoja solidna podstawa do wdrożenia konkretnych poprawek.

Statystyki indeksowania w GSC

Kolejną istotną zakładką w GSC w kontekście optymalizacji crawl budgetu są „Statystyki indeksowania”. Znajdziesz tu wykres obrazujący, z jaką intensywność Googlebot skanował serwis per dzień przez ostatnie 3 miesiące.

Wykres ten pozwala zidentyfikować sytuacje, w których dochodzi do zbyt intensywnego skanowania, co potrafi mocno obciążyć wydajność serwera. Czasami jest to efekt aktualizacji algorytmu (Google wykonuje wtedy tzw. deep crawl, który pochłania znacznie większe zasoby). Bardzo częstą przyczyną jest jednak kompletny brak optymalizacji crawl budgetu, czyli pozostawienie serwisu „na pastwę” Googlebotów.

Kolejne trzy kluczowe raporty w tej zakładce, które musisz przeanalizować, to:

1.„Według odpowiedzi”: tutaj sprawdzisz statystyki odpowiedzi serwera. Daje to wgląd w to, w jakim procencie serwis odpowiada poprawnym kodem 200, a ile zasobów bota marnuje się na błędy 4xx, 5xx czy przekierowania.

2. „Według typu Googlebota”: pokazuje podział procentowy skanowania na konkretne roboty. Z reguły większość powinna przypadać na Smartfon. Jeśli tak nie jest, to sygnał mówiący o tym, że serwis może nie być w pełni przystosowany do urządzeń mobilnych.

3. „Według przeznaczenia”: wyjątkowo istotna statystyka, gdzie należy zwrócić uwagę na raport Wykrywalność. Znajdziesz tam adresy URL, do których Googlebot dociera na bieżąco. Na tej podstawie szybko określisz, czy robot marnuje czas na nieistotne pod kątem SEO strony i na jaką skalę to robi.

Analiza plików sitemap

Pliki sitemap grupują adresy URL, które chcemy, aby Googlebot na bieżąco crawlował i indeksował. Z tego powodu analiza ich zawartości oraz mechanizmów działania jest kluczowa przy optymalizacji crawl budgetu.

W e-commerce dość częstym zjawiskiem jest niepoprawna konfiguracja map witryny, przez co trafiają do nich adresy, które nigdy nie powinny się tam znaleźć. Aby mechanizm plików sitemap funkcjonował prawidłowo, należy wdrożyć kilka globalnych zasad:

Limit adresów: żadna pojedyncza sitemapa nie powinna przekraczać limitu 50 tysięcy adresów URL. W momencie, w którym ta liczba zostanie osiągnięta, system powinien automatycznie wygenerować kolejny plik (np. z dopiskiem _2) dla adresów powyżej tego limitu.
Tylko poprawne kody odpowiedzi: do sitemap mogą trafiać wyłącznie adresy odpowiadające kodem 200. Wszelkie inne adresy, zwracające np. kody 3xx (przekierowania), 4xx (błędy strony), czy 5xx (błędy serwera), muszą być bezwzględnie odrzucane.
Tylko strony indeksowalne: w plikach sitemap nie mogą znajdować się adresy nieindeksowalne – czyli takie, które posiadają tag meta robots noindex lub link canonical kierujący na inny adres (inny niż self-referencing canonical).
Automatyczne czyszczenie bazy: w sytuacji, w której dany adres obecny w sitemapie zmieni swój kod odpowiedzi z 200 na jakikolwiek inny, powinien automatycznie zniknąć z pliku sitemapy.
Brak duplikacji: adresy URL w sitemapie nie mogą się powtarzać. Jeden indeksowalny adres URL powinien występować tylko raz w obrębie całej struktury plików sitemap.

Częstym i poważnym problemem w sklepach internetowych jest również utrzymywanie w sitemapach starych, niedostępnych i archiwalnych produktów. Na przestrzeni wielu lat funkcjonowania sklepu internetowego liczba takich adresów może iść w setki tysięcy. Trzymając wygasłe podstrony w plikach sitemap, niepotrzebnie dostarczasz Googlebotom ogromną masę URL-i do ciągłego skanowania, co znacząco obciąża Twój crawl budget. Skutecznym rozwiązaniem tego problemu jest całkowite pominięcie i usuwanie z sitemap produktów, które zyskały status „archiwalny”.

Na koniec warto pamiętać o dodaniu bezpośredniego linku do poprawnie zoptymalizowanej sitemapy w pliku robots.txt. Dzięki temu Googlebot otrzyma do niej szybki, bezproblemowy i bezpośredni dostęp tuż po wejściu na Twój serwer.

Optymalizacja crawlowania Googlebota

W momencie, w którym dojdzie do pełnego przeindeksowania serwisu to z indeksu znikną wszystkie adresy URL, do których dodaliśmy noindex. Gdy to się stanie, możesz przejść do kolejnego kroku, jakim jest optymalizacja samego procesu crawlowania serwisu przez Googlebota.

Musisz wiedzieć, że sama czynność dodania noindex do wielu adresów URL nie oznacza, że Googlebot przestanie je całkowicie crawlować. Owszem, intensywność skanowania takich adresów może się z czasem nieco zmniejszyć, natomiast Googlebot cały czas będzie takie adresy niepotrzebnie przeglądał, co możemy zaobserwować w raporcie – Strona wykluczona za pomocą tagu „noindex” oraz zawartej w nim informacji o ostatnim skanowaniu. Twoim celem powinno być całkowite odcięcie bota od tych zasobów. Co pomoże?

Optymalizacja linkowania wewnętrznego

Dlaczego Googlebot bezustannie skanuje adresy URL z tagiem noindex, które już dawno zniknęły z indeksu? Główną przyczyną jest ich stała i powszechna dostępność w linkowaniu wewnętrznym serwisu.

Jest to mocno uwarunkowane budową filtracji fasetowej poszczególnych serwisów. W momencie, w którym linki wewnętrzne do wszystkich możliwych kombinacji filtrów są umieszczone w kodzie HTML w formie ahref, wówczas Googlebot będzie je crawlował mimo dodanego wcześniej noindex na wyższych poziomach filtrów. Linki w formie ahref, od strony SEO są najlepszą formą linkowania wewnętrznego, pod warunkiem że prowadzą do indeksowalnych podstron. Na tym etapie mamy dwa rozwiązania takiego problemu:

Optymalizacja linków wewnętrznych

Jednym ze sposobów jest zmiana linkowania wewnętrznego, startując od poziomu filtracji, od którego zaczynają się kombinacje z dodanym przez nas noindex – z reguły są to filtry od 3 kombinacji w górę. W tym przypadku zmiana linkowania wewnętrznego powinna nastąpić na etapie od dwóch kombinacji filtrów wzwyż, czyli 👇

pomiędzy: https://domena.pl/kategoria/filtr1x2,
a: https://domena.pl/kategoria/filtr1x2x3,
powinna nastąpić zmiana linkowania wewnętrznego z formy ahref np. na Kodowanie linków w atrybutach data.

W tym miejscu deweloperzy muszą zmienić standardowy znacznik ahref na alternatywne rozwiązanie programistyczne, które jest niewidoczne dla robotów, ale w pełni funkcjonalne dla użytkownika sklepu. Do wyboru mamy np. takie dwie metody:

Kodowanie linków w atrybutach data: zamiast formy ahref, linki w module filtrów są implementowane za pomocą neutralnego elementu (np. lub <div>), gdzie docelowy adres URL zostaje zaszyty w atrybucie data:

filtr1x2x3

Linki w formie zdarzeń JavaScript (onclick): zamiast tradycyjnego odsyłacza ahref, przejście do wybranej kombinacji filtrów wywoływane jest za pomocą zdarzenia JavaScript onclick:

filtr1x2x3

Należy jednak pamiętać o tym, że taka optymalizacja linkowania wewnętrznego jest dosyć złożonym procesem i wymaga większego wsparcia IT, co przenosi się na zwiększone koszty operacyjne.

Optymalizacja pliku robots.txt

Drugim sposobem – i z perspektywy managera znacznie szybszym oraz tańszym wdrożeniowo – jest bezpośrednia optymalizacja pliku robots.txt.

Wybierając tę ścieżkę, zadaniem zespołu SEO jest stworzenie precyzyjnych reguł odgórnie blokujących robotom możliwość crawlowania tych kombinacji filtrów, do których wcześniej przypisaliśmy tag noindex.

Poniżej znajduje się przykład wdrożenia takiej blokady dla strategii, która dopuszcza indeksację maksymalnie do dwóch kombinacji filtrów włącznie. W tym scenariuszu naszym celem biznesowym jest, aby absolutnie żadna kombinacja od 3 filtrów wzwyż nie była skanowana przez Googlebota:

Disallow:/filtr*x*x*

Przed wdrożeniem koniecznie należy się upewnić przy użyciu testera pliku robots.txt czy nasza reguła blokuje adresy URL, które chcemy, aby blokowała oraz czy nie blokuje indeksowalnych URLi.

Po implementacji zmian Twoim zadaniem jest monitorowanie wykresów w raporcie GSC „Strona zablokowana przez plik robots.txt”. Systematyczny wzrost liczby zablokowanych adresów (wielokrotnych kombinacji filtrów) będzie w tym przypadku bezpośrednim dowodem na to, że wdrożenie działa prawidłowo i zgodnie z oczekiwaniami.

Z biznesowego punktu widzenia optymalnym rozwiązaniem jest jednoczesne wdrożenie obu tych metod (modyfikacji kodu linkowania oraz pliku robots.txt). Pozwala to na pełne, dwuwarstwowe zabezpieczenie serwisu. Jeśli jednak ogranicza Cię budżet IT lub sztywne ramy platformy CMS, rozwiązanie oparte na pliku robots.txt będzie najlepszym ruchem. Jego wdrożenie polega wyłącznie na dopisaniu odpowiednich dyrektyw do pliku tekstowego na serwerze, co sprawnemu programiście nie powinno zająć więcej niż 5 minut.
REKOMENDACJA STRATEGICZNA DLA MANAGERA:

Dlaczego technologia rządzi Twoim ROI? Aspekt biznesowy optymalizacji crawl budgetu

Optymalizacja crawl budgetu to nie tylko wewnętrzne, techniczne zadanie dla deweloperów i specjalistów SEO. Bezpośrednio decyduje ona o rentowności całego Twojego marketingu internetowego. W końcu już na początku nakreślałem, że inwestowanie dziesiątek tysięcy złotych w zaawansowane działania promocyjne może okazać się całkowicie nieefektywne, jeśli fundament serwisu wymaga pilnej interwencji technicznej.

Mówiąc o skutecznej strategii organicznej, działania SEO możemy podzielić na trzy główne filary:

SEO techniczne m.in. optymalizacja crawl budgetu.
Rozwój treści na stronie.
Link building.

Ta kolejność nie jest przypadkowa. Każdy rentowny projekt SEO, szczególnie w sektorze e-commerce należy rozpocząć od precyzyjnej i rzetelnej analizy technicznej, która określi, jak roboty Google traktują zasoby Twojego serwisu. Co najważniejsze – cały proces nie może zakończyć się na samym przygotowaniu audytu. To dopiero wdrożenie nowej strategii crawl budgetu na środowisko produkcyjne otwiera drzwi do realnych sukcesów komercyjnych.

Dlaczego crawl budget to warunek konieczny dla sukcesu contentu i linków?

Jeśli Twój serwis nie przeszedł optymalizacji crawl budgetu, roboty Google utknęły w nieskończonej pętli milionów technicznych duplikatów, błędnych przekierowań lub bezwartościowych filtrów. W efekcie Googlebot zużywa całą przypisaną Twojej domenie moc obliczeniową na skanowanie cyfrowego bałaganu. Kiedy Twój zespół publikuje nowy, rewelacyjny content lub unikalny asortyment towarowy, robot może do niego docierać ze sporym opóźnieniem.

Strona ląduje w GSC ze statusem „Wykryta – obecnie niezindeksowana”, co w języku biznesu oznacza: „ta treść dla wyszukiwarki nie istnieje, nikt jej nie znajdzie i nikt na niej nie zarobi”.

Wdrożenie optymalizacji budżetu skanowania działa jak udrożnienie zatkanych arterii sklepu internetowego. Odcinając robota od technicznego balastu, sprawiasz, że każda złotówka zainwestowana w content marketing i link building ma szansę na siebie zarobić. Googlebot szybciej indeksuje nowe treści, a cały serwis stopniowo zyskuje na widoczności, ruchu i transakcjach organicznych. SEO techniczne buduje dla contentów i linków bezpieczny pas startowy. Bez tego pasa, nawet najlepszy marketingowo e-commerce po prostu nie oderwie się od ziemi.

Podsumowanie: crawl budget to inwestycja

Zarządzanie budżetem skanowania w dużym e-commerce to fundamentalny proces biznesowy. Co zyskujesz, porządkując crawl budget?

Natychmiastowe skrócenie czasu indeksacji: nowe produkty, promocje i kategorie pojawiają się w wynikach wyszukiwania zdecydowanie szybciej.
Wzrost widoczności bez nowych kosztów: uwalniasz potencjał podstron, które już masz w serwisie, ale Google miał do nich utrudniony dostęp”.
Oszczędność zasobów IT i hostingu: odciążony serwer działa szybciej dla użytkowników, co bezpośrednio przekłada się na wyższy współczynnik konwersji (CR).

Oczywistością jest to, że w biznesie nie wygrywają ci, którzy świadomie finansują marnotrawstwo zasobów. Przestań pozwalać Googlebotowi na marnowanie energii w cyfrowym labiryncie Twojego sklepu i przejmij kontrolę nad strukturą serwisu, odetnij zbędny balast oraz skieruj roboty tam, gdzie leżą Twoje marże.