Czym jest budżet crawl i jak go optymalizować?

Czym właściwie jest budżet crawlowania

Budżet crawlowania to liczba adresów URL, które robot wyszukiwarki jest skłonny i w stanie pobrać z Twojej witryny w danym okresie. Google opisuje to jako wypadkową dwóch składowych: limitu wydajności (ile żądań serwer udźwignie bez spowolnień) oraz zapotrzebowania na crawlowanie (na ile dany adres wydaje się wartościowy i jak często się zmienia). W praktyce crawl budget nie jest jedną sztywną liczbą wpisaną gdzieś w panelu, lecz dynamicznym wynikiem tego, jak Googlebot ocenia Twoją domenę z dnia na dzień.

Dla większości małych stron temat jest właściwie nieistotny. Jeśli serwis ma 300 podstron, a Googlebot bez problemu odwiedza je wszystkie w ciągu kilku dni, to optymalizacja budżetu crawlowania niczego nie zmieni. Problem pojawia się skokowo przy serwisach liczących dziesiątki czy setki tysięcy adresów: dużych sklepach z filtrami, portalach ogłoszeniowych, agregatorach, witrynach z wielojęzycznymi wersjami i parametrami sesji. Tam każdy zmarnowany przejazd robota oznacza, że jakaś ważna strona poczeka na ponowną wizytę dłużej, niż powinna.

Warto rozróżnić dwie rzeczy, które łatwo pomylić. Crawlowanie to pobieranie adresu przez bota, a indeksacja to decyzja o umieszczeniu go w wynikach. Budżet crawlowania dotyczy wyłącznie pierwszego etapu. Można mieć stronę odwiedzaną codziennie, która i tak nie trafia do indeksu, bo jest zbyt cienka treściowo. I odwrotnie: wartościowa strona, do której robot dociera raz na trzy tygodnie, będzie aktualizować się w wynikach z dużym opóźnieniem.

Po czym poznać, że budżet crawlowania jest faktycznym problemem

Zanim zaczniesz cokolwiek optymalizować, sprawdź, czy problem w ogóle istnieje. Najlepszym źródłem jest raport „Statystyki indeksowania" w Google Search Console oraz analiza logów serwera. Jeśli widzisz, że dziennie robot pobiera 8 000 adresów, a Twoje istotne podstrony aktualizują się w wynikach z kilkudniowym poślizgiem, to sygnał, że uwaga Googlebota rozprasza się na niewłaściwe URL-e. Logi pokażą Ci dokładnie, które ścieżki pochłaniają najwięcej żądań.

Typowy objaw to ogromna rozbieżność między liczbą stron, które uważasz za ważne, a liczbą adresów faktycznie odwiedzanych przez bota. Sklep z 4 000 produktami potrafi generować 400 000 unikalnych URL-i przez kombinacje filtrów kolor–rozmiar–cena–sortowanie. Googlebot grzęźnie wtedy w nieskończonych wariantach list, zamiast docierać do nowych kart produktowych i kategorii. Druga czerwona lampka to rosnąca liczba stron w statusie „Wykryta, obecnie niezindeksowana" w Search Console, co często oznacza, że robot widzi adres, ale nie uznaje go za wart pobrania.

Pomaga też prosta arytmetyka. Jeśli masz 120 000 wartościowych adresów, a robot pobiera 6 000 dziennie, pełny obieg witryny zajmuje teoretycznie dwadzieścia dni — i to przy założeniu, że żaden przejazd nie idzie na śmieci. W realnym serwisie, gdzie połowa żądań trafia w duplikaty i parametry, ten cykl rozciąga się do półtora miesiąca. To właśnie ten dystans między „mam dużo stron" a „robot je realnie odwiedza" decyduje, czy crawl budget jest Twoim wąskim gardłem.

Co najczęściej marnuje crawl budget

Największym pożeraczem budżetu są zazwyczaj parametry URL i nawigacja fasetowa. Każdy dodatkowy parametr w adresie — ?sort=cena, ?utm_source=..., ?sesja=... — tworzy z perspektywy robota nowy adres do pobrania, nawet jeśli treść jest niemal identyczna. W sklepach z filtrami liczba kombinacji rośnie wykładniczo i potrafi wygenerować miliony adresów o praktycznie zerowej wartości wyszukiwawczej. Robot lojalnie próbuje je odwiedzać, marnując żądania, które powinny trafić na nowe produkty.

Drugim wielkim źródłem strat są łańcuchy przekierowań i błędy odpowiedzi. Gdy adres A przekierowuje na B, B na C, a C dopiero na docelowe D, robot zużywa cztery żądania tam, gdzie wystarczyłoby jedno. Przy tysiącach takich łańcuchów — typowych po migracji czy zmianie struktury URL — strata jest odczuwalna. Podobnie działają masowo linkowane strony 404 oraz miękkie błędy 200, które zwracają pustą treść. Robot pobiera je, analizuje i odrzuca, a budżet już przepadł.

Trzeci obszar to duplikacja i strony o niskiej wartości, które technicznie nadają się do crawlowania. Wersje do druku, archiwa tagów generujące setki niemal pustych list, paginacja ciągnąca się przez 200 stron, kalendarze z linkami do każdego dnia aż po rok 2090. Wszystkie te adresy konkurują o uwagę bota z Twoimi pieniężnymi podstronami. Tu zwykle pomaga kombinacja narzędzi: robots.txt do blokowania całych wzorców ścieżek, noindex dla pojedynczych cienkich stron oraz znacznik kanoniczny do konsolidowania duplikatów — choć warto pamiętać, że kanoniczny to wskazówka, nie blokada crawlowania.

Jak struktura witryny kieruje robotem

Robot nie krąży po witrynie losowo — porusza się po linkach, a architektura informacji to mapa, którą mu narzucasz. Płaska, logiczna struktura, w której każda ważna strona jest osiągalna w trzech, maksymalnie czterech kliknięciach od strony głównej, sprawia, że robot dociera do wszystkiego szybciej i częściej. Gdy istotny produkt leży osiem poziomów w głąb, ukryty za rzadko linkowaną kategorią, Googlebot może go odwiedzać raz na kilka tygodni albo wcale.

Kluczowa jest tu rola głębokości kliknięć, nie głębokości katalogów w adresie URL. Strona pod adresem /sklep/kategoria/podkategoria/produkt może być płytka klikowo, jeśli prowadzi do niej wyraźny link z menu lub z popularnej strony. Liczy się to, ile skoków po linkach dzieli ją od mocnych, często crawlowanych węzłów. Dlatego dobrze zaprojektowane menu, sensowne okruszki nawigacyjne i przemyślane bloki „powiązane" realnie spłaszczają strukturę i poprawiają obieg robota.

Sygnałem ostrzegawczym są strony osierocone — adresy, które istnieją w sitemapie albo w bazie CMS, ale nie prowadzi do nich żaden link wewnętrzny. Robot ma do nich utrudniony dostęp i często traktuje je jako mniej istotne, bo brak linków to brak głosów zaufania w obrębie serwisu. W większych witrynach takie sieroty potrafią liczyć tysiące adresów, o których właściciel w ogóle nie wie. Wykrycie ich i wpięcie w strukturę linkowania to jedna z najtańszych i najskuteczniejszych interwencji crawlowych.

Linkowanie wewnętrzne jako dźwignia budżetu crawlowania

Linkowanie wewnętrzne robi dwie rzeczy naraz: prowadzi robota i rozprowadza moc rankingową, czyli wewnętrzny PageRank, między podstronami. Strona, która zbiera wiele linków z istotnych miejsc serwisu, jest przez robota odwiedzana częściej, bo system odczytuje te linki jako sygnał ważności. Dlatego świadome kierowanie linków na priorytetowe podstrony — zamiast rozpraszania ich po regulaminie, polityce prywatności i archiwach — bezpośrednio przekłada się na to, jak rozdzielany jest budżet crawlowania.

Praktyczna optymalizacja zaczyna się od audytu tego, co już masz. Trzeba zobaczyć rozkład wewnętrznego PageRanku, znaleźć strony osierocone, prześledzić łańcuchy przekierowań i sprawdzić, czy teksty kotwic faktycznie opisują cel linku, czy to wieczne „kliknij tutaj". Takie audyty robi się na bazie crawla — i tu mieści się LinkJuice, narzędzie, które analizuje eksport ze Screaming Frog bezpośrednio w przeglądarce, licząc wewnętrzny PageRank, wykrywając sieroty oraz problemy z kotwicami i przekierowaniami bez wysyłania danych na żaden serwer.

• Skupiaj linki wewnętrzne na podstronach, które realnie mają zarabiać lub rankować, prowadź do nich z mocnych, często odwiedzanych węzłów, eliminuj łańcuchy przekierowań przez linkowanie wprost do adresu docelowego i wpinaj strony osierocone w sensowny kontekst tematyczny.

Po stronie technicznej linkowanie wspiera też ograniczanie strat. Jeśli przestajesz linkować wewnętrznie do tysięcy wariantów filtrów, robot stopniowo traci do nich ścieżkę i przestaje je odwiedzać, odzyskując żądania dla wartościowych adresów. To subtelniejsza, ale potężna metoda: zamiast dopiero blokować śmieci na poziomie robots.txt, przestajesz je w ogóle promować w obrębie nawigacji, dzięki czemu nie powstają jako linkowane URL-e.

Praktyczny plan optymalizacji budżetu crawlowania

Zacznij od diagnozy, nie od działań. Pobierz statystyki indeksowania z Search Console, jeśli możesz — sięgnij po logi serwera za ostatnie trzydzieści dni, i wykonaj pełny crawl narzędziem typu Screaming Frog. Celem tego etapu jest jedna konkretna liczba: jaki procent żądań robota trafia w adresy, na których Ci zależy, a jaki ginie w parametrach, duplikatach i błędach. Bez tej bazowej miary każda późniejsza zmiana będzie zgadywaniem.

Następnie posprzątaj według wpływu, od największego do najmniejszego. W typowym serwisie kolejność wygląda tak: opanuj parametry i nawigację fasetową, bo to zwykle 60–80 procent strat; rozwiąż łańcuchy przekierowań i masowe błędy 404; usuń lub odetnij od crawlowania cienkie i zduplikowane strony; na końcu zoptymalizuj samą architekturę i linkowanie wewnętrzne, spłaszczając strukturę i kierując moc na priorytety. Każdy z tych kroków zwalnia żądania, które robot może przeznaczyć na wartościowe adresy.

Na koniec pamiętaj, że optymalizacja budżetu crawlowania to proces, nie jednorazowa akcja. Sklep dokłada produkty, CMS generuje nowe tagi, marketing dopina parametry kampanijne — i po kwartale wszystko potrafi się rozjechać na nowo. Warto ustawić cykliczny przegląd: comiesięczny rzut oka na statystyki indeksowania i kwartalny pełny audyt crawla z analizą linkowania. Dzięki temu crawl budget pozostaje pod kontrolą, a robot konsekwentnie odwiedza to, co dla Twojego biznesu naprawdę istotne, zamiast krążyć po cyfrowych zaułkach bez wartości.