Wat is crawl budget en waarom is het belangrijk voor SEO?
Wie zich verdiept in SEO, komt al snel in aanraking met de term “crawl budget”, maar wat is het precies en waarom is het van belang voor jouw SEO-campagne?
Het internet telt miljarden websites, elk met honderden tot honderdduizenden pagina’s. Google is dus niet in staat om dagelijks het hele internet opnieuw af te schuimen om te checken of er pagina’s werden toegevoegd of bijgewerkt.
Dat is ook meteen een van de redenen waarom het zo lang kan duren voor je SEO-campagne effectief resultaten begint op te leveren.
Wat is ‘crawling’
Alvorens dieper in te gaan op het crawl budget, dienen we eerst te weten wat ‘crawlen’ is. Om te ontdekken wat er leeft op het internet, maken Google en andere zoekmachines gebruik van bots. Deze bots bezoeken websites en lezen de verschillende pagina’s en de inhoud van die pagina’s.
Op die manier stellen zoekmachines een index op van alle websites op het wereldwijde web. Die index wordt dan gebruikt om bezoekers relevante zoekresultaten te leveren.
Waarom is er een crawl budget?
Aangezien de middelen van Google beperkt zijn (ja, zelfs Google heeft beperkte middelen) en Google niet elke dag álle sites op het internet kan controleren op wijzigingen, moeten er dus prioriteiten worden gesteld. Die prioriteiten gebeuren in de vorm van een crawl budget.
Die limieten bepalen dus hoe vaak Google je pagina bezoekt, en met welke snelheid. De snelheid wordt niet alleen gelimiteerd om de benodigde middelen van Google te beperken, maar ook om je eigen webhosting te ontzien.
Als Google voortdurend jouw website zou bezoeken, vormt dat een extra last op je webserver. Dat kan je website vertragen, wat nadelig is voor de reguliere bezoekers.
Hoe wordt een crawl budget bepaald?
Hoe vaak Google een website bezoekt, hangt af van enkele zaken. Wanneer je website traag reageert, zal Google de crawlimiet verlagen om geen extra druk te zetten op je webserver. Dit is een van de redenen waarom de snelheid van een website uitgebreid wordt gecontroleerd in een technische SEO audit.
Verder is ook vraag en aanbod van belang hier. Een populaire site die vaak wordt bezocht, zal ook vaker worden bezocht door Google, aangezien het voor dergelijke sites belangrijk is om up-to-date informatie te bieden in de zoekresultaten.
Waar vind je jouw crawlstatistieken
Om te controleren hoe vaak Google jouw website crawlt en of er bepaalde issues zijn, kan je gebruikmaken van Google Search Console.
Onder ‘Instellingen’ vind je de optie ‘Crawlstatistieken’.
Daar zie je niet alleen hoe vaak Google je website crawlt, maar ook hoe vlot dat verloopt. Als er bepaalde issues zijn met de crawl, dan vind je een waarschuwing bij ‘Status van de host’. Dit kunnen bijvoorbeeld serverproblemen zijn of issues met een robots.txt file.
Moet ik me zorgen maken over crawl budgetten?
Het goede nieuws is dat je met een ‘standaard’ website niet al te hard hoeft bezig te zijn met crawl budgetten. Wanneer je een site hebt met een aanzienlijk aantal pagina’s (zoals een grote webshop of nieuwssite), wordt het crawl budget echter een extra factor om rekening mee te houden in je SEO-campagne.
Tijdens een technische SEO audit wordt ook bekeken of er specifieke problemen zijn bij het crawlen van pagina’s, of als er bijvoorbeeld crawl budget wordt verspild aan overbodige redirects.
