Waarom bezoeken bots je website en wat doe je eraan?
Je hebt net een website gelanceerd, en na enkele dagen krijg je al je eerste bezoekers over de vloer. Feest! Maar… dan zie je dat al je bezoekers uit de Verenigde Staten of andere exotische oorden komen, terwijl je een Nederlandstalige website hebt… Je website wordt bezocht door bots, maar wat zijn bots precies, zijn ze goed of slecht, en wat doe je eraan?
Inhoudstafel
Wat is een bot
Dat er weinig menselijkheid te bespeuren valt in een bot, had je misschien al verwacht. Het is namelijk een korte versie van het woord ‘robot’. Bots zijn geautomatiseerde systemen die bepaalde acties uitvoeren. Wanneer we het hebben over websites, dan gaat het concreet om het bezoeken van je website, aanklikken van knoppen, invullen van formulieren …
Nu zou je kunnen denken “ik wil helemaal geen robots op mijn site, ze zijn nutteloos en belasten onnodig mijn server!” Alhoewel dat een logische eerste reactie is, is het belangrijk om te weten dat er ook goede bots bestaan. Bots die je met open armen wil ontvangen, omdat je er zelf iets bij te winnen hebt.
Wat is het verschil tussen goede en slechte bots
De meest voor de hand liggende bots, zijn de bots die zoekmachines gebruiken om je website te indexeren (Googlebot bijvoorbeeld). Deze bots worden ook wel ‘crawlers’ genoemd. Ze bezoeken je website, ontdekken alle pagina’s, lezen de inhoud en brengen alles in kaart in een grote database. Op die manier kunnen jouw pagina’s opduiken in de zoekresultaten. Deze bots kan je dus niet vaak genoeg over de vloer krijgen, want ze zijn essentieel voor de SEO van jouw website.
Dit soort goede bots hebben het beste met je voor. Het is niet hun bedoeling om jouw server onnodig te belasten (daarom wordt er een crawl budget gebruikt) en ze zullen geen spam versturen via de contactformulieren op je website.
Andere voorbeelden van goede bots:
- SEO bots (zoals Ahrefs of Semrush). Zij analyseren de SEO-prestaties van je website.
- Uptime bots (zoals UptimeRobot of Statuscake). Zij bezoeken regelmatig je website en geven je een seintje wanneer je website niet meer bereikbaar is.
- Feed readers (zoals Feedly). Zij maken lijsten van (nieuwe) pagina’s op je website en brengen gebruikers op de hoogte dat er nieuwe pagina’s werden gepubliceerd op jouw website.
Uiteraard is het niet allemaal rozengeur en maneschijn op het internet. Er zijn helaas ook veel kwaadwillende partijen. Zij programmeren bots met een specifiek doel, zoals het versturen van spam, het stelen van de content op jouw website of in het slechte geval het hacken of offline halen van jouw website. Voorbeelden van slechte bots:
- Scrapers: Alhoewel er in sommige gevallen een legitieme reden is waarom bots jouw website zouden ‘scrapen’, worden scraper bots soms gebruikt om de inhoud van jouw website te stelen, bijvoorbeeld om die opnieuw aan te bieden op een andere site.
- Spam bots: Wanneer je op je website een contactformulier hebt zonder deze te voorzien van een anti-spam oplossing, duurt het niet lang alvorens je mailbox vol spam zit. Spam bots gaan namelijk op zoek naar websites met formulieren, en vullen deze automatisch in om een product of dienst te promoten.
- Vulnerability scanners: Dit soort bots gaan op zoek naar bekende kwetsbaarheden op je website. Ze zoeken bijvoorbeeld actief naar websites die een verouderde WordPress-versie gebruiken, of die een plugin gebruiken met een bekend beveiligingslek. Dit is waarom het zo belangrijk is om je WordPress website te beveiligen en up-to-date te houden.
- DDoS bots: Alhoewel dit niet vaak een probleem is bij kleinere sites, zijn DDoS bots gespecialiseerde bots die proberen om jouw website offline te halen door massaal (gelijktijdig) jouw site te bezoeken.
- Credential stuffers: Deze bots bezoeken inlogpagina’s op websites, en proberen verschillende gebruikersnamen en wachtwoorden uit (dit wordt ook wel een ‘brute force attack’ genoemd).
De grijze zone van AI-bots
Het internet evolueert van een search engines (zoals Google) naar generative engines (zoals ChatGPT). In plaats van onze vragen in te typen in Google en zelf de resultaten te verkennen, stellen we nu gewoon onze vragen aan ChatGPT.
Deze AI-platformen formuleren hun antwoorden op basis van inhoud die ze vinden op het wereldwijde web. Er zullen dus ook AI-bots jouw website bezoeken om hun modellen te trainen op basis van jouw content. Dat klinkt niet volledig eerlijk, toch? Jouw harde werkt wordt zomaar gebruikt door AI-tools om hun gebruikers van antwoorden te voorzien, zodat ze die gebruikers abonnementen kunnen verkopen. En jij krijgt er helemaal niets voor terug, zelfs geen klik op je website.
Je zou deze bots kunnen blokkeren (en vele sites doen dat ook actief), maar dan is de vraag of dat wel een slimme zet is op het vlak van SEO en GEO. Op die manier kunnen deze AI-tools namelijk ook je website niet meer indexeren. De kans dat jouw bedrijf dan wordt genoemd (of gelinkt) in de AI-gegenereerde antwoorden van een tool zoals ChatGPT of Gemini, wordt dan heel klein.
Hoe herken je bots?
De goede bots zijn vaak makkelijk te herkennen in gespecialiseerde tools zoals Google Analytics en in server logs. Zij verbergen namelijk niet dat ze bots zijn, maar komen hier openlijk voor uit. Dit doen ze vaak door in de User-Agent (een extra stukje informatie bij elke request) een naam en URL op te geven.
Bots die slechte bedoelingen hebben, zijn vaak moeilijker te spotten, aangezien zij er alle belang bij hebben om zich te gedragen alsof het echte bezoekers zijn. In dat geval dienen we eerder te kijken naar het gedrag van de bezoekers. Wanneer iemand je website opent, en na een fractie van een seconde terug wegklikt (de zogenaamde ‘session time’) lijkt het vanzelfsprekend dat het om een bot gaat.
Uiteraard is het niet doenbaar om elke bezoeker manueel te gaan analyseren. Gespecialiseerde tools zoals Cloudflare, Sucuri of Wordfence kunnen je helpen bij het in kaart brengen (en afweren) van bot traffic op jouw website.
Hoe kan je slechts bots bestrijden?
Het is belangrijk om te begrijpen dat bots nu eenmaal een onlosmakelijk deel vormen van het internet. We kunnen wel bepaalde maatregelen om deze te bestrijden, maar bots worden steeds slimmer waardoor wij als webmaster ook slimmer moeten worden. Dat gezegd zijnde, zijn er wel belangrijke maatregelen die we kunnen nemen om de impact van slechte bots te beperken.
Gebruik een WAF
Neen, geen bewakingshond, maar een Web Application Firewall. Deze service zit tussen het internet en jouw server, wat betekent dat bots reeds op een heel hoog niveau gefilterd kunnen worden. Aangezien die filtering op zo’n hoog niveau gebeurt, bereiken slechte bots jouw website niet en worden er niet onnodig server resources gebruikt. Een voorbeeld van zo’n WAF is Cloudflare.
Je hebt ook Web Application Firewalls op een lager niveau, namelijk op WordPress niveau. In dit geval gaat het bijvoorbeeld om tools zoals Wordfence en Sucuri. Deze kunnen ook actief bot traffic gaan weren, maar die verwerking gebeurt door de server. Er worden dus nog steeds server resources gebruikt.
Maak gebruik van rate limiting
Dit is een instelling die op serverniveau dient te gebeuren, en is voornamelijk belangrijk wanneer je gebruikmaakt van een VPS. Bij shared hosting is deze instelling vaak reeds voor jou voorzien. Rate limiting beperkt hoeveel requests een bepaald IP-adres kan maken in een bepaalde tijd. Wanneer eenzelfde IP-adres 30 pagina’s per seconde wil openen op jouw website, spreekt het voor zich dat het om een bot gaat.
Bescherm formulieren tegen spam en brute-force attacks
We komen er allemaal mee in aanraking: spam mails. Dat wordt er niet beter op van zodra je een contactformulier op je website hebt. Na enkele dagen beginnen de spam mails al binnen te stromen. Gelukkig kan je je hiertegen beschermen, via bekende oplossingen zoals een Google reCAPTCHA. Via dergelijke oplossingen dienen gebruikers een extra stap te nemen alvorens ze het formulier kunnen verzenden. Dit is misschien niet de meest gebruiksvriendelijke oplossing, maar wel een absolute noodzaak als je niet elke dag honderden spam mails uit je mailbox wil vissen.
Ook inlogformulieren dien je te beschermen. Niet tegen spam, maar wel tegen ‘brute force attacks’. Dit zijn aanvallen waarbij een bot een lijst van veelvoorkomende gebruikersnamen en wachtwoorden gaat uitproberen tot ze de juiste combinatie hebben gevonden om toegang te krijgen tot jouw website. Door in te stellen dat er slechts 3 inlogpogingen per uur kunnen worden ondernomen, kan je dit soort aanvallen tegengaan.
Bots blokkeren op de server
Wanneer je aanzienlijke last ondervindt van bots, kan je overwegen om bepaalde bots te gaan blokkeren. Stel dat je ziet dat de bot van Semrush of TikTok zorgt voor aanzienlijke bezoekerspieken waar je server maar moeilijk mee overweg kan, kan je op serverniveau deze bots gaan blokkeren (of limiteren). Wanneer deze bots zich netjes identificeren via de User-Agent, kan je deze User-Agent gaan blokkeren. Anders zal je eerder moeten kijken welke IP-adressen deze bots gebruiken (goede bots publiceren vaak een IP-range in hun documentatie), om deze vervolgens te gaan blokkeren.
Maak gebruik van robots.txt
Mogelijks heb je al gehoord van de robots.txt file. Dit is een tekstbestandje op je webserver die aangeeft welke bots wel en niet welkom zijn op je website. Verder is het ook niets meer dan dat, het is alsof je een bordje aan je huis zet met “inbrekers niet welkom”. Dat schrikt inbrekers uiteraard niet af. De robots.txt is dus eerder een manier om te definiëren welke goede bots je liever niet op je website wil. De meeste goede bots houden zich hieraan, maar opnieuw zijn er geen garanties.
Houd je WordPress website veilig
Een goed beveiligde website wordt al snel minder interessant voor bots, aangezien er niets te rapen valt. Investeer dus de nodige tijd in WordPress beveiliging. Houd alles up-to-date, gebruik veilige wachtwoorden, beperkt het aantal inlogpogingen, gebruik 2FA, wijzig de standaard wp-login.php URL, … Op die manier zorg je ervoor dat al die slechte bots van een kale reis terugkomen.
