Waarom bezoeken bots je website en wat doe je eraan?
Je hebt net een website gelanceerd, en na enkele dagen krijg je al je eerste bezoekers over de vloer. Feest! Maar… dan zie je dat al je bezoekers uit de Verenigde Staten of andere exotische oorden komen, terwijl je een Nederlandstalige website hebt… Je website wordt bezocht door bots, maar wat zijn bots precies, zijn ze goed of slecht, en wat doe je eraan?
Inhoudstafel
Wat is een bot
Dat er weinig menselijkheid te bespeuren valt in een bot, had je misschien al verwacht. Het is namelijk een korte versie van het woord ‘robot’. Bots zijn geautomatiseerde systemen die bepaalde acties uitvoeren. Wanneer we het hebben over websites, dan gaat het concreet om het bezoeken van je website, aanklikken van knoppen, invullen van formulieren …
Nu zou je kunnen denken “ik wil helemaal geen robots op mijn site, ze zijn nutteloos en belasten onnodig mijn server!” Alhoewel dat een logische eerste reactie is, is het belangrijk om te weten dat er ook goede bots bestaan. Bots die je met open armen wil ontvangen, omdat je er zelf iets bij te winnen hebt.
Wat is het verschil tussen goede en slechte bots
De meest voor de hand liggende bots, zijn de bots die zoekmachines gebruiken om je website te indexeren (Googlebot bijvoorbeeld). Deze bots worden ook wel ‘crawlers’ genoemd. Ze bezoeken je website, ontdekken alle pagina’s, lezen de inhoud en brengen alles in kaart in een grote database. Op die manier kunnen jouw pagina’s opduiken in de zoekresultaten. Deze bots kan je dus niet vaak genoeg over de vloer krijgen, want ze zijn essentieel voor de SEO van jouw website.
Dit soort goede bots hebben het beste met je voor. Het is niet hun bedoeling om jouw server onnodig te belasten (daarom wordt er een crawl budget gebruikt) en ze zullen geen spam versturen via de contactformulieren op je website.
Andere voorbeelden van goede bots:
- SEO bots (zoals Ahrefs of Semrush). Zij analyseren de SEO-prestaties van je website.
- Uptime bots (zoals UptimeRobot of Statuscake). Zij bezoeken regelmatig je website en geven je een seintje wanneer je website niet meer bereikbaar is.
- Feed readers (zoals Feedly). Zij maken lijsten van (nieuwe) pagina’s op je website en brengen gebruikers op de hoogte dat er nieuwe pagina’s werden gepubliceerd op jouw website.
Uiteraard is het niet allemaal rozengeur en maneschijn op het internet. Er zijn helaas ook veel kwaadwillende partijen. Zij programmeren bots met een specifiek doel, zoals het versturen van spam, het stelen van de content op jouw website of in het slechte geval het hacken of offline halen van jouw website. Voorbeelden van slechte bots:
- Scrapers: Alhoewel er in sommige gevallen een legitieme reden is waarom bots jouw website zouden ‘scrapen’, worden scraper bots soms gebruikt om de inhoud van jouw website te stelen, bijvoorbeeld om die opnieuw aan te bieden op een andere site.
- Spam bots: Wanneer je op je website een contactformulier hebt zonder deze te voorzien van een anti-spam oplossing, duurt het niet lang alvorens je mailbox vol spam zit. Spam bots gaan namelijk op zoek naar websites met formulieren, en vullen deze automatisch in om een product of dienst te promoten.
- Vulnerability scanners: Dit soort bots gaan op zoek naar bekende kwetsbaarheden op je website. Ze zoeken bijvoorbeeld actief naar websites die een verouderde WordPress-versie gebruiken, of die een plugin gebruiken met een bekend beveiligingslek. Dit is waarom het zo belangrijk is om je WordPress website te beveiligen en up-to-date te houden.
- DDoS bots: Alhoewel dit niet vaak een probleem is bij kleinere sites, zijn DDoS bots gespecialiseerde bots die proberen om jouw website offline te halen door massaal (gelijktijdig) jouw site te bezoeken.
- Credential stuffers: Deze bots bezoeken inlogpagina’s op websites, en proberen verschillende gebruikersnamen en wachtwoorden uit (dit wordt ook wel een ‘brute force attack’ genoemd).
De grijze zone van AI-bots
Het internet evolueert van een search engines (zoals Google) naar generative engines (zoals ChatGPT). In plaats van onze vragen in te typen in Google en zelf de resultaten te verkennen, stellen we nu gewoon onze vragen aan ChatGPT.
Deze AI-platformen formuleren hun antwoorden op basis van inhoud die ze vinden op het wereldwijde web. Er zullen dus ook AI-bots jouw website bezoeken om hun modellen te trainen op basis van jouw content. Dat klinkt niet volledig eerlijk, toch? Jouw harde werkt wordt zomaar gebruikt door AI-tools om hun gebruikers van antwoorden te voorzien, zodat ze die gebruikers abonnementen kunnen verkopen. En jij krijgt er helemaal niets voor terug, zelfs geen klik op je website.
Je zou deze bots kunnen blokkeren (en vele sites doen dat ook actief), maar dan is de vraag of dat wel een slimme zet is op het vlak van SEO en GEO. Op die manier kunnen deze AI-tools namelijk ook je website niet meer indexeren. De kans dat jouw bedrijf dan wordt genoemd (of gelinkt) in de AI-gegenereerde antwoorden van een tool zoals ChatGPT of Gemini, wordt dan heel klein.
Hoe herken je bots?
De goede bots zijn vaak makkelijk te herkennen in gespecialiseerde tools zoals Google Analytics en in server logs. Zij verbergen namelijk niet dat ze bots zijn, maar komen hier openlijk voor uit. Dit doen ze vaak door in de User-Agent (een extra stukje informatie bij elke request) een naam en URL op te geven.
Bots die slechte bedoelingen hebben, zijn vaak moeilijker te spotten, aangezien zij er alle belang bij hebben om zich te gedragen alsof het echte bezoekers zijn. In dat geval dienen we eerder te kijken naar het gedrag van de bezoekers. Wanneer iemand je website opent, en na een fractie van een seconde terug wegklikt (de zogenaamde ‘session time’) lijkt het vanzelfsprekend dat het om een bot gaat.
Uiteraard is het niet doenbaar om elke bezoeker manueel te gaan analyseren. Gespecialiseerde tools zoals Cloudflare, Sucuri of Wordfence kunnen je helpen bij het in kaart brengen (en afweren) van bot traffic op jouw website.
Hoe kan je slechts bots bestrijden?
Het is belangrijk om te begrijpen dat bots nu eenmaal een onlosmakelijk deel vormen van het internet. We kunnen wel bepaalde maatregelen om deze te bestrijden, maar bots worden steeds slimmer waardoor wij als webmaster ook slimmer moeten worden. Dat gezegd zijnde, zijn er wel belangrijke maatregelen die we kunnen nemen om de impact van slechte bots te beperken.
Gebruik een WAF
Neen, geen bewakingshond, maar een Web Application Firewall. Deze service zit tussen het internet en jouw server, wat betekent dat bots reeds op een heel hoog niveau gefilterd kunnen worden. Aangezien die filtering op zo’n hoog niveau gebeurt, bereiken slechte bots jouw website niet en worden er niet onnodig server resources gebruikt. Een voorbeeld van zo’n WAF is Cloudflare.
Je hebt ook Web Application Firewalls op een lager niveau, namelijk op WordPress niveau. In dit geval gaat het bijvoorbeeld om tools zoals Wordfence en Sucuri. Deze kunnen ook actief bot traffic gaan weren, maar die verwerking gebeurt door de server. Er worden dus nog steeds server resources gebruikt.
Maak gebruik van rate limiting
Dit is een instelling die op serverniveau dient te gebeuren, en is voornamelijk belangrijk wanneer je gebruikmaakt van een VPS. Bij shared hosting is deze instelling vaak reeds voor jou voorzien. Rate limiting beperkt hoeveel requests een bepaald IP-adres kan maken in een bepaalde tijd. Wanneer eenzelfde IP-adres 30 pagina’s per seconde wil openen op jouw website, spreekt het voor zich dat het om een bot gaat.
Bescherm formulieren tegen spam en brute-force attacks
We komen er allemaal mee in aanraking: spam mails. Dat wordt er niet beter op van zodra je een contactformulier op je website hebt. Na enkele dagen beginnen de spam mails al binnen te stromen. Gelukkig kan je je hiertegen beschermen, via bekende oplossingen zoals een Google reCAPTCHA. Via dergelijke oplossingen dienen gebruikers een extra stap te nemen alvorens ze het formulier kunnen verzenden. Dit is misschien niet de meest gebruiksvriendelijke oplossing, maar wel een absolute noodzaak als je niet elke dag honderden spam mails uit je mailbox wil vissen.
Ook inlogformulieren dien je te beschermen. Niet tegen spam, maar wel tegen ‘brute force attacks’. Dit zijn aanvallen waarbij een bot een lijst van veelvoorkomende gebruikersnamen en wachtwoorden gaat uitproberen tot ze de juiste combinatie hebben gevonden om toegang te krijgen tot jouw website. Door in te stellen dat er slechts 3 inlogpogingen per uur kunnen worden ondernomen, kan je dit soort aanvallen tegengaan.
Bots blokkeren op de server
Wanneer je aanzienlijke last ondervindt van bots, kan je overwegen om bepaalde bots te gaan blokkeren. Stel dat je ziet dat de bot van Semrush of TikTok zorgt voor aanzienlijke bezoekerspieken waar je server maar moeilijk mee overweg kan, kan je op serverniveau deze bots gaan blokkeren (of limiteren). Wanneer deze bots zich netjes identificeren via de User-Agent, kan je deze User-Agent gaan blokkeren. Anders zal je eerder moeten kijken welke IP-adressen deze bots gebruiken (goede bots publiceren vaak een IP-range in hun documentatie), om deze vervolgens te gaan blokkeren.
Maak gebruik van robots.txt
Mogelijks heb je al gehoord van de robots.txt file. Dit is een tekstbestandje op je webserver die aangeeft welke bots wel en niet welkom zijn op je website. Verder is het ook niets meer dan dat, het is alsof je een bordje aan je huis zet met “inbrekers niet welkom”. Dat schrikt inbrekers uiteraard niet af. De robots.txt is dus eerder een manier om te definiëren welke goede bots je liever niet op je website wil. De meeste goede bots houden zich hieraan, maar opnieuw zijn er geen garanties.
Houd je WordPress website veilig
Een goed beveiligde website wordt al snel minder interessant voor bots, aangezien er niets te rapen valt. Investeer dus de nodige tijd in WordPress beveiliging. Houd alles up-to-date, gebruik veilige wachtwoorden, beperkt het aantal inlogpogingen, gebruik 2FA, wijzig de standaard wp-login.php URL, … Op die manier zorg je ervoor dat al die slechte bots van een kale reis terugkomen.
🚀 Lanceer je onderneming op het wereldwijde web met de gratis podcast De Digitale Ondernemers.
In elke episode ontdek je concrete tips en adviezen op het vlak van webdesign, digitale marketing en SEO waar je meteen mee aan de slag kan. Zonder een script af te lezen, maar 100% transparant en aangevuld met eigen ervaringen en anekdotes. Zo haal jij alles uit jouw website en digitale kanalen.
Reeds te beluisteren:
🎙️ 1 - Heb je een website nodig als je al social media hebt?
🎙️ 2 - Essentiële SEO-tips voor beginners
Nu te beluisteren (en te volgen) op Spotify, Apple Podcasts, YouTube, Pocket Casts en meer!
🔗 Meer info op ts.industries/podcast
#podcast #newpodcast #ondernemer #ondernemers #eigenwebsite #eigenwebsitemaken #websitemaken #digitalmarketing #digitalemarketing
FEIT of FABEL: "Van zodra je een website lanceert, komen de bezoekers vanzelf."
Build it and they will come?
❌ FABEL
Oh was het maar zo. Wanneer je jaren geleden een van de enige ondernemers was met een website kon je nog achterover leunen en de bezoekers zien toestromen, maar de tijden zijn veranderd.
Tegenwoordig heeft elke ondernemer een website (soms zelfs meerdere) waardoor het steeds lastiger wordt om gevonden te worden.
Of je nu een kleine zelfstandige of een grote multinational bent, het is noodzakelijk om in te zetten op digitale marketing om gevonden te worden.
Want hoe meer bezoekers op je website, hoe groter de kans dat een van die bezoekers uiteindelijk een trouwe nieuwe klant wordt.
Hoe kan je jouw website doen opvallen?
👉 Zet hard in op SEO (zoekmachineoptimalisatie). Op die manier kom je bovenaan in de zoekresultaten voor specifieke trefwoorden.
👉 Maak gebruik van sociale media. Dit zijn extra kanalen waar je een (nieuw) publiek mee kan bereiken. Wanneer je dit publiek kan prikkelen met leuke content, kan je hen stimuleren om jouw website te bezoeken.
👉 Overweeg eventueel betaalde advertenties in zoekmachines (SEA). Alhoewel het duur is (en dus enkel interessant wanneer je met hoge winstmarges werkt), is het een van de makkelijkste manieren om meer bezoekers op je website te krijgen.
👉 Promoot je website op zoveel mogelijk plaatsen: visitekaartjes, flyers, belettering op je bedrijfswagen, een uithangbord bij je huis of kantoor, skywriting (optioneel), ...
Op zoek naar meer tips? Bekijk zeker mijn SEO-tips op https://ts.industries/blog
#webdesign #webdevelopment #webdesigner #webdeveloper #freelancer #freelancewebdesigner #websitebouwen #websitelatenmaken #seo #sea #digitalmarketing #marketing
Als startende zelfstandige kan het interessant lijken om zelf een website te bouwen via een platform zoals Squarespace of Wix.
Dergelijke platformen komen met enkele duidelijke voordelen:
👍 Je bespaart geld door geen budget te moeten voorzien voor een webdeveloper.
👍 Je bent niet afhankelijk van de planning van een externe partij.
👍 Het is leuk (afhankelijk van je interesses)
Toch zijn er ook enkele belangrijke nadelen om rekening mee te houden:
👎 Je mist de adviezen van een ervaren professional. Een goede webdeveloper maakt namelijk niet enkel je website, maar zorgt er ook voor dat je website effectief resultaat oplevert.
👎 Onderschat niet hoeveel tijd er kruipt in het bestuderen van de software, het maken van de website en het onderhoud achteraf. Tijd die je wellicht beter kan gebruiken voor andere zaken.
👎 Wanneer er zich een probleem voordoet, dien je zelf de oorzaak te vinden en het probleem op te lossen.
👎 Bij tools zoals Squarespace en Wix zit je vast in een gesloten systeem, je bent geen eigenaar van je website.
👎 Platformen zoals Squarespace en Wix verbergen belangrijke functionaliteiten achter paywalls, waardoor de kost op termijn een stuk hoger kan uitvallen dan verwacht.
#webdesign #webdevelopment #webdesigner #webdeveloper #freelancer #freelancewebdesigner #websitebouwen #websitelatenmaken #socialmedia #socialemedia #digitalmarketing #marketing #squarespace #wix
Disneyland is niet alleen een van mijn favoriete bestemmingen om te ontspannen, het is ook een plaats die me mateloos inspireert 🪄
Een plaats die enkel tot stand is kunnen komen door één man die groots durfde dromen en tegen beter weten in alles op het spel zette om van zijn droom een realiteit te maken.
Als Walt Disney had geluisterd naar alle experts en goedbedoelde adviezen van vrienden en familie, zou de meest magische plaats ter wereld niet bestaan.
Dream on 🧚
#disneyland #disneylandparis #waltdisney #disney #disneylove #disneymagic
➡️ Wist je dat je in Notion heel wat stappen kan uitsparen door zelf knoppen toe te voegen?
Je kan zelf knoppen aanmaken en er acties aan koppelen, zoals:
👉 Blokken toevoegen
👉 Een pagina aanmaken
👉 Een pagina bewerken
👉 Een notificatie sturen naar iemand
👉 Een URL openen
Door meerdere acties te combineren, kan je krachtige automatisaties opzetten die je heel wat klikwerk besparen.
🔔 Volg me voor meer Notion tips!
#notion #notiontip #notiontutorial #productivity #productivitytips #productivityhacks
🪵 Wanneer hout een beleving wordt...
Voor `De Stamboom` ontwierp ik een website om hun unieke aanbod in de verf te zetten: de verhuur van massieve eiken boomstam-tafels voor feesten en events.
Met tafels van maar liefst 7 meter in 1 stuk zorgt De Stamboom gegarandeerd voor een unieke eyecatcher op jouw evenement. Alle tafels van dit mooie familiebedrijf worden zelf gemaakt in hun eigen atelier te Heule.
Tafel reserveren of de website ontdekken?
🔗 destamboom.be
#website #newwebsite #portfolio #webdesigner #webdesign #webdevelopment #nieuwewebsite #websitelatenmaken
🖱️ Een korte Notion tip die je heel wat klikwerk kan besparen!
Standaard toont Notion slechts een aantal pagina`s in je sidebar.
Door te klikken op "More" kan je al je pagina`s bekijken, maar is het niet handiger als al jouw pagina`s meteen in je sidebar staan?
Kleine moeite! Maak gebruik van de tip in deze video om je leven in Notion weer in stukje aangenamer te maken.
#notion #notiontip #notiontutorial #productivity #productivitytips #productivityhacks
📱"Waarom heb ik een website nodig? Mensen kunnen alle informatie over mijn bedrijf en activiteiten vinden op sociale media!"
Het is een argument dat ik heel vaak hoor, en op het eerste zicht lijkt het inderdaad logisch. Toch zijn er heel wat redenen waarom sociale media geen goed alternatief is voor een website.
👉 Sociale media komt en gaat. De algoritmes veranderen en plots stort je bereik volledig in. In extreme gevallen kan het zelfs gebeuren dat je account wordt verwijderd. Je hebt er simpelweg geen controle over.
👉 Via een website kan je ook veel gemakkelijker gevonden worden in Google, waardoor je een nieuw kanaal hebt om klanten te vinden.
👉 Op je website heb je volledige controle over de layout. Zo kan je mensen snel helpen en kan je hen ook aanmoedigen om actie te ondernemen (zoals een contactformulier invullen of een product kopen).
👉 Een bedrijf met een eigen website wordt serieus genomen, wanneer je enkel een Facebook- of Instagram-account hebt denken mensen soms dat het om een hobby gaat in plaats van een onderneming.
👉 Via een website heb je meer zicht op belangrijke data en analytics. Hoeveel tijd besteden mensen op je website, welke pagina`s bekijken ze, welke knoppen klikken ze aan... Met die waardevolle data kan je jouw aanbod verder verfijnen.
Kortom, een website is en blijft de basis waar je jouw digitale aanwezigheid op bouwt. Inzetten op sociale media blijft belangrijk, maar je gebruikt het best niet als alternatief voor een website.
#webdesign #webdevelopment #webdesigner #webdeveloper #freelancer #freelancewebdesigner #websitebouwen #websitelatenmaken #socialmedia #socialemedia #digitalmarketing #marketing
