Moet je AI-crawlers blokkeren? Een eerlijke afweging voor Belgische bedrijven
Het is de vraag waar de meeste discussies over AI en marketing op stuklopen: laat je AI-crawlers je website lezen, of hou je ze buiten? Er is een luid kamp dat zegt dat ze je content stelen, en een luid kamp dat zegt dat blokkeren digitale zelfmoord is. Ze hebben allebei gelijk — voor een ander soort bedrijf.
De kern van de afweging: als je product de tekst zelf is, kost gelezen worden je omzet. Als je product iets is wat je uitvoert, levert gelezen worden je klanten op. Bijna alle verwarring komt voort uit mensen die de logica van de ene groep toepassen op de andere.
Wat blokkeren precies betekent
Je zet in je robots.txt een regel die specifieke crawlers uitsluit — GPTBot, ClaudeBot, PerplexityBot, Google-Extended en zo verder. Dat is geen technische muur maar een verzoek dat de grote aanbieders in de praktijk respecteren. Het gevolg: je pagina’s worden niet opgehaald, niet gebruikt voor training, en niet aangehaald wanneer een assistent live het web raadpleegt.
Dat laatste deel wordt vaak vergeten. Veel mensen denken dat ze alleen training blokkeren. Je blokkeert ook de kans om genoemd te worden in het antwoord op “wie kan dit voor mij doen?”
Voor wie blokkeren verdedigbaar is
- Uitgevers en nieuwsmedia. Je verdient aan mensen die je artikel lezen. Een assistent die je artikel samenvat, levert je precies niets op en neemt het bezoek weg. Hier is blokkeren, of onderhandelen over een licentie, een rationele zet.
- Bedrijven met betaalde kennisproducten. Cursussen, rapporten, databanken. Als je inkomsten komen uit toegang tot informatie, is gratis verspreiding van die informatie geen marketing maar een lek.
- Sites met gevoelige of persoonsgebonden gegevens. Hier is de vraag niet economisch maar juridisch, en dan is terughoudendheid het uitgangspunt.
Voor wie blokkeren zelfvernietigend is
Voor bijna iedereen anders. Een restaurant, een aannemer, een tandartspraktijk, een advocatenkantoor, een softwarebedrijf, een winkel: jouw teksten zijn geen product, ze zijn een etalage. Ze bestaan om gevonden te worden.
Wie in die situatie AI-crawlers blokkeert, doet het equivalent van een winkel die zijn adres uit de telefoongids laat schrappen omdat hij niet wil dat mensen zijn openingsuren kopiëren. De redenering klopt op zichzelf, maar hij lost een probleem op dat je niet had, ten koste van iets wat je wel nodig had.
Het echte probleem: niemand heeft dit beslist
In de audits die ik doe, kom ik regelmatig sites tegen die AI-crawlers blokkeren zonder dat iemand in het bedrijf dat ooit besloot. Het staat er omdat een SEO-plugin een schakelaar had die “AI-bots blokkeren” heette en veilig klonk, of omdat een beveiligingslaag alles blokkeert wat geen browser is, of omdat iemand een lijstje uit een blogartikel heeft overgenomen.
Dat is de duurste variant: je betaalt de volledige prijs van blokkeren zonder er ooit de afweging voor gemaakt te hebben. Controleer dus vandaag wat er in je robots.txt staat. Het duurt dertig seconden.
De tussenweg die de meeste bedrijven zoeken
Er is een middenpositie die zelden benoemd wordt: laat lezen toe, maar zorg dat het samenvatten van je pagina je niet vervangt. Concreet betekent dat:
- Publiceer wat je onderscheidt, niet wat iedereen al schrijft. Een generiek artikel over jouw vakgebied is inwisselbaar en wordt zonder bronvermelding samengevat. Je eigen cijfers, je eigen methode, je eigen cases zijn dat niet.
- Zorg dat het antwoord bij jou eindigt. Een assistent kan uitleggen wat een warmtepomp kost. Hij kan er geen plaatsen. Maak dus expliciet wat alleen jij kan uitvoeren, en hoe iemand daar terechtkomt.
- Vraag om vermelding waar je iets nieuws neerzet. Een eigen model of term met een expliciete bronvermeldingsregel wordt aantoonbaar vaker mét naam geciteerd dan naamloze inzichten.
- Houd je diepste materiaal achter een drempel. Volledige rapporten, rekentools en dossiers achter een formulier. Openbaar wat je vindbaar maakt, afgeschermd wat je waarde is.
Wat ik zelf doe
Deze site laat AI-crawlers uitdrukkelijk toe — je kan het nakijken in mijn robots.txt, waar de grote crawlers expliciet met naam worden toegelaten in plaats van stilzwijgend onder een algemene regel te vallen. Er ligt ook een llms.txt die modellen naar de juiste pagina’s stuurt.
Dat is een bewuste keuze, geen luiheid. Mijn product is niet deze tekst; mijn product is wat ik uitvoer nadat iemand deze tekst gelezen heeft. Voor jou kan het antwoord anders zijn — maar dan wil je dat het een antwoord is, en geen ongeluk.
Veelgestelde vragen
Hoe controleer ik of ik AI-crawlers blokkeer?
Open jouwdomein.be/robots.txt in je browser en zoek naar regels met GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot of anthropic-ai. Staat daar Disallow: / onder, dan blokkeer je die crawler. Controleer ook je firewall of beveiligingsplugin: die kan verzoeken blokkeren zonder dat het in robots.txt zichtbaar is.
Is Google-Extended hetzelfde als Googlebot blokkeren?
Nee. Googlebot verzorgt de gewone zoekresultaten. Google-Extended bepaalt of je content gebruikt mag worden voor de generatieve AI-producten van Google. Je kan dus in de klassieke zoekresultaten blijven staan en tegelijk uit de AI-antwoorden verdwijnen — een combinatie die veel bedrijven per ongeluk hebben.
Kan ik crawlers blokkeren en toch in AI-antwoorden komen?
Beperkt. Een model kan je nog noemen op basis van wat het elders over je leest — vermeldingen op vakplatformen, recensiesites, directories, artikels. Maar je hebt dan geen enkele controle meer over wat het zegt, want je eigen bron is uitgesloten. Dat is meestal de slechtste van beide werelden.
Kan ik het later terugdraaien?
Ja, en dat is een argument om niet te panikeren. Toegang weer openzetten werkt binnen weken voor assistenten die live het web raadplegen. Het beeld dat een model uit oudere trainingsdata heeft, verandert trager — daar verlies je dus wel tijd die je niet terugkrijgt.
Meer klanten via je website?
Gratis analyse van je huidige site. Geen verplichtingen, ik reageer binnen 24 uur.
Vraag gratis analyse aan