Waarom blokkeren wij AI-bots?
De afgelopen jaren is het verkeer van AI-crawlers en geautomatiseerde bots op onze shared hosting servers sterk toegenomen. Deze bots:
Veroorzaken een hoge serverbelasting door massaal en frequent pagina's op te halen
Leiden tot tragere laadtijden voor echte bezoekers op diezelfde server
Gebruiken veel serverresources zonder toegevoegde waarde voor jou als website-eigenaar
Zijn vaak gericht op het verzamelen van trainingsdata voor AI-modellen, zonder toestemming
Om de performance en stabiliteit van onze shared hosting-omgeving te waarborgen, blokkeren we veel bekende AI-gerelateerde crawlers, scrapers en bots via server-side regels op basis van hun User-Agent.
Hierbij proberen we voornamelijk trainingbots tegen te gaan, en bots die op aanvraag van een bezoeker een site bezoeken wel toestaan.
Hoe werkt de blokkering?
Bots worden herkend aan hun User-Agent string — een tekstregel die elke bezoeker (browser of bot) meestuurt bij een verzoek aan de server.
Wanneer een bekende AI-bot wordt herkend, krijgt deze een 403 Forbidden-foutmelding terug en wordt het verzoek niet verder verwerkt. Dit voorkomt onnodige belasting van de server.
Naast User-Agents worden ook verzoeken naar gevoelige bestandstypen geblokkeerd, zoals .env, .sql, .htaccess en vergelijkbare configuratiebestanden.
Overzicht geblokkeerde bots
Hieronder een overzicht van alle geblokkeerde bots, gegroepeerd per categorie.
AI-assistenten en chatbots
Bots van bekende AI-chatdiensten die websites bezoeken om antwoorden te genereren of trainingsdata te verzamelen.
Bot / User-Agent | Dienst |
ClaudeBot, Anthropic, anthropic-ai | Anthropic / Claude |
GPTBot, OAI-SearchBot, Open AI | OpenAI / ChatGPT |
Gemini, Google-Extended, GoogleOther | Google Gemini |
Copilot | Microsoft Copilot |
Grok, xAI | xAI / Grok |
Meta-AI, Meta-ExternalAgent, MetaAI | Meta AI |
Mistral, Mixtral, Magistral | Mistral AI |
Le Chat | Mistral (chatinterface) |
DeepSeek | DeepSeek AI |
Qwen | Alibaba / Qwen |
ChatGLM, GLM | Zhipu AI |
GigaChat | Sber AI |
Kimi | Moonshot AI |
MiniMax | MiniMax AI |
Hunyuan | Tencent |
Doubao AI | ByteDance |
AI-zoekmachines en zoekbots
Bots van AI-aangedreven zoekmachines die content indexeren voor hun eigen zoekresultaten.
Bot / User-Agent | Dienst |
PerplexityBot, Perplexity | Perplexity AI |
YouBot | You.com |
DuckAssistBot, DuckDuckGo-Enhanced | DuckDuckGo AI |
Phind | Phind zoekmotor |
iAsk, iaskspider | iAsk.ai |
KomoBot | Komo Search |
NeevaBot | Neeva |
Genspark | Genspark AI |
AndiBot | Andi Search |
OAI SearchBot | OpenAI Search |
AI-schrijftools en content-generators
Tools die websites bezoeken om content te verzamelen, parafraseren of herschrijven.
Bot / User-Agent | Dienst |
Jasper | Jasper AI |
CopyAI, Copy.AI | Copy.ai |
Writesonic, Chatsonic | Writesonic |
Rytr | Rytr.me |
Anyword | Anyword |
Hypotenuse AI | Hypotenuse.ai |
Sudowrite | Sudowrite |
Scalenut | Scalenut |
ContentBot | ContentBot.ai |
Kafkai | Kafkai |
INK Editor, INKforall | INK |
Wordtune | Wordtune |
QuillBot | QuillBot |
ProWritingAid | ProWritingAid |
Grammarly | Grammarly |
Hemingway Editor | Hemingway App |
TextCortex | TextCortex |
Copymatic | Copymatic |
WordAI | WordAI |
Spin Rewrite, Spinbot | Spin Rewrite |
Articoolo | Articoolo |
Writecream | Writecream |
WriterZen | WriterZen |
Ghostwriter | Ghostwriter AI |
SEO-crawlers en analysetools
Bots van SEO-platforms die grote hoeveelheden pagina's crawlen voor analyses en rapportages.
Bot / User-Agent | Dienst |
AhrefsBot | Ahrefs |
SemrushBot | Semrush |
MJ12bot | Majestic |
DotBot | Moz/DotBot |
SEObot | SEObot |
NeuralSEO | NeuralSEO |
MarketMuse | MarketMuse |
ClearScope | Clearscope |
SEO Content Machine | SEO Content Machine |
Surfer AI | SurferSEO |
Content King | ContentKing |
ContentShake | Semrush ContentShake |
CrawlQ AI | CrawlQ |
AddSearchBot | AddSearch |
Data-crawlers en trainingsdata-verzamelaars
Bots die op grote schaal webcontent verzamelen, vaak voor het trainen van AI-modellen.
Bot / User-Agent | Dienst |
CCBot, Common Crawl, CommonCrawl | Common Crawl |
Bytespider, ByteDance | ByteDance |
Diffbot | Diffbot |
Ai2Bot, Ai2Bot-Dolma, AI2 | Allen Institute for AI |
img2dataset | Laion / img2dataset |
VelenPublicWebCrawler | Velen.io |
FriendlyCrawler | FriendlyCrawler |
Crawl4AI | Crawl4AI |
magpie-crawler | Magpie Crawler |
ICC-Crawler | ICC |
PetalBot, Petal | Huawei Petal |
ISSCyberRiskCrawler | ISS |
SBIntuitionsBot | SB Intuitions |
peer39_crawler | Peer39 |
AI-afbeelding generators
Bots van diensten die afbeeldingen genereren met AI, die websiteafbeeldingen scrapen.
Bot / User-Agent | Dienst |
DALL-E | OpenAI DALL-E |
Midjourney | Midjourney |
Stability, StableDiffusionBot | Stability AI |
Flux | Black Forest Labs |
Sora | OpenAI Sora |
Lensa | Lensa AI |
ImageGen | Generieke beeldgeneratie |
AI-agents en automatiseringsframeworks
Bots van agentic AI-systemen en automatiseringsplatforms die zelfstandig het web doorzoeken.
Bot / User-Agent | Dienst |
AutoGen | Microsoft AutoGen |
CrewAI, Crew AI | CrewAI |
LangChain | LangChain |
BabyAGI, BabyCatAGI | BabyAGI |
SuperAGI | SuperAGI |
Devin | Cognition / Devin |
Manus | Manus AI |
Goose | Block / Goose |
Nova Act, NovaAct | Amazon Nova Act |
Browser Use | Browser Use |
Browser MCP Agent | MCP agents |
Open Interpreter | Open Interpreter |
NodeZero | Horizon3 / NodeZero |
Puppeteer | Headless Chrome (Puppeteer) |
Scrapy, Scrap | Scrapy framework |
Overige en categoriegebonden bots
Overige bekende bots die door hun aard significant serververkeer veroorzaken.
Bot / User-Agent | Dienst / Categorie |
Applebot, Applebot-Extended | Apple |
Amazonbot | Amazon |
FacebookBot | Meta / Facebook |
TikTokSpider | TikTok / ByteDance |
Baiduspider | Baidu |
Yandex-gerelateerd (YandexAdditional, Alice Yandex) | Yandex |
Cohere, cohere-ai | Cohere |
DeepMind | Google DeepMind |
Firecrawl | Firecrawl |
Lightpanda | Lightpanda |
Zendesk | Zendesk bots |
Meltwater | Meltwater media |
AwarioRssBot, AwarioSmartBot | Awario |
Geblokkeerde bestandstypen
Naast bots worden ook directe verzoeken naar de volgende bestandsextensies geblokkeerd, omdat dit gevoelige configuratiebestanden zijn die nooit publiek toegankelijk mogen zijn:
Extensie | Reden |
| Omgevingsvariabelen en wachtwoorden |
| Databasedumps |
| Serverbeveiligingsconfiguratie |
| Wachtwoordbestanden |
| PHP- en applicatieconfiguratie |
| Applicatieconfiguraties |
| macOS-metadata (informatielek) |
| MySQL-selectiebestanden |
Wil je bepaalde bots wél toestaan?
Op onze shared hosting-omgeving is dit niet mogelijk, omdat de blokkering op serverniveau geldt voor alle klanten op dezelfde server.
Heb je een legitieme reden om specifieke bots toe te staan dan kun je overstappen naar het nieuwe Superspace Hosting. Op dit platform kunnen we dankzij isolatie met containers per site meer vrijheid geven om eigen firewall regels op te stellen; waaronder het toestaan van bots.
Neem contact op met onze support voor meer informatie