roazon-bot

hoe je ons herkent

elk verzoek dat we doen bevat deze User-Agent, met een adres waarop je ons kunt bereiken:

voor robots.txt is ons token roazon-bot. . we draaien op Cloudflare Workers, dus verzoeken komen van Cloudflare-datacenter-IP's in plaats van één vast adres — filter op de User-Agent, niet op een IP-lijst.

waar we onszelf aan houden

deze grenzen zitten in de crawler zelf, het is geen belofte op papier:

• verzoekenmax 1 per seconde
• pagina's per brander, per ronde40
• producten per brander, per ronde120
• time-out per verzoek15s
• redirects gevolgd3
• gelezen responseeerste 5 MB
• robots.txtaltijd gerespecteerd

we lezen HTML en elke catalogusfeed die je shop al voor machines publiceert — Shopify's /products.json, de WooCommerce Store API, je sitemap, JSON-LD. we loggen nooit in, versturen nooit een formulier en komen nooit bij de kassa.

ons binnenlaten

staat je site achter een bot-check, dan stoppen we daar en noteren we je branderij als "wacht op de eigenaar" — we proberen er niet omheen te werken. wil je dat we je openbare catalogus lezen, laat dan de User-Agent hierboven toe.

robots.txt (begin hier) — als je robots.txt onbekende crawlers blokkeert, voeg dan een expliciete groep toe. dit is geen beveiligingsmaatregel, dus het kost je niets:

User-agent: roazon-bot
Allow: /

Cloudflare — alleen als een bot-check ons daadwerkelijk tegenhoudt. onze User-Agent is geen identiteitsbewijs — iedereen kan die meesturen — dus zet nooit je hele WAF uit op basis van die tekst. beperk de uitzondering tot alleen het bot-onderdeel, en tot leesverzoeken:

(http.user_agent contains "roazon-bot"
  and http.request.method eq "GET")

zet de actie op Skip en selecteer alleen je bot-fight/bot-management-onderdeel — laat managed rules, rate limiting en je overige firewallregels aan staan. zo levert een vervalste User-Agent een aanvaller niets op behalve de bot-check, en alleen op leesverzoeken.

strakker nog, als je liever de paden benoemt: we lezen eerst je homepage en about/contact-pagina's, daarna het catalogus-endpoint van je platform, en dan elke productpagina die daarin staat. vul op de laatste regel je eigen productpad-prefix in — dat verschilt per shop, en daarom kunnen we geen lijst afdrukken die voor iedereen klopt:

(http.user_agent contains "roazon-bot"
  and http.request.method eq "GET"
  and (http.request.uri.path in {"/" "/about" "/about-us" "/over-ons" "/contact" "/contact-us"}
    or http.request.uri.path in {"/products.json" "/sitemap.xml" "/sitemap_index.xml"}
    or starts_with(http.request.uri.path, "/wp-json/wc/store/")
    or starts_with(http.request.uri.path, "/collections/")
    or starts_with(http.request.uri.path, "/products/")))

komen de branderijpagina's wel terug maar de bonen niet, dan is die laatste prefix de regel die je moet verbreden.

op Shopify, WooCommerce of Lightspeed zonder extra WAF ervoor is meestal niets nodig — je catalogus is al leesbaar. heb je ons toegelaten, mail dan [email protected] en we lezen je shop opnieuw.

ons uitzetten

je hoeft nooit uit te leggen waarom, en we vragen het geen tweede keer. zet dit in je robots.txt en we stoppen bij ons volgende bezoek:

User-agent: roazon-bot
Disallow: /

liever een mens spreken, of wil je je branderij helemaal van roazon af? mail [email protected] en we halen de pagina offline en stoppen met het lezen van je site. geen account, geen formulier, geen voorwaarden.

als dit jouw branderij is

sta je al op roazon? open dan de pagina van je branderij en gebruik de "claim de pagina"-link daar — die bevat het id dat de claim aan je vermelding koppelt.

nog niet op roazon, of niet zeker? mail gewoon [email protected] — — geen account nodig. met een claim kun je gegevens corrigeren en zien waar klanten op klikken.

vragen

een echt mens leest dit adres: [email protected].