Vanaf 15 september verandert internetbeveiligingsbedrijf Cloudflare de manier waarop het omgaat met geautomatiseerd AI-verkeer op zijn netwerk. Crawlers die webpagina's afspeuren om content te verzamelen voor de training van AI-modellen, worden dan standaard geblokkeerd op pagina's waarop advertenties worden getoond.
Tot nu toe konden websitebeheerders zelf kiezen of ze dergelijke crawlers wilden weren. Met de nieuwe standaardinstelling draait Cloudflare die situatie om: blokkeren wordt de norm, toestaan de uitzondering. Gewone zoekcrawlers, zoals die van Google en Bing, vallen buiten deze maatregel en blijven gewoon toegang houden.
De stap volgt op groeiende onvrede onder uitgevers en adverteerders over het massaal scrapen van content door AI-bedrijven, zonder dat daar een vergoeding tegenover staat. Door advertentiepagina's specifiek te beschermen, erkent Cloudflare dat AI-crawlers een directe invloed kunnen hebben op advertentie-inkomsten.
Voor webshop-eigenaren die gebruikmaken van Cloudflare is dit een relevante ontwikkeling. Wie advertenties toont op zijn webshop, ziet AI-crawlers voortaan automatisch tegengehouden worden — zonder dat daar handmatige actie voor nodig is. Wie AI-crawlers juist wél toegang wil geven, zal de nieuwe standaardinstelling bewust moeten aanpassen.