Cloudflare aktualisiert robots.txt, damit Seiten KI-Schrotten blockieren, während Suche Indexierung und Laden für Crawles ermöglicht. Cloudflare updates robots.txt to let sites block AI scraping while allowing search indexing and charging for crawls.

Cloudflare hat das robots.txt-Protokoll mit neuen KI-Steuerelementen aktualisiert, die es Website-Besitzern ermöglichen, KI-Scraping für Trainingszwecke zu blockieren, während die Indizierung von Suchergebnissen und Pay-per-Crawl-Gebühren weiterhin erlaubt sind. Cloudflare has updated the robots.txt protocol with new AI controls, allowing website owners to block AI scraping for training while still permitting search indexing and enabling pay-per-crawl fees. Die Content-Signale-Richtlinie führt Richtlinien wie die Monetisierungs-Optionen ein, um Publishern mehr Kontrolle darüber zu geben, wie ihre Inhalte verwendet werden. The Content Signals Policy introduces directives like “noai” and monetization options, aiming to give publishers more control over how their content is used. Während die Tools für Cloudflare-Kunden kostenlos sind und eine verbesserte Überwachung beinhalten, bleibt Skepsis gegenüber freiwilliger Compliance bestehen, da viele AI-Bots robots.txt ignorieren. While the tools are free for Cloudflare customers and include enhanced monitoring, skepticism remains over voluntary compliance, as many AI bots ignore robots.txt. Kritiker betonen die Notwendigkeit durchsetzbarer gesetzlicher Standards und warnen davor, dass die Selbstregulierung allein die Schöpfer nicht vor unbefugter Datennutzung schützt. Critics stress the need for enforceable legal standards, warning that self-regulation alone won’t protect creators from unauthorized data use.