Meta startet Meta External Agent, einen Web-Crawler, der Robots.txt zur Datenerfassung umgeht.

Meta hat einen neuen Web-Crawler namens Meta External Agent veröffentlicht, um Daten aus dem Internet zu sammeln, insbesondere aus öffentlich angezeigten Inhalten wie Nachrichtenartikeln und Online-Diskussionen. Der Crawler sammelt Daten für Metas KI-Modell und umgeht Standard-Website-Schutzmaßnahmen, die auf Robots.txt-Dateien basieren. Dieser Schritt zeigt das Engagement von Meta für das Training und die Verbesserung seiner KI-Modelle.

August 21, 2024
6 Artikel