KI-Training: Ein Eintrag in robots.txt soll Google und OpenAI zugleich sperren
Das Wichtigste in Kürze
- Google und OpenAI haben am 30.10.2026 angekündigt, ein gemeinsames Signal in robots.txt zu beachten, mit dem Websites das Training von KI-Modellen mit ihren Inhalten ablehnen können.
- Grundlage ist die Arbeit der Gruppe AIPREF bei der IETF. Bisher brauchte jeder KI-Anbieter eine eigene Regel, etwa Google-Extended bei Google.
- Google will das Signal 2027 unterstützen und wertet ein Nein wie eine Sperre von Google-Extended. OpenAI will es in den kommenden Monaten umsetzen.
Wer seine Texte nicht im Training von KI-Modellen sehen will, muss bisher jeden Anbieter einzeln aussperren. Das soll sich ändern: Google und OpenAI haben am 30.10.2026 angekündigt, ein gemeinsames Signal in der Datei robots.txt zu beachten. Ein einziger Eintrag soll dann für alle teilnehmenden KI-Anbieter gelten. Die Vorlage stammt aus der Arbeitsgruppe AIPREF der Internet Engineering Task Force (IETF), die Standards für das Netz entwickelt.
Bei Google heißt die bisherige Lösung Google-Extended, ein eigener Eintrag für das KI-Training, den Google 2023 eingeführt hat. Laut dem Beitrag im Search Central Blog will Google ein Nein über das neue gemeinsame Kürzel so werten, als hätte die Website Google-Extended gesperrt, sofern sie Google-Extended nicht ausdrücklich anders regelt. Unterstützen will Google das Signal 2027. OpenAI nennt einen kürzeren Zeitraum: Umgesetzt werden soll in den kommenden Monaten, Details folgen später. Beide betonen, dass ihre bisherigen Einträge weiter gelten.
Für Verlage wird das Nein billiger, aber nicht folgenlos#
Die Ankündigung kommt Verlagen entgegen, die ihre Werbefinanzierung schon durch Consent-Regeln bedroht sehen, wie zuletzt im Streit um den Digital Omnibus. Statt eine wachsende Liste von Crawlern zu pflegen, reicht künftig eine Zeile. Google verweist selbst auf den Verhaltenskodex der EU für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck unter dem AI Act, der robots.txt als zentralen maschinenlesbaren Weg für solche Vorbehalte anerkennt.
Ganz ohne Preis kommt das Nein nicht. Google schreibt, dass Websites, die Google-Extended ausdrücklich erlauben, in den Gemini-Apps über Grounding als Quelle erscheinen und Klicks bekommen können. Da ein pauschales Nein über das neue Signal wie eine Sperre von Google-Extended zählt, dürfte es dort Sichtbarkeit kosten. Für Publisher, die Reichweite aus KI-Antworten erwarten, ist das eine Abwägung zwischen Schutz der Inhalte und Sichtbarkeit.
Offen ist, wie viele Anbieter mitziehen. OpenAI ruft andere KI-Firmen ausdrücklich dazu auf. Ob das Signal zum Standard wird, entscheidet sich mit der Umsetzung bei Google 2027.
