Und wenn die robots.txt eine spezielle Schwester für generative Künstliche Intelligenzen hätte? Genau das ist die Idee hinter LLMs.txt, ein Vorschlag von Jeremy Howard, der die Regeln für den Zugriff von KI auf Webinhalte neu zeichnen könnte. Keine Panik, keine Euphorie, sondern eine Entwicklung, die man genau beobachten sollte.
Was Sie mitnehmen sollten:
- LLMs.txt ist eine Datei, die dazu dient, den Zugriff generativer KI auf Webinhalte zu regeln.
- Sie bietet Herausgebern eine Möglichkeit, festzulegen, welche Bereiche ihrer Seite von KI‑Crawlern eingesehen werden dürfen oder nicht.
- Inspiriert von robots.txt richtet sich LLMs.txt speziell an Datensammler, die zur Ausbildung sprachlicher Modelle verwendet werden.
- Obwohl vielversprechend, bleiben seine Einführung und die Beachtung durch Akteure der KI zu beobachten.
LLMs.txt: ein neues Hinweisschild für KI
Warum diese Datei die Spielregeln verändert?
Suchmaschinen haben ihre Regeln. Seit den 90er Jahren Datei robots.txt ermöglicht Webseiten anzugeben, was sie – oder nicht – indexiert sehen wollen. Es ist einfach, effektiv und ein wenig altmodisch. Aber generative KI wie ChatGPT oder Claude? Sie gehorchen nicht unbedingt denselben Regeln.
Die Datei LLMs.txt soll diese Unklarheit beseitigen. Kurz gesagt würde sie den Herausgebern ein Mittel geben zu sagen: „Das darfst du lesen, das nicht.“ Oder sogar: „Fass gar nichts an.“ Eine Art digitale Höflichkeitsvereinbarung, zugeschnitten auf KI-Modelle.
Ein robots.txt für das LLM-Zeitalter?
Der Vergleich ist verlockend, aber nicht ganz zutreffend. Wo robots.txt (mehr oder weniger) von Googlebot und Co. respektiert wird, LLMs.txt richtet sich direkt an KI-Crawler, werden die Datensätze verwendet, mit denen Sprachmodelle trainiert werden. Gemeint sind hier Common Crawl, LAION oder sogar die Sammler von OpenAI oder Anthropic.
Konkret: Wie sieht das aus?
Eine einfache, aber wirkungsvolle Syntax
Die Datei LLMs.txt würde wie ihr Vorgänger im Stammverzeichnis einer Website liegen. Darin Anweisungen, die von KI-Crawlern gelesen werden können: allgemeine Informationen, Hinweise und Links zu ausführlichen Markdown-Dateien. Hier ein fiktives Beispiel aus der Dokumentation von Jérémy Howard:
# Titel
> Optionale Beschreibung hier
Optionale Details hier
## Abschnittsname
– [Linktitel](https://link_url): Optionale Linkdetails
## Optional
– [Linktitel](https://link_url)
Ein anderer Beispiel auf der Website von Anthropic um zu sehen, wie das in echt aussieht.
Das ist klar, lesbar und potenziell sehr nützlich. Aber nichts Verpflichtendes in diesem Stadium. Wir bewegen uns noch im Bereich der Freiwilligkeit.
Und welche rechtlichen Auswirkungen hat das?
Hier werden die Dinge unklarer. Diese Datei hat noch keinen soliden rechtlichen Status. Es handelt sich um einen von der Tech-Community vorgeschlagenen Standard (unter anderem über Hugging Face), aber seine Beachtung hängt vom guten Willen der Akteure der KI ab.
Auf dem Papier ist das also verlockend. Aber man hat bei robots.txt gesehen: Nicht alle halten sich daran.
Auf dem Weg zu einem neuen digitalen Gesellschaftsvertrag?
Wer darf was lesen?
Das ist sozusagen die große Frage der Stunde. Verlage sorgen sich. Dass ihre Inhalte abgesaugt, verarbeitet, ohne Erlaubnis remixt werden – manchmal nicht einmal mit Nennung – kommt schlecht an. Und das ist verständlich.
Mit LLMs.txt wäre die Idee, die Kräfteverhältnisse auszugleichen. Den Schöpfern etwas mehr Kontrolle zu geben. Ein Mindestmaß an Einverständnis in einem oft zu gefräßigen Ökosystem.
Fragen ohne Antwort (vorerst)
Wir stehen noch am Anfang. Wer wird dieses Protokoll wirklich einhalten? Wird es von einem rechtlichen Rahmen begleitet werden müssen? Werden die Regierungen folgen? Und vor allem: Wie lässt sich prüfen, ob Ihre Inhalte trotz Ihrer Vorgaben von einem Modell aufgenommen wurden?
Nichts ist entschieden. Aber die Initiative hat zumindest den Verdienst, die Grundlagen zu legen.
Warum Sie sich dafür interessieren sollten (zumindest ein bisschen)
Selbst wenn Sie weder Jurist noch Entwickler noch Medienverlag sind, betrifft Sie dieses Thema. Denn es berührt einen empfindlichen Punkt: den Wert dessen, was man veröffentlicht. Auf einem Blog, in einem Newsletter oder auf einer E‑Commerce‑Site haben Ihre Worte einen Wert. Und diese Dateien sind vielleicht die ersten Bausteine einer Form von digitalem Respekt.
Einige Punkte, die es zu beobachten gilt
- Die kommenden Aktualisierungen des Protokolls
- Die Stellungnahmen der Internetgiganten (Google, Meta, OpenAI …)
- Wie CMS wie WordPress diese Logik integrieren werden
Und ehrlich: Wer will schon sehen, wie seine Inhalte KI füttern, ohne dafür auch nur ein „Danke“ zu bekommen?
Zuletzt: Es wird sich schnell ändern
Keinen Grund, heute Ihre ganze Website zu überarbeiten. Aber das Thema im Blick zu behalten, schadet nicht. Wie oft im Digitalen entwickeln sich Dinge erst stillschweigend … und kippen dann plötzlich.
LLMs.txt ist kein Zauberstab. Eher ein Signal. Eine dezente Warnung. Und vielleicht der Beginn eines ausgewogeneren Verhältnisses zwischen KI und denen, die täglich das Internet mit Inhalten versorgen. Ihnen, uns, all denjenigen, die schreiben, teilen und erstellen.
Der Artikel „LLMs.txt: die Datei, die KI nicht möchte, dass Sie sie kennen“ wurde auf der Seite veröffentlicht Abondance.
