llms.txt: Das robots.txt für KI-Agenten

Wenn du schon länger mit Websites arbeitest, kennst du robots.txt. Eine simple Textdatei im Root-Verzeichnis, die Suchmaschinen-Crawlern sagt: hier darfst du rein, dort nicht. Seit September 2024 gibt es einen ähnlichen Vorschlag für KI-Systeme: llms.txt.

Die Idee dahinter ist einleuchtend. Und der aktuelle Stand ist ehrlich gesagt: kompliziert.

Das Problem, das llms.txt lösen soll

Wenn jemand ChatGPT, Claude oder Perplexity nach einem Produkt, einer Dienstleistung oder einem Thema fragt, holt das Modell Informationen aus dem Web – in Echtzeit oder aus seinem Trainingsdatensatz. Das Problem dabei: Websites sind für Menschen gebaut, nicht für KI-Systeme.

Eine typische Seite besteht aus HTML mit Navigationsmenüs, Cookie-Bannern, Footern, JavaScript-Komponenten und Marketing-Copy, die über die gesamte Seite verteilt ist. Ein KI-Agent, der diese Seite parst, muss erst herausfinden, welcher Teil eigentlich der relevante Inhalt ist – und welche Seiten der gesamten Domain überhaupt wichtig sind.

llms.txt löst das mit einem simplen Ansatz: eine Markdown-Datei unter yoursite.com/llms.txt, die dem Agenten eine strukturierte Übersicht der wichtigsten Inhalte gibt. Kein HTML-Parsing, kein Raten – direkt lesbar.

Wie sieht die Datei aus?

Das Format ist bewusst einfach gehalten. Ein Beispiel:

# Tobeworks

> Fullstack-Webentwicklung aus Mainz. Vue.js, React, TypeScript, WordPress.

## Leistungen
- [Vue.js Entwicklung](/leistungen/vuejs): Komponenten, Apps, Migration
- [WordPress Entwicklung](/leistungen/wordpress): Themes, Plugins, WooCommerce
- [Barrierefreiheit](/leistungen/accessibility): WCAG 2.2, BITV, Audits

## Blog
- [DSGVO-Tracking ohne Cookie-Banner](/artikel/dsgvo-tracking-ohne-consent-banner/): Matomo cookieless, Plausible, Server-Side
- [CSS Anchor Positioning](/artikel/css-anchor-positioning-popper-ende/): Das Ende von Popper.js

## Optional
- [llms-full.txt](/llms-full.txt): Vollständiger Seiteninhalt als Markdown

Der H1 ist der Name der Website, der Blockquote darunter eine kurze Beschreibung. Danach kommen Sektionen mit den wichtigsten Seiten – jeweils mit URL und einer kurzen Beschreibung was dort zu finden ist.

Zusätzlich gibt es die Variante llms-full.txt: eine Datei, die den vollständigen Inhalt der gesamten Website als Markdown enthält. Praktisch für Nutzer, die den kompletten Kontext in ein Gespräch mit einem KI-Tool laden wollen.

Wer steckt dahinter?

Der Standard wurde im September 2024 von Jeremy Howard vorgeschlagen – Mitgründer von Answer.AI und bekannt als Mitentwickler von fast.ai. Die Idee verbreitete sich schnell in der Entwickler-Community.

Heute haben Anthropic (Claude-Dokumentation), Cloudflare, Vercel, Stripe, Astro und viele weitere Tech-Unternehmen eine llms.txt implementiert. Die Dokumentationsplattform Mintlify generiert die Datei automatisch für alle ihre Kunden – was praktisch über Nacht tausende neue Implementierungen erzeugt hat.

Eine Studie von SE Ranking hat 300.000 Domains analysiert und eine Adoptionsrate von rund 10% gefunden. Das klingt niedrig, ist aber für einen Standard ohne formelle Standardisierungsbody bemerkenswert.

Der ehrliche Stand der Dinge

Hier muss ich fair sein: Kein einziger großer KI-Anbieter hat offiziell bestätigt, dass seine Crawler llms.txt aktiv auslesen und auswerten. Google hat den Standard explizit abgelehnt und ihn mit dem längst diskreditierten Keywords-Meta-Tag verglichen. John Mueller von Google hat klargestellt, dass keine der KI-Crawlers die Datei als Signal bestätigt hat.

Eine Analyse von 94.000 zitierten URLs aus über 11.000 KI-Antworten hat keinen messbaren Zusammenhang zwischen llms.txt-Implementierung und Zitierhäufigkeit gefunden. 8 von 9 Websites sahen nach der Implementierung keine messbare Traffic-Veränderung.

Das ist die Realität im März 2026.

Warum trotzdem implementieren?

Zwei Gründe sprechen dennoch dafür:

Aufwand vs. Risiko: Eine gut gepflegte llms.txt dauert 30–60 Minuten zu erstellen. Es gibt keinen nachgewiesenen Nachteil. Wenn der Standard sich etabliert, bist du bereits dabei. Das klassische “niedriges Risiko, potenzieller Gewinn”-Argument – und es ist hier tatsächlich berechtigt.

Direkter Nutzen heute: Unabhängig vom Crawler-Support ist llms.txt sofort nützlich für Nutzer, die KI-Tools aktiv mit Kontext deiner Website befüttern. Wer im Sales-Gespräch oder bei der Recherche ChatGPT fragt “Was macht diese Agentur?”, kann einfach yoursite.com/llms.txt als Kontext-URL einfügen. Sauber strukturierter Markdown schlägt HTML-Parsing jedes Mal.

So implementierst du llms.txt

Für eine einfache Website reichen vier Schritte:

1. Datei anlegen: Erstelle /llms.txt im Root-Verzeichnis deiner Website (also erreichbar unter deinedomain.de/llms.txt).

2. Struktur aufbauen: H1 = Seitenname, Blockquote = Kurzbeschreibung, dann Sektionen mit den wichtigsten Seiten als Markdown-Links mit Kurzbeschreibung.

3. Prioritäten setzen: Nicht jede Seite gehört rein. Fokus auf Inhalte, die für KI-Antworten über dich oder deine Themen relevant sind: Leistungsseiten, wichtige Blogartikel, Über-Seite, Kontakt.

4. Aktuell halten: Eine veraltete llms.txt ist schlimmer als keine – falsche Informationen in KI-Antworten sind schwer rückgängig zu machen.

Für WordPress gibt es bereits Plugins (u.a. Yoast SEO hat native Unterstützung). Für statische Sites wie Astro bietet sich eine generierte Datei im Build-Prozess an.

Fazit

llms.txt ist kein SEO-Wundermittel und kein etablierter Standard – das wäre gelogen. Es ist ein sinnvoller Vorschlag in einem frühen Stadium, der von namhaften Tech-Unternehmen bereits eingesetzt wird und dessen Aufwand in keinem Verhältnis zum potenziellen Nutzen steht.

Wer eine gepflegte Website hat und 30 Minuten übrig: umsetzen. Wer SEO-Ressourcen priorisieren muss: erst die bewährten Grundlagen stärken, dann llms.txt als nächsten Schritt.

Die eigentliche Botschaft dahinter – strukturierter, maschinenlesbarer Content wird wichtiger – die stimmt unabhängig davon ob llms.txt sich als Standard durchsetzt oder nicht.

Quellen & weiterführende Links

• Spezifikation: Jeremy Howard – llms.txt proposal · llmstxt.org
• Studie: SE Ranking – Analyse von 300.000 Domains zur llms.txt-Adoption (2025) · seranking.com
• Analyse: ALLMO.ai – LLMs.txt for AI Search Report 2026 · allmo.ai
• Kritische Einordnung: Is llms.txt Dead? · llms-txt.io
• Praxis: Mintlify – What is llms.txt? Breaking down the skepticism · mintlify.com
• AGENTS.md Open Format (verwandtes Konzept für Coding Agents) · agents.md