llms.txt: Das robots.txt für KI-Agenten

Wenn du schon länger mit Websites arbeitest, kennst du robots.txt. Eine simple Textdatei im Root-Verzeichnis, die Suchmaschinen-Crawlern sagt: hier darfst du rein, dort nicht. Seit September 2024 gibt es einen ähnlichen Vorschlag für KI-Systeme: llms.txt.

Die Idee dahinter ist einleuchtend. Und der aktuelle Stand ist ehrlich gesagt: kompliziert.

Das Problem, das llms.txt lösen soll

Wenn jemand ChatGPT, Claude oder Perplexity nach einem Produkt, einer Dienstleistung oder einem Thema fragt, holt das Modell Informationen aus dem Web, in Echtzeit oder aus seinem Trainingsdatensatz. Das Problem dabei: Websites sind für Menschen gebaut, nicht für KI-Systeme.

Eine typische Seite besteht aus HTML mit Navigationsmenüs, Cookie-Bannern, Footern, JavaScript-Komponenten und Marketing-Copy, die über die gesamte Seite verteilt ist. Ein KI-Agent, der diese Seite parst, muss erst herausfinden, welcher Teil eigentlich der relevante Inhalt ist, und welche Seiten der gesamten Domain überhaupt wichtig sind.

llms.txt löst das mit einem simplen Ansatz: eine Markdown-Datei unter yoursite.com/llms.txt, die dem Agenten eine strukturierte Übersicht der wichtigsten Inhalte gibt. Kein HTML-Parsing, kein Raten, direkt lesbar.

Wie sieht die Datei aus?

Das Format ist bewusst einfach gehalten. Ein Beispiel:

# Tobeworks

> Fullstack-Webentwicklung aus Mainz. Vue.js, React, TypeScript, WordPress.

## Leistungen
- [Vue.js Entwicklung](/leistungen/vuejs): Komponenten, Apps, Migration
- [WordPress Entwicklung](/leistungen/wordpress): Themes, Plugins, WooCommerce
- [Barrierefreiheit](/leistungen/accessibility): WCAG 2.2, BITV, Audits

## Blog
- [DSGVO-Tracking ohne Cookie-Banner](/artikel/dsgvo-tracking-ohne-consent-banner/): Matomo cookieless, Plausible, Server-Side
- [CSS Anchor Positioning](/artikel/css-anchor-positioning-popper-ende/): Das Ende von Popper.js

## Optional
- [llms-full.txt](/llms-full.txt): Vollständiger Seiteninhalt als Markdown

Der H1 ist der Name der Website, der Blockquote darunter eine kurze Beschreibung. Danach kommen Sektionen mit den wichtigsten Seiten, jeweils mit URL und einer kurzen Beschreibung was dort zu finden ist.

Zusätzlich gibt es die Variante llms-full.txt: eine Datei, die den vollständigen Inhalt der gesamten Website als Markdown enthält. Praktisch für Nutzer, die den kompletten Kontext in ein Gespräch mit einem KI-Tool laden wollen.

Wer steckt dahinter?

Der Standard wurde im September 2024 von Jeremy Howard vorgeschlagen, Mitgründer von Answer.AI und bekannt als Mitentwickler von fast.ai. Die Idee verbreitete sich schnell in der Entwickler-Community.

Heute haben Anthropic (Claude-Dokumentation), Cloudflare, Vercel, Stripe, Astro und viele weitere Tech-Unternehmen eine llms.txt implementiert. Die Dokumentationsplattform Mintlify generiert die Datei automatisch für alle ihre Kunden, was praktisch über Nacht tausende neue Implementierungen erzeugt hat.

Eine Studie von SE Ranking hat 300.000 Domains analysiert und eine Adoptionsrate von rund 10% gefunden. Das klingt niedrig, ist aber für einen Standard ohne formelle Standardisierungsbody bemerkenswert.

Der ehrliche Stand der Dinge

Hier muss ich fair sein: Kein einziger großer KI-Anbieter hat offiziell bestätigt, dass seine Crawler llms.txt aktiv auslesen und auswerten. Google hat den Standard explizit abgelehnt und ihn mit dem längst diskreditierten Keywords-Meta-Tag verglichen. John Mueller von Google hat klargestellt, dass keine der KI-Crawlers die Datei als Signal bestätigt hat.

Eine Analyse von 94.000 zitierten URLs aus über 11.000 KI-Antworten hat keinen messbaren Zusammenhang zwischen llms.txt-Implementierung und Zitierhäufigkeit gefunden. 8 von 9 Websites sahen nach der Implementierung keine messbare Traffic-Veränderung.

Das ist die Realität im März 2026.

Warum trotzdem implementieren?

Zwei Gründe sprechen dennoch dafür:

Aufwand vs. Risiko: Eine gut gepflegte llms.txt dauert 30-60 Minuten zu erstellen. Es gibt keinen nachgewiesenen Nachteil. Wenn der Standard sich etabliert, bist du bereits dabei. Das klassische “niedriges Risiko, potenzieller Gewinn”-Argument, und es ist hier tatsächlich berechtigt.

Direkter Nutzen heute: Unabhängig vom Crawler-Support ist llms.txt sofort nützlich für Nutzer, die KI-Tools aktiv mit Kontext deiner Website befüttern. Wer im Sales-Gespräch oder bei der Recherche ChatGPT fragt “Was macht diese Agentur?”, kann einfach yoursite.com/llms.txt als Kontext-URL einfügen. Sauber strukturierter Markdown schlägt HTML-Parsing jedes Mal.

So implementierst du llms.txt

Für eine einfache Website reichen vier Schritte:

1. Datei anlegen: Erstelle /llms.txt im Root-Verzeichnis deiner Website (also erreichbar unter deinedomain.de/llms.txt).

2. Struktur aufbauen: H1 = Seitenname, Blockquote = Kurzbeschreibung, dann Sektionen mit den wichtigsten Seiten als Markdown-Links mit Kurzbeschreibung.

3. Prioritäten setzen: Nicht jede Seite gehört rein. Fokus auf Inhalte, die für KI-Antworten über dich oder deine Themen relevant sind: Leistungsseiten, wichtige Blogartikel, Über-Seite, Kontakt.

4. Aktuell halten: Eine veraltete llms.txt ist schlimmer als keine, falsche Informationen in KI-Antworten sind schwer rückgängig zu machen.

Für WordPress gibt es bereits Plugins (u.a. Yoast SEO hat native Unterstützung). Für statische Sites wie Astro bietet sich eine generierte Datei im Build-Prozess an.

Fazit

llms.txt ist kein SEO-Wundermittel und kein etablierter Standard, das wäre gelogen. Es ist ein sinnvoller Vorschlag in einem frühen Stadium, der von namhaften Tech-Unternehmen bereits eingesetzt wird und dessen Aufwand in keinem Verhältnis zum potenziellen Nutzen steht.

Wer eine gepflegte Website hat und 30 Minuten übrig: umsetzen. Wer SEO-Ressourcen priorisieren muss: erst die bewährten Grundlagen stärken, dann llms.txt als nächsten Schritt.

Die eigentliche Botschaft dahinter, strukturierter, maschinenlesbarer Content wird wichtiger, die stimmt unabhängig davon ob llms.txt sich als Standard durchsetzt oder nicht.

Quellen & weiterführende Links

• Spezifikation: Jeremy Howard, llms.txt proposal · llmstxt.org
• Studie: SE Ranking, Analyse von 300.000 Domains zur llms.txt-Adoption (2025) · seranking.com
• Analyse: ALLMO.ai, LLMs.txt for AI Search Report 2026 · allmo.ai
• Kritische Einordnung: Is llms.txt Dead? · llms-txt.io
• Praxis: Mintlify, What is llms.txt? Breaking down the skepticism · mintlify.com
• AGENTS.md Open Format (verwandtes Konzept für Coding Agents) · agents.md