Wie bereit sind Websites für die KI-Suche?

Wer sperrt KI-Crawler?

Wir haben geprüft, ob die robots.txt die Startseite für 15 KI-Crawler sperrt, gruppiert nach Zweck: 8 Trainings-Crawler (sie sammeln Seiten, um Modelle zu trainieren), 4 KI-Such-Crawler (sie bauen einen Index auf, aus dem ein Assistent zitieren kann) und 3 nutzerausgelöste Abrufe (sie laden eine Seite, weil jemand einen Assistenten danach gefragt hat). Zwei der Trainings-Einträge, Google-Extended und Applebot-Extended, sind Steuerungs-Token und keine Crawler. Der Ratgeber zu KI-Crawlern und robots.txt erklärt den Unterschied.

Training KI-Suche nutzerausgelöst

Der Anteil der Websites, die einen bestimmten Crawler sperren, reicht von 6 % (zum Beispiel OAI-SearchBot) bis 19 % (Bytespider). Googlebot wird von 0 von 90 Websites gesperrt.

Einen Trainings-Crawler zu sperren ist eine legitime Entscheidung und entfernt eine Website nicht aus der KI-Suche. Einen KI-Such-Crawler zu sperren kann dazu führen, dass eine Website nicht im Index auftaucht, aus dem ein Assistent zitiert, und 16 % der Websites sperren mindestens einen. Wir haben nicht gemessen, ob eine dieser Websites in KI-Antworten erscheint.

Am 2. Oktober 2026 haben wir die robots.txt der 18 als sperrend erkannten Websites erneut abgerufen und mit einem zweiten, einfacheren Parser gelesen. Die gesperrten Crawler stimmten bei 18 von 18 überein. Websites ohne Sperre haben wir nicht erneut geprüft.

Bereitschaftssignale jenseits des Crawler-Zugriffs

Wir haben außerdem nach diesen Bereitschaftssignalen gesucht: eine llms.txt-Datei (eine vorgeschlagene Markdown-Zusammenfassung einer Website; keine große Suchmaschine hat zugesagt, sie zu nutzen, siehe llms.txt-Ratgeber), eine in der robots.txt genannte Sitemap, strukturierte Daten nach schema.org und hreflang-Angaben. Keines davon garantiert, dass eine KI-Antwort eine Website zitiert.

Wir haben strukturierte Daten nach Vorhandensein gezählt und nicht validiert (siehe Ratgeber zu strukturierten Daten). FAQ-Markup ist optional, ein fehlendes FAQPage-Markup ist also für sich kein Fehler. Die hreflang-Angabe ist nur für mehrsprachige Websites relevant.

Am 2. Oktober 2026 haben wir die 12 erkannten llms.txt-Dateien erneut abgerufen. Davon sind 12 echte Textdateien, keine HTML-Fehlerseiten.

Grundlagen auf der Seite, die Suche und KI lesen

Suchmaschinen und KI-Systeme lesen beide grundlegende Seitenelemente wie Titel, Beschreibung, Überschriften und Alternativtexte von Bildern. Die Diagramme zeigen, bei wie vielen Websites es dort Lücken gibt, nach den Definitionen des Sitequiry Site Reports (siehe Methodik).

Bei 83 Websites haben wir 71.406 Bilder geprüft. 8.991 davon (13 %) haben gar kein alt-Attribut. Ein leeres alt="" ist bei dekorativen Bildern korrekt, daher haben wir es nicht mitgezählt.

Nach Sprachgruppen

Eine Zahl zeigen wir für eine Sprachgruppe nur, wenn sie auf mindestens 15 Websites beruht; sonst steht in der Zelle „n zu klein“. Als Sprache gilt die Hauptsprache der Website, so wie wir sie eingeordnet haben. Die Stichprobe umfasst 36 slowenischsprachige, 26 deutschsprachige (vor allem Deutschland und Österreich) und 19 englischsprachige Websites sowie 25 Websites in anderen Sprachen (Kroatisch, Italienisch, Französisch, Spanisch, Tschechisch, Niederländisch). Diese Zahlen schließen auch Websites ein, die nicht analysiert werden konnten.

Unterschiede zwischen den Gruppen können mehr darüber aussagen, welche Websites wir ausgewählt haben, als über eine Sprache oder ein Land, und die Gruppen sind klein. Lesen Sie die Tabelle als Beschreibung, nicht als Rangliste.

Methodik

Dies ist eine Gelegenheitsstichprobe, keine Zufallsstichprobe. Wir haben 106 bekannte öffentliche Websites ausgewählt, um verschiedene Typen und Sprachen abzudecken: 31 Shops und Marktplätze, 22 Nachrichten- und Magazinseiten, 25 Websites öffentlicher Einrichtungen sowie aus Gesundheit und Bildung, 15 Unternehmen, SaaS-Anbieter und Agenturen, 8 Websites aus Tourismus und Gastgewerbe und 5 gemeinnützige Organisationen. Davon nutzen 10 bekanntermaßen Bot-Schutz.

• Crawl. Am 29. September 2026 hat SitequiryBot, der Crawler des Sitequiry Site Reports, jede Website gelesen: die Startseite plus weitere Seiten, insgesamt bis zu 20 Seiten, ausgewählt aus der Sitemap und der Hauptnavigation. Diese Seiten sind keine Zufallsstichprobe der jeweiligen Website. Der Crawler beachtet die robots.txt und macht zwischen den Anfragen Pausen. Software: Site Report, Build 98996b7.
• Abgeschlossene Berichte. Wir haben 90 von 106 Berichten abgeschlossen. Nicht enthalten sind 13 Websites, die die erste Anfrage blockiert haben (zum Beispiel mit HTTP 403 oder 429), und 3, die auf eine andere Domain weitergeleitet haben.
• Sperren von KI-Crawlern. Wir zählen einen Crawler als gesperrt, wenn die robots.txt die Startseite („/“) für ihn verbietet, entweder in einer Gruppe, die den Crawler nennt, oder in der Gruppe „*“, wenn der Crawler keine eigene Gruppe hat. Der Abgleich folgt RFC 9309. Eine fehlende oder nicht lesbare robots.txt gilt als „keine Regeln“, und Regeln für einzelne Bereiche einer Website zählen wir nicht.
• Seiten. Zahlen auf Seitenebene beschreiben eine Website nur, wenn mindestens 5 ihrer Seiten analysiert werden konnten. Bei 7 der abgeschlossenen Berichte waren es weniger analysierbare Seiten, wegen per JavaScript gerenderter Seiten ohne Inhalt im HTML, wegen Bot-Schutz nach der ersten Anfrage oder weil es sehr wenig auslesbaren Inhalt gab. Eine URL, die auf eine andere Seite weiterleitet, zählt nicht doppelt. Titel, Beschreibung, H1 und Open Graph beurteilen wir nur bei indexierbaren Seiten (kein noindex, der Canonical-Link zeigt auf die Seite selbst). Markup und Überschriften beurteilen wir nicht bei Seiten, deren HTML keinen Inhalt hat, weil ein Skript ihn erzeugt.
• Bilder. Ein Bild gilt nur dann als ohne Alternativtext, wenn sein img-Element gar kein alt-Attribut hat. Tracking-Pixel und versteckte Bilder ignorieren wir.
• Anteile. Jeder Anteil ist die Zahl der Websites mit der Eigenschaft geteilt durch die Zahl der Websites der im Datensatz genannten Grundgesamtheit. Der Datensatz nennt für jeden Wert beide Zahlen.

Grenzen dieser Studie

• Nicht repräsentativ. Wir haben die Websites selbst ausgewählt, meist bekannte Organisationen. Über die Websites kleiner Unternehmen sagt die Studie wenig.
• Websites, die unsere Anfrage blockiert haben, fehlen in den Zahlen; die Ergebnisse spiegeln daher eher Websites wider, die automatisierte Prüfungen zulassen.
• Die robots.txt ist eine Bitte, keine Durchsetzung. Eine Website kann Crawler auch per Firewall oder CDN sperren und verschiedenen Crawlern unterschiedliche Regeln ausliefern. Wir haben die robots.txt als SitequiryBot gelesen.
• Bereitschaftssignale, keine Sichtbarkeit. Wir haben nicht gemessen, ob eine Website in KI-Antworten zitiert oder gezeigt wird, und das Vorhandensein von llms.txt oder Markup ist kein Beleg für irgendeine Wirkung.
• Ein Crawl von einem Standort am 29. September 2026. Websites ändern sich, und wir haben bis zu 20 Seiten pro Website gelesen.
• Kleine Gruppen. Die Sprachgruppen sind klein, und eine einzelne Website verschiebt einen Anteil um mehrere Prozentpunkte.
• Keine Kausalaussagen. Die Daten zeigen, was Websites tun, nicht warum.

Was diese Studie nicht misst

Jeder der folgenden Punkte fehlt aus dem genannten Grund.

• Ladezeit. Google PageSpeed wurde für diese Stichprobe nicht ausgeführt, daher gibt es keine Core Web Vitals, keine Verteilung der mobilen Scores und keine Zahlen zu renderblockierenden Ressourcen oder zum Seitengewicht.
• Serverantwortzeit. Sie wurde nur bei einzelnen Anfragen von einem Standort erfasst und ist keine Messung der Ladezeit.
• HTTPS-Weiterleitungen und Security-Header. Der Crawl hat sie nicht erfasst.
• Sichtbarkeit in KI-Antworten. Gemessen werden nur Bereitschaftssignale.
• Gültigkeit strukturierter Daten. Sie werden nach Vorhandensein gezählt.
• Qualität der llms.txt-Dateien. Sie werden nach Vorhandensein gezählt.
• Sitequiry-Scores. Die Werte für SEO, AEO, GEO und das Gesamtergebnis sind unser eigenes gewichtetes Bewertungsmodell, keine unabhängige Messung.
• Ergebnisse je Website. Veröffentlicht werden nur Aggregate.
• Segmente nach Website-Typ oder Land. Sie hätten jeweils weniger als 15 Websites.

Studie zitieren und Daten herunterladen

Sie dürfen die Zahlen zitieren und die Grafiken mit Quellenangabe weiterverwenden. Der Datensatz mit den aggregierten Zahlen ist unter Creative Commons Namensnennung (CC BY 4.0) lizenziert: Sie dürfen ihn teilen und bearbeiten, auch kommerziell, wenn Sie GE-KO / Sitequiry nennen und auf diese Seite verlinken.

Zusammenfassung für Presse und Newsletter

Was Sie als Nächstes tun können

• Entscheiden Sie bewusst, welche KI-Crawler Sie zulassen, und prüfen Sie auch Firewall und CDN: KI-Crawler und robots.txt.
• Legen Sie eine llms.txt nur an, wenn Sie sie mit wenig Aufwand aktuell halten können: llms.txt: Was die Datei ist und ob Ihre Website sie braucht.
• Beschreiben Sie mit korrektem Markup, wer Sie sind und worum es auf einer Seite geht: Ratgeber zu strukturierten Daten.
• Prüfen Sie Ihre eigene Website auf diese Signale: kostenlose Analyse, eine URL, vollständiges Ergebnis, ohne Konto.
• Sie möchten die Korrekturen umsetzen lassen? GE-KO setzt sie um.

Häufige Fragen