Bereitschaft für die KI-Suche: Häufige technische SEO-Probleme, die verhindern, dass Websites gefunden werden

Woher die Zahlen stammen

Am 29. September 2026 hat SitequiryBot 106 bekannte Websites gecrawlt, überwiegend auf Slowenisch und Deutsch, dazu auf Englisch und in weiteren Sprachen: Shops, Nachrichtenseiten, öffentliche Dienste, Unternehmen, Tourismus und gemeinnützige Organisationen. Bei 90 Websites wurde der Crawl abgeschlossen; 13 antworteten unserem Crawler mit 403, 429 oder einer Bot-Prüfung, 3 leiteten auf eine andere Domain um. Für jede abgeschlossene Website haben wir bis zu 20 Seiten analysiert und die 12.381 internen Links darauf geprüft, mit denselben Prüfungen wie der kostenpflichtige Website-Report. 23 der 90 Websites sind deutschsprachig; ihre Werte nennen wir in den Abschnitten unten jeweils gesondert. Bei einer so kleinen Gruppe beschreiben sie die Stichprobe, nicht das deutschsprachige Web.

Alle Zahlen zählen Websites, nicht Seiten: Eine Website zählt bei einem Problem einmal, ob nun eine URL betroffen war oder fünfzig. Es handelt sich um eine Gelegenheitsstichprobe bekannter Websites, nicht um das Web insgesamt, und 20 Seiten sind kein vollständiger Crawl. Eine Website, die eine Prüfung „bestanden“ hat, kann das Problem an anderer Stelle also trotzdem haben. Die Zahlen zu robots.txt, Sitemap, llms.txt und Markup stehen samt Methodik in unserer Studie zur Bereitschaft für die KI-Suche; die technischen Zahlen auf dieser Seite stammen aus demselben Crawl und stehen als CSV und JSON unter CC BY 4.0 bereit (Datensatz auf Englisch). Ergebnisse einzelner Websites veröffentlichen wir nicht.

Klassische SEO und KI-Sichtbarkeit: gleiches Fundament, anderer letzter Schritt

Google sagt ausdrücklich, dass seine KI-Funktionen nichts Zusätzliches verlangen. Laut der Seite KI-Funktionen und Ihre Website muss eine Seite indexiert sein und mit einem Snippet erscheinen dürfen; ansonsten gelten die üblichen SEO-Grundlagen. Es gibt kein spezielles Markup und keine Datei, die eine Seite für AI Overviews („Übersicht mit KI“) oder AI Mode („KI-Modus“) qualifiziert.

Die übrigen KI-Suchdienste schicken eigene Crawler. OpenAI nutzt OAI-SearchBot, um Websites in der ChatGPT-Suche anzuzeigen, getrennt von GPTBot, der Trainingsdaten sammelt. Anthropic dokumentiert Claude-SearchBot, Claude-User und ClaudeBot und gibt an, dass sie die robots.txt beachten; Perplexity nutzt PerplexityBot für seine Suchergebnisse. Was diese Systeme danach auch tun: Sie beginnen dort, wo eine Suchmaschine beginnt – URL abrufen, Links folgen, HTML lesen.

Erst der letzte Schritt unterscheidet sich. Eine Suchmaschine ordnet eine Liste von Seiten; eine KI-Antwort wählt wenige Textstellen aus und zitiert sie unter Umständen. Keines dieser Unternehmen legt offen, nach welchen Kriterien Quellen für ein Zitat ausgewählt werden, und kein Crawl, auch unserer nicht, kann das messen. Die technische Ebene entscheidet über etwas Engeres, das sich leichter prüfen lässt: ob eine Seite überhaupt in die Auswahl kommen kann.

1. Crawler werden abgewiesen, bevor sie eine Seite sehen

Die erste Hürde ist die robots.txt. In unserer Studie sperrten 14 der 90 Websites (16 %) mindestens einen der vier geprüften KI-Such-Crawler und 18 (20 %) mindestens einen von 15 KI-Crawlern jeglicher Art. Ob eine Sperre gewollt ist, lässt sich von außen nicht erkennen. Prüfen Sie deshalb, ob eine Regel, die KI-Training verhindern soll, nicht auch einen Such-Crawler nennt. Der Ratgeber zu KI-Crawlern und robots.txt erklärt, welcher User-Agent wofür zuständig ist.

Die zweite Hürde ist die Firewall oder das CDN, und darüber verrät die robots.txt nichts. 13 der 106 Websites unserer Stichprobe ließen unseren Crawler gar nicht herein und antworteten mit 403, 429 oder einer Challenge-Seite. Dasselbe Muster fanden wir auf unserer eigenen Website: Am 13. Oktober 2026 erlaubte die robots.txt von sitequiry.com jeden Crawler, die Firewall des Hosters lieferte dem User-Agent Bytespider aber den Statuscode 403. Ein Bot-Schutz, der einen Such-Crawler nicht von einem Scraper unterscheiden kann, sperrt OAI-SearchBot oder PerplexityBot genauso leicht aus wie jeden anderen Bot, und in der robots.txt sieht der Betreiber davon nichts.

Eine dritte, leisere Hürde ist noindex. Google weist darauf hin, dass eine per robots.txt gesperrte Seite ihr noindex-Tag gar nicht zeigen kann, weil der Crawler sie nie abruft (Google: Indexierung blockieren). In unserem Crawl trug eine Startseite noindex: nur eine Website, aber ausgerechnet ihr Eingang bat darum, ausgelassen zu werden.

• Rufen Sie Ihre robots.txt ab und lesen Sie jede User-agent-Gruppe, die einen KI-Crawler nennt; der KI-Crawler-Check erledigt das für 15 davon.
• Fragen Sie Ihren Hoster oder CDN-Anbieter, welche Bots die Firewall mit einer Prüfung abfängt. Cloudflare hat zum Beispiel eine Einstellung, die KI-Crawler sperrt, unabhängig davon, was in der robots.txt steht.
• Prüfen Sie, dass Seiten, die gefunden werden sollen, weder im HTML noch im HTTP-Header X-Robots-Tag ein noindex tragen.

2. Interne Links, die ins Leere oder über Umwege führen

Die meisten Seiten entdecken Crawler, indem sie Links folgen. Von den 12.381 geprüften internen Links führten 64 auf eine Fehlerseite, 60 davon auf eine 404-Seite. Das klingt nach wenig, verteilte sich aber auf 18 der 90 Websites (20 %). Bei 10 dieser 18 Websites war dasselbe defekte Ziel von drei oder mehr analysierten Seiten aus verlinkt, was meist auf einen Link in Menü, Footer oder Template hindeutet. Unter den 23 deutschsprachigen Websites der Stichprobe hatten nur 2 (9 %) einen internen Link auf eine Seite mit 4xx- oder 5xx-Statuscode.

Weiterleitungen waren deutlich häufiger: 67 Websites (74 %) verlinkten intern auf mindestens eine URL mit Weiterleitung, meist von http:// auf https:// oder auf die Variante mit bzw. ohne abschließenden Schrägstrich. Bei den deutschsprachigen Websites war der Anteil mit 17 von 23 (74 %) genauso hoch. Eine einzelne Weiterleitung schadet nicht. Problematisch sind Ketten: 23 Websites (26 %) hatten mindestens eine URL, die zwei oder mehr Weiterleitungen brauchte, bei den deutschsprachigen 4 von 23 (17 %). Die Crawler von Google folgen bis zu 10 Weiterleitungen (Google: HTTP-Statuscodes), und Googles Anleitung zum Website-Umzug empfiehlt, direkt auf die endgültige URL weiterzuleiten oder eine Kette von weniger als fünf, idealerweise höchstens drei Weiterleitungen zu verwenden (Google: Website-Umzug). Die anderen KI-Crawler dokumentieren ihre Grenzen nicht. Sicherer ist daher die Annahme, dass jede zusätzliche Weiterleitung eine weitere Anfrage ist, die womöglich nicht mehr gestellt wird.

Beide Probleme lassen sich auf dieselbe Weise beheben: Ändern Sie den Link selbst auf die endgültige URL, und zwar in der Vorlage, die ihn ausgibt, statt eine weitere Weiterleitung anzulegen. Der Ratgeber Website-Geschwindigkeit verbessern behandelt Weiterleitungsketten zusätzlich aus Sicht der Ladezeit.

3. Sitemaps, die den aufgeführten Seiten widersprechen

Eine Sitemap ist die Liste der URLs, die Suchmaschinen crawlen und indexieren sollen. 75 der 90 Websites hatten eine. Davon führten 15 (20 %) mindestens eine URL auf, die weiterleitete oder einen Fehler lieferte, und 6 (8 %) eine Seite mit noindex. Jedes Mal ist das ein Widerspruch: Die Sitemap sagt „bitte indexieren“, die Seite antwortet „umgezogen“, „gibt es nicht“ oder „nicht indexieren“. Von den 23 deutschsprachigen Websites hatten 20 eine Sitemap; bei 4 davon (20 %) enthielt sie eine URL mit Weiterleitung oder Fehler, bei 2 (10 %) eine Seite mit noindex.

Google bittet darum, die kanonischen URLs aufzuführen, die in den Suchergebnissen erscheinen sollen, und nutzt lastmod nur, wenn der Wert durchgängig stimmt (Google: Sitemap erstellen). Bing betont dasselbe ausdrücklich mit Blick auf die KI-Suche: In einem Beitrag vom Juli 2025 empfiehlt Bing eine vollständige Sitemap mit zutreffendem lastmod und IndexNow für geänderte Seiten, damit KI-gestützte Ergebnisse aktuell bleiben.

• Erzeugen Sie die Sitemap aus denselben Daten, die über Canonical und noindex entscheiden. Dann verschwindet eine weitergeleitete oder ausgeschlossene Seite automatisch aus der Sitemap.
• Setzen Sie lastmod auf das Datum der letzten inhaltlichen Änderung, nicht auf das Datum, an dem die Datei erzeugt wurde.
• Nennen Sie die Sitemap in der robots.txt. 70 der 84 Websites mit lesbarer robots.txt taten das; die übrigen verlassen sich darauf, dass Suchmaschinen sie unter der Standardadresse finden.

4. Canonical-, Duplikat- und Sprachsignale, die sich widersprechen

Ein Canonical-Tag zeigt Suchmaschinen, welche von mehreren ähnlichen URLs die Hauptversion ist. Google bezeichnet es neben Weiterleitungen als starkes Signal, die Aufnahme in die Sitemap dagegen als schwaches (Google: kanonische URLs). Ein Canonical, das auf eine Seite mit Weiterleitung, Fehler oder noindex zeigt, schickt Crawler in eine Sackgasse. Das fanden wir nur bei einer Website. In dieser Stichprobe waren Canonical-Fehler also selten, doch ein falsches Canonical in einer Vorlage betrifft jede Seite, die auf ihr aufbaut.

Doppelte Seitentitel kamen häufiger vor: 16 Websites (18 %) hatten mindestens zwei indexierbare Seiten mit demselben Titel, unter den deutschsprachigen Websites 3 von 23 (13 %). Wenn sich zwei Seiten identisch präsentieren, muss eine Suchmaschine selbst herausfinden, welche davon eine Suchanfrage beantwortet; Googles Richtlinien für Titellinks verlangen für jede Seite einen eigenen, beschreibenden Titel.

Mehrsprachige Websites nutzen zusätzlich hreflang. Das funktioniert nur, wenn jede Sprachversion sich selbst und alle anderen aufführt und jeder Verweis erwidert wird; andernfalls werden die Angaben unter Umständen ignoriert (Google: lokalisierte Versionen). Von den 31 Websites mit hreflang durchbrachen 4 (13 %) diesen Kreis auf mindestens einer Seite. Der Canonical- und hreflang-Check prüft eine URL und ihre Sprachalternativen in wenigen Sekunden.

5. Inhalte, die erst entstehen, wenn JavaScript läuft

Bei 5 der 90 Websites (6 %) war mindestens eine analysierte Seite eine clientseitig gerenderte Hülle: Das vom Server gelieferte HTML enthielt keinen lesbaren Inhalt, solange kein JavaScript lief. Drei weitere Websites haben wir aus demselben Grund aus den Seitenzahlen der Studie herausgenommen, weil fast keine ihrer Seiten Inhalt im HTML hatte. Unter den 23 deutschsprachigen Websites trat das Problem bei keiner auf.

Google rendert JavaScript, allerdings in einem separaten Schritt nach dem Crawling, und empfiehlt weiterhin serverseitiges Rendering oder Pre-Rendering, unter anderem weil nicht jeder Crawler Skripte ausführen kann (Google: Grundlagen zu JavaScript-SEO). Für KI-Crawler ist die beste öffentliche Messung die Analyse von Vercel vom Dezember 2024: Keiner der großen KI-Crawler renderte damals JavaScript. Die Crawler von OpenAI und Anthropic luden zwar Skriptdateien, führten sie aber nicht aus; Gemini (über die Infrastruktur von Google) und Applebot renderten dagegen. Das kann sich ändern, doch heute ist eine Seite, deren Text erst im Browser erscheint, für manche KI-Such-Crawler wahrscheinlich unsichtbar.

Der Test ist einfach: Öffnen Sie den Seitenquelltext (nicht die Entwicklertools) und suchen Sie nach einem Satz aus dem Haupttext. Steht er nicht darin, fragen Sie Ihre Entwickler nach serverseitigem Rendering oder statischer Generierung für die Seiten, auf die es ankommt.

6. Seiten, die gelesen, aber schwer verstanden werden

Abgerufen heißt nicht verstanden. Laut unserer Studie hatten 59 % der Startseiten irgendein schema.org-Markup, aber nur 35 % nannten die Organisation hinter der Website, und bei 43 % der geprüften Websites fehlte auf zwei oder mehr indexierbaren Seiten die H1-Überschrift. Strukturierte Daten verschaffen für sich allein keinen Platz in KI-Antworten. Googles Regel lautet, dass sie beschreiben müssen, was auf der Seite sichtbar ist (Google: Richtlinien für strukturierte Daten), und Googles Hinweise vom Mai 2025 zum Erfolg in der KI-Suche stellen einzigartige, nützliche Inhalte an die erste Stelle, noch vor jeden technischen Punkt.

Praktisch heißt das: eine klare H1, die das Thema nennt, ein Titel und eine Beschreibung, die sich von allen anderen Seiten unterscheiden, ein Organization-Block, der zu Name und Adresse auf der Seite passt, und Text, der die Frage, um die es auf der Seite geht, in einfachen Sätzen beantwortet. Der Ratgeber zu strukturierten Daten enthält ein minimales Organization-Beispiel.

Was dieser Crawl nicht zeigen kann

• Ob eine Website in ChatGPT, Perplexity, Claude oder den KI-Antworten von Google zitiert wird. Wir haben nur Bereitschaftssignale gemessen; keine Zahl auf dieser Seite misst Sichtbarkeit oder Rankings.
• Ob eines dieser Probleme eine Veränderung im Ranking verursacht hat. Es handelt sich um dokumentierte Hindernisse für Crawling und Indexierung, nicht um nachgewiesene Faktoren für Zitate in KI-Antworten.
• Alles jenseits von 20 Seiten pro Website und was ein Crawler von einem anderen Standort oder mit einem anderen User-Agent erhalten hätte.
• Ladezeit und Core Web Vitals: Beides wurde für diese Stichprobe nicht gemessen.

Eine Prüfreihenfolge für Ihre eigene Website

• Zugang: robots.txt-Gruppen für Such- und KI-Crawler sowie die Bot-Einstellungen von Firewall oder CDN. Nutzen Sie den KI-Crawler-Check.
• Indexierbarkeit: kein ungewolltes noindex, Canonicals nur auf erreichbare, indexierbare Seiten. Nutzen Sie den Meta-Tag-Checker.
• Links: keine internen Links auf 404-Seiten, keine Weiterleitungsketten; Links auf ihre endgültige URL ändern.
• Sitemap: nur kanonische, indexierbare URLs mit Status 200 und einem zutreffenden lastmod.
• Rendering: Der Haupttext steht im Seitenquelltext.
• Sprachen: hreflang nennt jede Version, auch die Seite selbst, und jeder Verweis wird erwidert. Nutzen Sie den Canonical- und hreflang-Check.
• Verständlichkeit: eine H1, ein eindeutiger Titel und eine eindeutige Beschreibung, strukturierte Daten passend zur Seite.

Die kostenlose Analyse prüft eine URL auf diese Signale und misst zusätzlich die Ladezeit mit Google PageSpeed. Der kostenpflichtige Website-Report führt dieselben Prüfungen wie dieser Crawl auf bis zu 20 Seiten einer Website aus und prüft die dabei gefundenen internen Links. Wenn für die Korrekturen ein Entwickler nötig ist, kann das Team von GE-KO, das hinter Sitequiry steht, die Umsetzung übernehmen.

Häufige Fragen