- Home
- Blog
- LLMs und SEO – Der große Guide
ChatGPT Search, Bing Copilot und Perplexity verändern, wie Menschen online suchen – schneller, direkter, KI-gestützt. Klassischer Suchmaschinen-Traffic wirkt da fast überholt. Aber: Noch dominiert Google mit großem Abstand.
Dennoch wächst der Einfluss von KI-Diensten. Wer Sichtbarkeit behalten will, sollte jetzt analysieren, wie viel Traffic über KI-Dienste kommt – und wie man diesen sinnvoll steuert. Unser Guide zu ChatGPT, Perplexity & Co. aus Sicht der Suchmaschinenoptimierung gibt einen ausführlichen Überblick.
TL;DR – das Wichtigste in Kürze
Noch ist der durch LLMs generierte Traffic gering, aber der Anteil wächst. Wer versteht, wie KI-Suchsysteme Inhalte crawlen und anzeigen, sichert sich langfristig Sichtbarkeit.
Wie verändern LLMs SEO?
- KI-Assistenten wie ChatGPT oder Bing Chat werden neue Traffic-Quellen.
- Inhalte müssen so gestaltet sein, dass KI-Assistenten sie als beste Antwort auswählen.
Wie kann man SEO für LLMs optimieren?
- Nutze Referrer-Daten und Regex-Filter in GA4, um KI-Traffic zu identifizieren: Wie wichtig ist das Thema für dich aktuell?
- Mach‘ relevante Inhalte serverseitig lesbar oder bau Landingpages für KI-Crawler.
- Steuere die Zugriffe mittels der robots.txt – z. B. Crawling ja, Training nein.
- Vermeide JS-only-Content, da klassische KI-Crawler (noch) kein JavaScript rendern können.
Hintergrund: ChatGPT Search, Bings KI-Suche, Gemini & Co.
Am 17. Dezember 2024 hat OpenAI die Funktion ChatGPT Search für alle User ausgerollt. Damit können Nutzer:innen auf Suchergebnisse aus dem Web zugreifen – ChatGPT wurde zur KI-Suchmaschine. Dies geschieht entweder automatisch oder durch ein neues Suchicon. Praktisch dabei: ChatGPT zeigt Quellen transparent mit UTM-Parametern – ideal für die Webanalyse. Eine ausführliche Betrachtung hatten wir mit der Einführung des Features in unserem SEO-Newsletter #107 gezeigt.
Aber auch “traditionelle” Suchmaschinen forcieren das KI-Thema für ihre Suche: So unternahm Microsoft bzw. Bing schon rund anderthalb Jahre vor ChatGPT Search die ersten Schritte mit einem KI-Chatbot in der Suche. Und auch der Platzhirsch Google setzt mit Bard (mittlerweile Gemini, im Rahmen der “Search Generative Experience”) und gerade in den USA mit den AI Overviews voll auf KI in der Suche.
Die neueste Entwicklung: AI Overviews in Deutschland
Die genannten AI Overviews sind jetzt auch in Deutschland angekommen: Seit dem 26. März 2025 rollt die Suchmaschine das Feature aus. Wir sprechen hier zwar immer noch von der “normalem” organischen Traffic, nichtsdestotrotz dürften sie deutliche Auswirkungen auf deine Performance haben. Mehr dazu findest du in unserem Blogartikel über den Start der AI Overviews in Deutschland.
Ersetzt KI-Traffic den normalen Suchmaschinen-Traffic?
Webmaster und Online-Marketer mögen sich im Rahmen des KI-Hypes fragen: „Brauche ich überhaupt noch den klassischen Google-Traffic?“ Die Antwort: Ja, definitiv. Hierzu einige Beobachtungen von externen und internen Datenerhebungen:
- Laut einer Studie von SparkToro von Anfang 2024 generiert Google 63 % des Referral-Traffics, während ChatGPT nur 0,2 % erreicht.
- Ähnliche Beobachtungen teilen auch deutsche SEO-Experten: Der Traffic von ChatGPT, Perplexity & Co. bleibt (Stand Sommer 2024) minimal – oft unter 0,6 %.
- Erkenntnisse unserer Kundenprojekte aus dem Herbst 2024: Der Anteil des KI-generierten Traffics am Gesamttraffic liegt in allen Branchen unter 0,05 %. International operierende Webseiten haben tendenziell einen höheren Anteil als solche, die nur auf den deutschen Markt fokussiert sind.
- Eine neue Studie von Sparktoro, die das komplette Jahr 2024 betrachtet, setzt die Daten in einen Kontext: Google erhält am Tag 373-mal so viele Suchen wie ChatGPT (nach Nutzern die größte “reine” KI-Suchmaschine neben Perplexity, Claude usw.)
Die Verhältnismäßigkeit ist also sehr eindeutig – zumindest aktuell. Das bedeutet nicht, dass du KI-Tools als potenzielle Trafficquelle ignorieren solltest. Eher im Gegenteil, denn der Anteil wird sehr wahrscheinlich weiter wachsen.
Wie viel Traffic erhalte ich über KI-Dienste?
Die positive Nachricht: Grundsätzlich lässt sich messen, wie viele Nutzer über ChatGPT & Co. auf deine Website kommen. Zwar ist die Attribution von Referral-Traffic mit Unsicherheit behaftet, aber bessere Daten gibt es aktuell nicht. Die Anlaufstelle hierfür ist Google Analytics 4 (GA4) bzw. die Auswertung von Referrer-Traffic.
Anleitung: Traffic über KI-Dienste in Google Analytics 4 tracken
Du gehst wie folgt vor:
- Erstelle in GA 4 eine neue (leere) explorative Datenanalyse.
- Unter “Dimensionen” wählst du “Sitzung – Quelle/Medium” aus.
- Unter “Messwerte” wählst du “Aufrufe”.
- Im Reiter Einstellungen legst du die Sitzung – Quelle/Medium als Spalte an, die Aufrufe als Werte.
- Der wichtigste Schritt: Unter “Filter” wählst du “Sitzung – Quelle/Medium” aus, Bedingung ist “stimmt mit dem Regex überein”. In das Feld kopierst du folgende Anweisung:
.*gpt.*|.*chatgpt.*|.*openai.*|.*neeva.*|.*writesonic.*|.*nimble.*|.*outrider.*|.*perplexity.*|.*google.*bard.*|.*bard.*google.*|.*bard.*|.*edgeservices.*|.*gemini.*google.*|.*AI2Bot.*|.*Ai2Bot-Dolma.*|.*Amazonbot.*|.*Applebot.*|.*Applebot-Extended.*|.*Bytespider.*|.*CCBot.*|.*ChatGPT-User.*|.*Claude-Web.*|.*ClaudeBot.*|.*Diffbot.*|.*FacebookBot.*|.*FriendlyCrawler.*|.*GPTBot.*|.*Google-Extended.*|.*GoogleOther.*|.*GoogleOther-Image.*|.*GoogleOther-Video.*|.*ICC-Crawler.*|.*ISSCyberRiskCrawler.*|.*ImagesiftBot.*|.*Kangaroo Bot.*|.*Meta-ExternalAgent.*|.*Meta-ExternalFetcher.*|.*OAI-SearchBot.*|.*PerplexityBot.*|.*PetalBot.*|.*Scrapy.*|.*Sidetrade indexer bot.*|.*Timpibot.*|.*VelenPublicWebCrawler.*|.*Webzio-Extended.*|.*YouBot.*|.*anthropic-ai.*|.*cohere-ai.*|.*facebookexternalhit.*|.*iaskspider/2.0.*|.*img2dataset.*|.*omgili.*|.*omgilibot.*
Diese Liste enthält die bekannten Dienste wie ChatGPT, Google oder Perplexity, ergänzt aber auch weitere KI-Crawler. Grundlage ist dieses github-Projekt. Die Liste ist übrigens auch prima geeignet dafür, wenn du KI-Crawler von deiner Website aussperren willst (siehe dazu auch unseren SEO-Newsletter #27).
Übrigens: Du musst das Ganze nicht über eine explorative Datenanalyse auswerten. Google Looker Studio o.ä. klappt natürlich genauso.
KI-Zugriff auf deine Website steuern: LLM-Training vs. Crawling
Mit der robots.txt lassen sich sowohl die bekannten Suchmaschinen-Bots als auch durch KI-Crawler wie ChatGPT Search, Perplexity oder Claude steuern. Grundsätzlich gilt es zwischen zwei Ansätzen zu unterscheiden:
- Zugriff auf Inhalte zu Trainingszwecken der Modelle
- Crawlen von Inhalten als KI-Suchmaschine, die Informationen live zur Verfügung stellt (und so theoretisch Traffic auf deine Website zurückschicken kann).
Zum Training von LLMs kann prinzipiell der Inhalt jeder Webseite zum Einsatz kommen. Um diese Daten zu erhalten, verwendet zum Beispiel ChatGPT zwei eigene Crawler bzw. User Agents (GPTBot und GPT-User). Dazu kommen große, externe Datensätze wie Common Crawl.
Mit dem Aufkommen des zweiten Punkts hat sich die zuvor gestellte Frage größtenteils von selbst beantwortet. Denn mit den KI-Crawlern ist ein neuer Zugang zu Website-Informationen entstanden, der – so zumindest die aktuellen Zahlen – immer mehr Relevanz gewinnt. Insofern solltest du dir sehr genau überlegen, ob du/dein Unternehmen hier auf Sichtbarkeit in diesen Tools verzichten möchtest.
Konfiguration der robots.txt zur Regelung von KI-Crawlern
Die gute Nachricht: alle zuvor erwähnten KI-Crawler kannst du über eine Anpassung deiner robots.txt steuern. Dementsprechend stellen wir dir im Folgenden eine exemplarische Konfiguration vor, die einen relativ offenen Zugriff durch Suchmaschinen und KI-Crawler erlaubt, aber die Sammlung von Trainingsdaten verbietet. In diesem Zusammenhang noch eine Beobachtung aus verschiedenen Kunden-Projekten: Falls deine Website bei einem der großen Cloud-Anbieter wie Cloudflare oder AWS gehostet ist, versuche deren sehr aggressiven Bot-Schutz so zu konfigurieren, dass die wichtigsten IP-Bereiche von US-Rechenzentren zugelassen werden. Ansonsten läuft deine Website Gefahr, in LLMs vollkommen unsichtbar zu bleiben.
KI-Suchbots erhalten Zugriff auf die Website:
# Erlaubt KI-Suchbots den Zugriff
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
Allow: /
Keine Trainingsdaten für LLMs
# Keine Trainingsdaten für LLMs
User-agent: GPTBot
User-agent: CCBot
User-agent: Google-Extended
Disallow: /
Anmerkung hierzu: Google-Extended wird von Google für verschiedene Zwecke genutzt, u. a. zur Verbesserung von KI-Funktionen in der Suche. Falls du Google-Funktionen wie KI-generierte Zusammenfassungen oder SGE (Search Generative Experience) nicht vollständig blockieren willst, solltest du diesen Punkt noch einmal überdenken. In diesem Falle kannst den entsprechenden Eintrag einfach entfernen.
Sensible Bereiche für alle Crawler aussperren
Bestimmte Bereiche deiner Website sollten für keinen der vorgestellten Crawler erreichbar sein. Auch hier eine exemplarische Konfiguration, die aber von Website zu Website variieren kann. Als Faustregel für dich: Bereiche, über die der Zugriff auf sensible Daten möglich ist, sind für alle externen Crawler tabu (siehe Screenshot). Den obligatorischen Hinweis auf die XML-Sitemap haben wir hier dann ans Ende gepackt.
# Sperrung sensibler Bereiche für alle Bots
User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /user-data/
Sitemap: https://www.example.com/sitemap.xml
Im Hinterkopf behalten: JS-Rendering ist für KI-Crawler (noch) ein Problem
Obwohl die Zugriffszahlen bzw. Marktanteile in den vergangenen Monaten beachtlich zulegen konnten und vielerorts als (ernsthafte) Google-Konkurrenz gelten, übersehen diese Stimmen einen grundlegenden Unterschied. Denn keines dieser Tools verfügt über Rendering-Fähigkeiten für JavaScript. Und das kann für dich und die Inhalte deiner Website zum Problem werden.
Ausnahmen sind hier nur Google Gemini (der die Infrastruktur des “normalen” Googlebots nutzt) und der Applebot (siehe Tabelle unten). Damit zentrale Inhalte wie Artikel, Produktinformationen, Metadaten, Navigationselemente usw. von einem KI-Crawler erfasst werden können, müssen sie im Quellcode der Seite hinterlegt und serverseitig renderbar sein. Wenn relevante Inhalte deiner Website also erst nach dem JS-Rendering erscheinen, solltest du dir Gedanken darüber machen, wie du diesen KI-Crawlern zur Verfügung stellst.
| Plattform/Anbieter | JS-Rendering | Bots und Anmerkungen |
|---|---|---|
| Anthropic | Nein | ClaudeBot. |
| AppleBot | Ja | Arbeitet als browserbasierter Crawler, rendert JavaScript, CSS, Ajax und andere Ressourcen. |
| ByteDance | Nein | Bytespider. |
| Common Crawl (CCBot) | Nein | Wird häufig für Trainingsdaten von Large Language Models (LLMs) genutzt, kann aber nicht eigenständig JS rendern. |
| Google (Gemini) | Ja | Nutzt die Infrastruktur von Googlebot, ermöglicht vollständiges JavaScript-Rendering. |
| Meta | Nein | Meta-ExternalAgent. |
| OpenAI | Nein | OAI-SearchBot, ChatGPT-User und GPTBot. |
| Perplexity | Nein | PerplexityBot. |
Tipp: Falls du dir unsicher bist, wie deine Website oder eine URL mit diesem Thema umgeht, empfehlen wir dir die Chrome-Extension View Rendered Source. Mit dieser Erweiterung lässt sich auf URL-Basis simulieren, wie der Browser das ursprüngliche HTML einer Seite in ein funktionierendes DOM konstruiert (gerendert) hat, inklusive der durch JavaScript vorgenommenen Änderungen.
Was kannst du sinnvoll unternehmen, damit KI-Crawler relevante Inhalte lesen können?
Benötigt deine Website JS zur Darstellung relevanter Inhalte und du möchtest diese zukünftig auch für LLMs zugänglich machen, dann sind aus unserer Sicht aktuell zwei Optionen ohne größere Aufwände (= wenige Ressourcen) umsetzbar.
- Du erstellst für alle wichtigen Inhalte/Themen eigene LandingPages mit den Informationen im Quelltext, die du per robots.txt explizit nur für die KI-Crawler freigibst (siehe dazu SEO-Newsletter #52). Sind Ressourcen (Zeit, Geld und Personal) vorhanden, lässt sich natürlich auch über eine eigene Subdomain (z. B.: ai.deine-domain.de) oder ein Verzeichnis nachdenken.
- Die in der Studie untersuchten KI-Crawler waren im Gegensatz zu den meisten Web-Crawlern in der Lage, nicht-HTML-Inhalte zu lesen und zu verstehen (z. B. JSON-Daten oder verzögerte React Server Components). Sprich, du kannst dir auch überlegen, die wichtigsten Inhalte in Form von strukturierten Daten zu implementieren. Zumindest sind darüber theoretisch auch die JS-gerenderten Inhalte für LLMs lesbar.
Fazit: Eine neue Traffic-Quelle entsteht
Auch wenn der aktuelle Anteil von KI-generiertem Traffic noch gering ist, werden KI-Suchsysteme wie ChatGPT Search, Perplexity & Co. nicht verschwinden. Sie ersetzen dabei die klassische Suche nicht, können aber eine neue Traffic-Quelle darstellen. Wer früh versteht, wie diese Tools Inhalte finden, darstellen und verlinken, verschafft sich langfristig Vorteile.Weiterführende Informationen und Quellen zu LLMs und SEO
- SparkToro-Studie vom März 2024: Who sends traffic on the web and how much? (11.03.2024)
- SparkToro-Artikel von Rand Fishkin: Is Google losing Search Market Share? (07.10.2024)
- LinkedIn-Post von Olaf Kopp zur Relevanz von KI-Diensten als Traffic-Bringer
- ai-robots: GitHub-Projekt
- Chrome-Extension View Rendered Source
- AI-Overview-Studie von Botify
- John Mueller über AIO-Daten in der GSC
- Anleitung von Dana DiTomaso zum AI-Overview-Tracking in GA4 sowie deutsche Anleitung dazu
- Tool-Tipp: robots.txt-Tester von technicalseo.com
Share
