Websites nicht indexiert? So kommst Du den Fehlern auf die Spur

Da das Thema Indexierung und verschiedene Aspekte davon im Blog schon mehrfach behandelt wurden, gebe ich Dir zunächst Leseempfehlungen, um Dein Wissen aufzufrischen. Ich werde an entsprechender Stelle im Text auch auf den jeweiligen Artikel hinweisen.

• Karin beschreibt ganz konkret das noindex-Tag und dessen Auswirkung: „Noindex einfach erklärt“
• Wie Du die Indexierung steuern kannst und was Du dabei beachten solltest, hat Anika Dir in ihrem Beitrag „Indexierungssteuerung: So kommen Deine wichtigsten Seiten in den Google-Index“ aufgezeigt.
• Auf das dabei sehr bekannte Problem „Crawled not Indexed“ und „Found not indexed“ geht Karo in ihrem Beitrag „Gecrawlt/gefunden, zurzeit nicht indexiert – und nun?“ ein und beschreibt auch ein paar Lösungsansätze und Fehlerquellen.
• Wie Du den Google-Index von ungewollt indexierten Dokumenten befreien kannst, ziegt Dir Nora: „Indexbereinigung im SEO“
• Warum eine 100%ige Indexierung Deiner Inhalte ein SEO-Mythos, beschreibt Nadja in ihrem Beitrag.
• Wenn Du noch die ein oder andere Frage zum Thema Indexierung hast, dann empfehle ich Dir den Q&A-Beitrag von Karo: „Google Indexierung: 10 Fragen und Antworten“

Ein paar Fakten zur Indexierung

Eine der derzeit größten Herausforderungen für Website-Betreiber besteht darin, alle relevanten Dokumente von Google indexieren zu lassen. Google wird bei der Indexierung immer pingeliger. Der Grund dafür ist einfach: Ressourcen! Anika beschreibt das sehr ausführlich in ihrem Artikel zur Indexierungssteuerung.

Für Dich als SEO und Website-Betreiber heißt das: Du musst Dir überlegen, was gute, informationsreiche und auffindbare Dokumente auf der eigenen Domain abbilden müssen, um einen konkreten Nutzen für die Suchenden zu haben. Wenn Du das nicht tust, wird es Google für Dich übernehmen – und da gibt es sicherlich einige Unterschiede in der Priorisierung von Dokumenten.

Der Ablauf von Crawling und Indexierung ist hinreichend bekannt. Google selbst hat diesen Prozess bereits mehrfach aufgezeigt.

Noch mal kurz zusammengefasst:

• URL ermitteln und für Crawling in einer Liste/Warteschlange ablegen
• URL aufrufen und ggf. das Dokument rendern (Crawling)
• Erkannte Inhalte prozessieren und indexieren
• Ergebnisse auf die Datencenter verteilen und bereitstellen

Das ist sehr vereinfacht dargestellt, beschreibt aber im Wesentlichen den Prozess des Indexierens. Da wir wissen, dass auch bei Google die Ressourcen begrenzt sind, erscheint es logisch, dass Google die Kriterien für die Indexierung immer weiter verschärfen muss, um trotz steigender Anzahl von Websites eine gewisse Qualität gewährleisten zu können.

Google indexiert die Website oder wichtige Dokumente nicht? – Die Gründe

Im Wesentlichen gibt es drei Gründe, warum Google Deine Website nicht indexiert:

1. Inhaltliche Gründe
2. Technische Gründe
3. Externe Gründe eine Kombination aus technischen und inhaltlichen Gründen

Dass Du die Inhalte der zu indexierenden Dokumente stets auf einem Top-Niveau halten musst, ist eigentlich eine Selbstverständlichkeit. Schließlich willst Du mit Deinem Content-Angebot gegen den Wettbewerb bestehen. Um eine Optimierung Deiner Inhalte kommst Du also nicht herum. Belohnt wird das nicht nur mit der Indexierung, sondern auch mit einem guten Ranking.

Karo hat in ihrem Beitrag „Gecrawlt/gefunden, zurzeit nicht indexiert – und nun?“ zu diesem Thema Stellung genommen und erläutert insbesondere die inhaltlichen Punkte und zeigt Dir, was die Gründe dafür sein können, dass Deine Seite entweder nicht gecrawlt oder nicht indexiert wird.

Google indexiert Deine Website oder Deine Seite nicht – Nutze die Search Console

Das mächtigste Tool, um herauszufinden, ob Google Deine nicht indexierte URL kennt, ist und bleibt die Search Console. Falls Du die Google Search Console noch nicht eingerichtet hast, ist dies der berühmte Wink mit dem Zaunpfahl, dies schnellstmöglich zu tun. 😉

Zwar kannst Du die Indexierung auch direkt über die Google-Suche mit der Operatorenabfrage „site:meineDomain.tld/meine-url“ prüfen, aber das sagt Dir leider nicht, ob Google die URL auch kennt. Das kannst Du über die Google Search Console (GSC) herausfinden. Wenn Du über die Google-Suche kein Ergebnis erhältst, solltest Du hier unter „Gefunden – nicht gecrawlt“ explizit nach der URL suchen.

Sehr häufig, eigentlich bei fast allen E-Commerce-Projekten, findest Du in der Search Console die folgende Grafik.

Hinweis auf Probleme bei der Indexierungsabdeckung in der Search Console.

Screenshot Google Search Console Indexierungsabdeckung.

Screenshot Google Search Console Indexierungsabdeckung für die eingereichten Seiten.

Hier siehst Du jetzt für die relevanten URLs die Gründe, warum Google diese nicht indexiert. Fokussiere Dich neben den klassischen, offensichtlichen Fehlern, die für eine Nicht-Indexierung verantwortlich sind, wie zum Beispiel URLs, die einen Redirect, einen 404 oder 410 Status zurückgeben, über die robots.txt gesperrt sind, gegebenenfalls Serverfehler wiedergeben etc., auf die Fehler „Gecrawlt – zurzeit nicht indexiert“ und „Gefunden – zurzeit nicht indexiert“. Karo hat in ihrem Artikel dazu schon die möglichen Probleme aufgezeigt. Für Dich ist nun wichtig zu überprüfen, ob Deine URL in einer dieser beiden Metriken enthalten ist.

Wenn Google mehr URLs für „alle bekannten Seiten“ indexiert als für die eingereichten Seiten, dann scheint Google andere Seiten für wichtiger oder relevanter zu halten. Das obige Beispiel zeigt dies sehr deutlich:

• Indexierte URLs insgesamt: 1100
• Alle eingereichten Seiten (indexiert 868 und nicht indexiert 125): 993

Betrachtest Du nun das Delta der indexierten Seiten und der eingereichten indexierten 107 Seiten und vergleichst diese mit den nicht indexierten, aber eingereichten Seiten, so kannst Du hier gut die Kriterien für die Indexierung überprüfen. Achte auch hier wieder auf die Fehler „Gecrawlt – zurzeit nicht indexiert“ und „Gefunden – zurzeit nicht indexiert“. Nun siehst Du auch im Vergleich sehr schnell, ob Du ein Crawling-Problem hast beziehungsweise wie ausgeprägt dieses ist.

URL ist in „Gecrawlt – zurzeit nicht indexiert“ enthalten – Das kannst Du tun

Die Aussage ist ziemlich eindeutig. Entweder ist die Qualität des Inhalts nicht ausreichend für eine Indexierung oder Google kann den Inhalt nicht bewerten. Letzteres deutet in der Regel auf ein eher technisches Problem hin. Nämlich, dass der Googlebot den Inhalt nicht erreichen oder identifizieren kann. Das kann zum Beispiel der Fall sein, wenn der Inhalt per JavaScript nachgeladen wird. Um dies zu überprüfen, hast Du zwei Möglichkeiten:

1. Deaktiviere JavaScript-Unterstützung in Deinem Browser
   Wenn die Seite nun leer bleibt, kann das ein Hinweis darauf sein, dass Google den Content nicht findet. Ein Best Practice zu diesem Problem zeige ich Dir im folgenden Kapitel.

2. Nutze die Liveabfrage in der Search Console
   Wie Du die Search Console nutzen kannst, um Deine URL auf Machinenlesbarkeit zu prüfen, hat Anika in ihrem Artikel schon eingehend beschrieben.

URL-Prüfung in der Google Search Console für erste Hinweise

URL ist in „Gefunden – zurzeit nicht indexiert“ enthalten – Das kannst Du tun

Diese Meldung ist ein eindeutiger Hinweis darauf, dass ein technisches Problem mit Deiner Seite vorliegt. Entweder kann Google diese Seite aufgrund des begrenzten Crawling-Budgets nicht crawlen oder es gibt nicht genügend eingehende Signale, die Google mitteilen, dass „dieses Dokument wichtig ist“. In diesem Fall solltest Du unbedingt Schritt für Schritt der Anleitung von Karo folgen und schauen, ob das Dein Problem löst.

Deine URL wird in der Search Console nicht angezeigt

Hier liegt die Antwort nahe, dass Google Deine URL einfach nicht kennt. Ob das wirklich stimmt, kannst Du nur über eine Logfile-Analyse herausfinden. Was das ist, wie Du dabei vorgehst und wie Du an die wichtigen Informationen kommst, hat Felix in seinem Artikel „Logfile-Analyse – So wertest Du aus, was Google crawlt“ zusammengefasst.

In den Logfiles kannst Du direkt nachschauen, ob der Googlebot diese URL schon einmal aufgerufen hat. Filtere also Deine Logfiles nach dem Googlebot-Client und filtere dann die aufgeführten URLs nach Deiner URL, die Du indexieren lassen möchtest. Ist der Eintrag nicht vorhanden, dann hat Google diese URL noch nie aufgerufen. Das heißt aber nicht, dass die URL nicht bekannt ist. Schau einfach noch einmal unter „Gefunden – zurzeit nicht indexiert“. Aber Vorsicht: Über die GSC erhältst Du nur tausend Ergebnisse!

Nutze die Google-Suche und vergleiche Dich mit dem Wettbewerb

Die Google-Suche selbst ist ein gutes Werkzeug, um Deinen Content zu vergleichen oder den Fehler zu finden, warum Google Deine Seite nicht indexiert.

Vergleiche Deinen Inhalt mit dem Wettbewerb

Einer der wichtigsten Faktoren ist für eine Indexierung ist die Qualität Deiner Inhalte. Bevor Du aber anfängst, Deinen Content mühsam nach bestem Wissen und Gewissen zu optimieren, schau Dir Deine Wettbewerber zu dem Thema an. Dafür brauchst Du nicht zwingend teure Tools. Google einfach mal das Thema oder Keyword, zu dem Deine Seite in der Google-Suche erscheinen soll und schau Dir die bestplatzierten Seiten an. Wichtig: Wenn Dein Inhalt ein kleiner Werbetext ist, der vielleicht 150 Zeichen lang ist und dabei nur einen Werbetext ohne weitere Medien abbildet, dann kann ich Dir jetzt schon sagen, dass dieser Inhalt für umkämpfte Keywords oder Themen höchstwahrscheinlich nicht ausreichend sein wird. #thincontent

Auf den folgenden Mockups zeige ich Dir schematisch Inhalte auf, wie sie sehr häufig auf Unternehmensseiten zu finden sind. Zuerst einen zu dünnen Inhalt und danach wie ein halbwegs gut ausgearbeiteter Inhalt aussehen kann. Es handelt sich dabei um Inhalte für das gleiche Keyword.

Sieht Dein Inhalt so aus? Dann solltest Du Deinen Content ausarbeiten bzw. anreichern.

Sieht der Inhalt vom Wettbewerb zum gleichen Keyword aber so aus? Dann machst Du einiges richtig.

Hinweis: Die abgebildeten Mockups sollen nur schematisch unterschiedliche Inhaltsformate im Vergleich abbilden. Ich treffe hierbei keine Aussage, ob Inhalte immer so gestaltet sein müssen. Die Länge und Formate hängen immer vom Thema, den benötigten Informationen, der Branche und natürlich auch vom Wettbewerb ab.

Prüfe Deinen Text in der Google-Suche

Kopiere Deinen Text oder Teile davon einfach in die Google-Suche. So erfährst Du, ob es Deinen Inhalt bereits im World Wide Web gibt. Dies ist häufig bei Onlineshops der Fall, die Herstellertexte auf Produktseiten oder Markenbeschreibungen verwenden. Das Problem: Der Inhalt ist auf vielen verschiedenen Domains verfügbar. Die Frage, warum dieser Inhalt zum x-ten Mal in der Google-Suche erscheinen soll, ist berechtigt. Die Lösung ist denkbar einfach: Individualisiere Deinen Content!

Ein immer wiederkehrendes Problem ist, dass Website-Betreiber ihre Angebote auf mehreren Plattformen gleichzeitig platzieren und dabei ihre eigenen Inhalte 1:1 verbreiten. Im schlimmsten Fall wurden diese teuer und aufwendig produziert. Ebay, Amazon, Glaxus und Co. inhalieren dann diese Inhalte, und trotz kurzfristigem Erfolg – einige Produkte wurden über Marktplätze oder andere Plattformen verkauft – werden langfristig eher die großen Plattformen gestärkt.

Mein Tipp: Gib niemals Deine Website-Texte an andere Websites weiter. Kürze sie, fasse sie zusammen oder schreibe etwas Neues. Ich habe gehört, dass es KI-Tools gibt, die Du dafür nutzen kannst. 😉

Wenn Du nun ausschließen kannst, dass Dein Inhalt zu schwach ist, dann beschäftige Dich nun mit dem technischen Aspekt.

Technische Fehler verhindern, dass Google Deine Website indexiert

Das Thema Crawling wurde bereits ausreichend behandelt, aber was genau die Ursache sein kann, erläutere ich Dir in diesem Abschnitt.

JavaScript und Frameworks: Google findet keinen Inhalt auf Deiner Seite

Eine der größten Herausforderungen für das Crawlen und Indexieren sind nach wie vor Websites, die mit JavaScript Frameworks umgesetzt sind. Das sind Websites, die beim Aufruf keine Inhalte als HTML an Deinen Browser schicken, sondern lediglich ein „Gerüst“ liefern, in das die Inhalte dann dynamisch nachgeladen werden. Im schlimmsten Fall wird einfach alles dynamisch im Browser gerendert, was dazu führen kann, dass einem Crawler zu einer URL nur eine leere Seite präsentiert wird. Zwar ist Google im Laufe der Jahre deutlich besser darin geworden, auch solche Inhalte zu finden, also die Scripte zu rendern, aber Google selbst empfiehlt immer noch, wichtige Inhalte wie Texte, Bilder, Metadaten und vor allem Links vorgerendert auszugeben, also nicht erst im Browser zu rendern.

Hinweis: Server Side Rendering (SSR)

Beim serverseitigen Rendering wird der aus JavaScript-Anweisungen erzeugte HTML-Code vorgerendert, sodass ein fertiges, maschinenlesbares HTML an den Bot oder den Browser geschickt wird.

Du bist nicht sicher, ob Deine Seite SSR verwendet, beziehungsweise ob der Inhalt für Google erreichbar ist? Dann lies oben im Abschnitt „Google indexiert Deine Website nicht – Nutze die Search Console!“ nach, wie Du hier vorgehen kannst.

Setzt Du eine Sitemap ein?

Bei sehr kleinen Websites ist dieser Punkt nicht ausschlaggebend. Dennoch solltest Du alle Dir zur Verfügung stehenden Mittel ausschöpfen, um den Fehler zu finden. Prüfe also, ob Deine Sitemap, falls vorhanden, fehlerfrei ist.

Tipp: Wenn Du noch keine Sitemap einsetzt, solltest Du dies jetzt nachholen. Dies ist der direkteste Weg, Google mitzuteilen, welche Seiten wichtig sind und indexiert werden sollen.

Prüfe daher Deine Sitemap auf:

• Einträge mit doppelten Inhalten (z. B. nicht optimierte Filter-URLs oder Parameter-URL)
• URLs mit einem Canonical Tag
• URLs mit Noindex-Ausweisung
• URLs, die einen 404-/410-Fehler zurückgeben
• URLs mit Weiterleitungen
• URLs, die durch die txt vom Crawling ausgeschlossen sind

Wichtig: Deine Sitemap sollte immer fehlerfrei sein!

Schritt-für-Schritt-Anleitung zur Fehlerfindung bei der Indexierung

Im Folgenden gebe ich Dir eine konkrete Anleitung, wie Du herausfinden kannst, warum Google Deine Seite nicht indexiert.

Nehmen wir an, Dein Content oder Deine Seite wurde vor drei oder vier Wochen publiziert und noch immer findest Du nichts in den Suchergebnissen. Dann gehe wie folgt vor:

1. Prüfe mit der Site-Abfrage direkt die Google-Suchergebnisse. Gib die URL mit dem Site-Operator bei Google ein: site:deineDomain.de/deineURL

• Kein Ergebnis: Seite ist nicht indexiert.
• Ergebnis: Seite ist indexiert, aber rankt nicht

2. Schaue in die Google Search Console unter „Seiten“ und suche dann unter den angegebenen Fehlern, ob Dine URL aufgeführt ist.
3. Prüfe, ob Deine Seite zu viel JavaScript einsetzt. Deaktiviere die JavaScript-Unterstützung in Deinem Browser und schaue, ob sich Deine Seite noch navigieren lässt und der Content ausgespielt wird.
4. Untersuche die URL in der Search Console und nutze „Live-URL testen“, um zu prüfen, ob Google die URL aufrufen und den Inhalt erkennen kann.
5. Schaue in die Logfiles, ob der Googlebot die URL überhaupt schon einmal besucht hat.
6. Vergleiche Deine Seite mit der Konkurrenz. Gib das Keyword, auf das Du mit Deinem Content abzielst, in die Google-Suche ein. Analysiere die organischen Ergebnisse auf den ersten Positionen: Wie sind die Seiten strukturiert? Welche Art Content haben die Seiten (Videos, Infografiken etc.)?
7. Prüfe, ob Dein Inhalt schon in der Google-Suche enthalten ist. Das ist vor allem für Shop-Betreiber wichtig.
8. Prüfe, ob Deine Seite für mobile Endgeräte optimiert ist. Da Google nur noch mobil crawlt, ist die mobile Version der Website zur Indexierung Pflicht
9. Überlege, ob Du den Inhalt bereits selbst geteilt hast. Nimmst Du an Affiliate-Programmen teil? Hast Du Partnerseiten oder vielleicht sogar mehrere Domains?

Fazit

Da die Anzahl an Websites im Internet, seien es Onlineshops, Newsplattformen oder einfache Unternehmenspräsenzen, stetig zunimmt und die Ressourcen von Google nach wie vor begrenzt sind, wird es immer anspruchsvoller, Websites indexieren zu lassen. Gerade mit Blick auf den immer stärker werdenden Wettbewerb muss die eigene Website den höchsten Qualitätsansprüchen entsprechen, um indexiert zu werden und in der Folge auch gute Positionen in den Suchergebnissen zu erzielen.

Mit den aufgezeigten Maßnahmen und Analysemöglichkeiten hast Du nun die Möglichkeit, Schritt für Schritt auf Fehlersuche zu gehen. Da vor allem die Search Console mit ihren Funktionen und Informationen unverzichtbar ist, solltest Du ihr besondere Aufmerksamkeit widmen. Eines solltest Du aber immer berücksichtigen: Oft ist nicht nur ein Fehler dafür verantwortlich, dass Google Deine Website oder Dein Websitedokument nicht indexiert, sondern mehrere Faktoren. Um das zu verdeutlichen, kannst Du zum Beispiel einfach eine Tabelle mit den nicht indexierten URLs erstellen und alle Fehlermöglichkeiten auflisten. Dann siehst Du auch recht schnell, ob es mehrere Herausforderungen gibt, die Du angehen musst.

Und wenn Du Unterstützung bei der Fehlersuche und -beseitigung benötigst, stehen wir von Seokratie Dir mit Rat und Tat zur Seite. Kontaktiere uns gern.

Bildnachweis: Titelbild: MQ-Illustrations/ adobe.stock.com; Bild 2: Seokratie/Screenshot Google Search Console, Seitenindexierung; Bild 3: Seokratie/Screenshot Google Search Console, Seitenindexierung; Bild 4: Seokratie/Screenshot Google Search Console, Seitenindexierung; Bild 5: Seokratie/ URL-Prüfung in der Search Console für erste Hinweise; Bild 6 und 7: Seokratie/Erstellte Mockups für Inhaltsformate