URL aus der Google-Suche entfernen

URL entfernen: Im ersten Schritt

Falls Sie davon betroffen sind und eine bestimmte Seite aus der Google-Suche entfernen möchten, steht eine Vielzahl von Lösungsmöglichkeiten bereit. Dabei ist stets zu bedenken, dass es nicht die eine optimale Lösung gibt. Zu beachten ist jeweils der individuelle Fall und so gibt es für unterschiedliche Nutzer mitunter verschiedene Wege, die das gewünschte Resultat erzielen.

Indexierung prüfen

Vorab ist zu prüfen, ob die Seite überhaupt indexiert ist. Indexiert bedeutet, dass die URL Teil der Datenbank der Suchmaschine ist. Um herauszufinden, ob eine Seite indexiert ist, gehen viele Nutzer jedoch häufig falsch vor. Oftmals wird die site: Suche verwendet. Diese ist insofern hilfreich, als dass sie Auskunft darüber gibt, welche Inhalte oder Unterseiten problematisch sein könnten, wenn sie in den Google-Suchergebnissen auftauchen. Allerdings ist diese Methode ungeeignet, um festzustellen, ob Inhalt wirklich indexiert ist. Denn es kann nicht festgestellt werden, ob dieser auch ohne Verwendung von „site:“ bei einer normalen Suche zu sehen ist oder nicht. Es können Redirects und Canonical-Links angezeigt werden. Vermeiden Sie daher, diese beiden Ebenen zu verwechseln. Mitunter gab es schon viele Fälle, in denen SEOs nicht der Unterschied zwischen den „site:“-Ergebnissen und den wirklichen Suchergebnissen klar war, was wiederum zu Schäden auf der Homepage führte.

Empfehlenswerter ist die Nutzung des „Index Coverage Report“ der „Google Search Console“ oder das „URL Inspection Tool“. Der Zugang zur „Search Console“ ist kostenfrei, dort muss die entsprechende Website aber zunächst registriert und verifiziert werden. Der „Index Coverage Report“ listet alle URL und deren Status in Bezug darauf auf, ob sie indexiert sind oder nicht. Dabei wird eine leicht zu verstehende Einteilung in vier Kategorien vorgenommen.

„Error“ zeigt an, dass eine URL nicht indexiert ist. „Warning“ weist darauf hin, dass eine Seite zwar indexiert ist, aber ein Problem vorliegt. Die dritte Kategorie, „Excluded“, listet Seiten, die nicht indexiert sind, bei denen aber davon ausgegangen wird, dass dies intendiert war. „Valid“ beschreibt als letzte Kategorie indexierte Seiten. Das „URL Inspection Tool“ kann ebenfalls dazu genutzt werden, um herauszufinden, ob eine Seite indexiert ist. Hierbei wird ein Live-Test durchgeführt, der die Seite in Echtzeit untersucht.

5 Methoden zur URL Entfernung aus den Suchergebnissen

Haben Sie nun herausgefunden, ob die entsprechende Seite indexiert ist, gibt es fünf grundlegende Wege, um unerwünschten Content aus den Suchergebnissen zu entfernen.

1. Option 1 besteht in der einfachen Löschung des Contents und Einsetzen eines 404- oder 410-Codes. Die Seite wird dann aus den Suchergebnissen entfernt, sobald die Seite recrawlt wurde. Bis dahin bleibt sie allerdings auffindbar und auch nach längerer Zeit kann noch eine Cache-Version verfügbar sein. Daher sind die anderen Methoden ebenfalls in Betracht zu ziehen.
2. Option 2 besteht in dem Anbringen eines „noindex“-Tags. Dieser weist Suchmaschinen darauf hin, die Seite aus den Suchergebnissen zu entfernen. Dabei ist darauf zu achten, dass die Suchmaschinen nicht in robots.txt blockiert sind. Zudem kann die Angleichung der verschiedenen Signale (dazu später mehr) behindert werden. Der Google-Support ist ausserdem offiziell eingestellt.
3. Die dritte Option, um eine Seite aus den Suchergebnissen zu entfernen, besteht darin, den Zugang zu beschränken, sodass die Seite zwar von bestimmten ausgewählten Nutzern auffindbar ist, nicht aber von Suchmaschinen. Hierzu stehen wiederum drei grundlegende Möglichkeiten bereit: ein Log-in-System, eine HTTP-Authentifizierung oder IP Whitelisting (nur bestimmte IP-Adressen können auf die Seite zugreifen). Diese Option eignet sich besonders für Seiten im Entwicklungsstadium oder beispielsweise auch für interne Netzwerke.
4. Der vierte Weg steht in Google selbst innerhalb der „Search Console“ zur Verfügung. Dies ist das „URL Removal Tool“. Über den Reiter „Google Index“ ist die Option „URL entfernen“ verfügbar. Dort tragen Sie einfach die entsprechende URL ein und der neue Status wird umgehend bestätigt. Wichtig ist jedoch, dass es sich dabei lediglich um eine temporäre Entfernung handelt. Diese hält 3 bis 6 Monate an, so lange bleibt die Seite in den Ergebnissen versteckt, aber eben nicht dauerhaft.

URL entfernen mit “Canoncalization”

Hierbei handelt es sich quasi um die fünfte und zugleich umfangreichste Variante. Es geht darum, verschiedene Versionen eines bestimmten Inhalts zu handhaben, um doppelten Content zu vermeiden. So werden verschiedene Versionen einer Seite auf eine indexierte Adresse zusammengelegt. Unterhalb der fünften Option stehen drei Möglichkeiten zur Verfügung.

1. Die erste besteht darin, einen „Canonical Tag“ anzubringen. Dabei handelt es sich um HTML-Code, der festlegt, welche Version die Hauptversion und daher zu indexieren ist.
2. Die zweite Möglichkeit bezieht sich auf das sogenannte „Parameter Handling“. Der Parameter, der üblicherweise am Ende der Seite angefügt wird (zum Beispiel ? oder =green) wird mittels dieses Tools von Google dann effizienter eingesetzt, um mangelhaftes Crawling bei verschiedenen Versionen einer Seite zu verhindern.
3. Die letzte Möglichkeit im Bereich „Canonicalization“ ist die eines Redirects. Neben dem temporären 302-Redirect ist der 301-Redirect am bekanntesten und findet entsprechend häufig Anwendung. Ein 301-Redirect signalisiert der Google-Suche, dass diese finale Seite diejenige ist, die bei den Suchergebnissen angezeigt wird und auf die die verschiedenen Signale zusammengelegt werden, auf die wir im Folgenden noch näher eingehen.

Der 301-Redirect

Trotz Einrichtung eines 301-Redirects kommt es aber in bestimmten Fällen immer noch dazu, dass die zu entfernende URL weiter in den Suchergebnissen auftaucht. Das hat den Grund, dass ein Redirect nur eines von mehreren sogenannten „Signalen“ ist. Zu Signalen zählen allerdings auch interne Links oder Canonical Links. Diese Signale nutzt Google allesamt, um die „Canonical URL“ zu bestimmen. Wird nun eins von mehreren verschiedenen Signalen weitergeleitet, taucht die unerwünschte Adresse eventuell immer noch in den Suchergebnissen auf.

Fehler bei der URL Entfernung vermeiden

Wie Sie sehen, gibt es keinen optimalen oder einheitlichen Weg. Je nachdem, welches Ergebnis Sie erzielen wollen und wie hoch Sie die Entfernung priorisieren, erweist sich ein anderer Weg eventuell als zielführender. Nichtsdestotrotz sind einige häufig auftretende Fehler vermeidbar. Zum Beispiel ist Crawling nicht dasselbe wie Indexiert-Sein. Ist Google auf robots.txt blockiert und wird nicht gecrawlt, bedeutet das nicht automatisch, dass die Seite nicht indexiert ist.

Früher verwendete man ausserdem oftmals statt „noindex“ „nofollow“. „nofollow“ verhinderte Verlinkungen auf eine Seite, mittlerweile funktioniert dies jedoch nicht mehr und Google kann diese Seiten jetzt nun auch crawlen.

Allgemein ist auf die Vermeidung widersprüchlicher Signale zu achten. So ist es beispielsweise nicht ratsam, wenn „noindex“ und „canonical“ auf eine andere Seite führen. Es handelt sich schliesslich um einen Algorithmus, der versucht, ein Hauptsignal zu finden. Bei sich widersprechenden Signalen besteht immer die Gefahr, dass das „noindex“-Signal als das Hauptsignal missverstanden wird.

Abschliessend sind auch einige rechtliche Fragen von Relevanz. Handelt es sich um Inhalt, der Ihnen gehört, aber auf einer Seite erscheint, die Sie nicht besitzen, so können Sie auf die Löschung urheberrechtlich geschützten Inhalts bestehen. Google bietet hierfür das „Copyright Removal Tool“. In der EU besteht zudem das Recht auf “Vergessen-Werden”, aus dem man die Löschung von Inhalten über die eigene Person fordern kann.