Was ist ein Robots-Meta-Tag?
Der Robots-Meta-Tag ist Teil des HTML Codes, der in den Header eine Webseite eingefügt wird.
Er dient dazu, Suchmaschinen, wie beispielsweise Google, bestimmte Informationen zum Crawlen und zur Indexierung der URL mitzuteilen. Die Anwendung der Robots-Meta-Tag ist Teil der technischen Suchmaschinenoptimierung und mit der robots.txt Datei, ein wichtiges Tool beim korrekten Aufsetzen einer Internetpräsenz.
Robots-Meta-Tags
Welche Robots-Meta-Tags gibt es und wie funktionieren sie?
Der Aufbau des Robots-Meta-Tag kann auf den ersten Blick recht komplex wirken. Daher betrachten wir die einzelnen sich dahinter verbergenden Attribute nun etwas genauer. Zu diesen Attributen gehören „name“ und „content“. Diese müssen jeweils mit einem Wert versehen werden.
Das „name“-Attribut ist dafür zuständig, dass die Bots und Crawler den in den Robots-Meta-Tag enthaltenen Anweisungen folgen. Der reguläre Standardaufbau würde dann folgendermaßen aussehen:
name=“robots“. Es besteht allerdings die Möglichkeit für jeden Crawler unterschiedliche Befehle auszugeben. So könnte beispielsweise mit der Nutzung dieses Robots-Meta-Tags: die Indexierung durch die Suchmaschine Google ausgeschlossen werden.
Das „content“-Attribut wird verwendet, um dem User Agent spezifische Hinweise zu vermitteln. Der User Agent ist Teil des HTTP-Headers, der bei einem Request übermittelt wird. Im Web kommunizieren Clients, wie etwa Ihr Browser, via HTTP-Protokoll mit Webservern. Der User Agent liefert demnach dem Server bestimmte Informationen über den Client. Wird der Robots-Meta-Tag der Webseite nicht spezifiziert, so bleibt diese in der Standardeinstellung und wird regulär indexiert.
Nicht jeder Inhalt Ihrer Website muss, beziehungsweise sollte, von einer Suchmaschine indexiert werden.
Das bedeutet, dass unter anderem Google diese Informationen nicht für das frei zugängliche Netz hinterlegt und diese somit bei einer Suchanfrage nicht als Ergebnisse ausgespielt werden. Eine Aufnahme in den Index kann demnach mit einem Robots-Meta-Tag verhindert werden. Dieser würde im Quelltext Ihrer Website so dargestellt werden:
Dieser Codeschnipsel wird in der robots.txt Datei hinterlegt. Das ist eine einfache Textdatei, die sich im Stammverzeichnis Ihrer Webseite befindet. Mit ihr lassen sich diverse Anweisungen für Bots, wie die crawling frequency, der Standort der Sitemap oder das Nicht-Auslesen von Duplicate Content festlegen. Der darin hinterlegte Robots-Meta-Tag kann spezifisch für jede einzelne Unterseite angelegt werden. Die Suchmaschinen-Bots erkennen so, wie sie mit dieser Seite verfahren müssen und, ob diese in den Index aufgenommen werden soll.
SEO Preise jetzt berechnen!
Beispiele möglicher Angaben:
„index“: Die Seite wird in den Index mit aufgenommen. Diese Anweisung ist in der Regel nicht notwendig, da sie standardmäßig angewendet wird.
„noindex“: Die URL wird nicht indexiert und auch nicht in den SERPs angezeigt.
„follow“: Den Links auf der Website wird gefolgt. Diese werden in die Bewertung durch die Suchmaschine mit einbezogen. Somit verteilt sich der Linkjuice auch auf die weiterführenden Seiten. Interne Verlinkungen, die thematisch sinnvoll sind, sollten als Follow Links behandelt werden. Linkquellen externer Links, sollten zuvor inhaltlich auf deren ausgehende Links geprüft werden, bevor ein „follow“ gesetzt wird.
„nofollow“: Den Links auf der Webseite wird nicht gefolgt. Um Spam vorzubeugen und dem Ranking der eigenen Website nicht zu schaden, können einzelne Links oder ganze Dokumente, wie beispielsweise in Foren, mit einem „nofollow“ versehen werden. Die verlinkte URL erhält dadurch keinerlei Vorteile in der Bewertung durch Google, da sie nicht berücksichtigt wird. Neben Gastbeiträgen und Kommentaren, ergibt es Sinn, interne Seiten, wie die Datenschutzbestimmung oder das Impressum, nicht auf jeder Unterseite mit einem „follow“ zu versehen, um den Linkjuice auf der eigenen Seite besser steuern zu können. Darüber hinaus bestehen zahlreiche weitere Möglichkeiten Ihre Webseite individuell an Ihre Bedürfnisse, Produkte und Dienstleistungen anzupassen. Wir von SEO.CH AG sind immer darauf bedacht, für Sie die beste Lösung zu erarbeiten. Wir optimieren nicht nur suchmaschinengerecht, sondern vor allem nutzerfreundlich. Der User, und damit Ihr Kunde, stehen für uns im Fokus. Sie zahlen nur bei erfolgreich umgesetzten Maßnahmen. Es entstehen für Sie keine Fixkosten beim Aufbau und der Optimierung. Durch kontinuierliche Analysen und fortlaufende Reportings sorgen wir dafür, dass Ihre Webseite dauerhaft in den obersten Rankings zu finden ist.