Robots: "index,follow" und "noindex,follow"
Die Robots-Angabe für Suchmaschinen-Crawler zählt zu den wichtigsten Meta-Elementen und muss innerhalb des <head>-Bereichs des Templates platziert werden.
Zulässige Werte sind "noindex" und "nofollow" respektive "index" und "follow". Letztere werden von Suchmaschinen als Standard angenommen und müssen daher nicht explizit eingetragen werden. In diesem Fall nehmen Suchmaschinen die Seite in den Index auf und folgen allen Links. Ist dies nicht gewünscht, ist die Angabe "noindex" und "nofollow" nötig.
Mit WS-RobotControl stellt Ihnen WEBSALE V8s ein Tag zur Verfügung, das im Head jedes Templates in Verbindung mit der Meta-Anweisung <meta name="robots" content="~WS-RobotControl~"> platziert werden sollte. Dadurch kann das Shopsystem die automatisierte Grobsteuerung vornehmen, in welchen Bereichen des Shops eine Suchmaschinenindizierung zugelassen wird und wo nicht.
Standardmäßig ersetzt WEBSALE V8s das Tag z. B. auf Produkt- und Kategorieseiten durch "index,follow". Seiten, die nicht von Suchmaschinen indiziert werden sollen, z. B. Login, Kundenkonto, Checkout etc., werden auf "noindex,nofollow" gesetzt.
Weiter werden u. a. zur Vermeidung von Duplicate Content durch Produkt- und Kategorieseiten, die im SSL-Modus aufgerufen werden, prinzipiell alle Seiten im SSL-Modus auf "noindex,nofollow" gesetzt.
Bitte beachten Sie, dass die Robots-Angabe nur die Indexierung von Inhalten und nicht deren Crawling beeinflusst. Soll eine Seite nicht gecrawlt werden, muss dafür die robots.txt eingesetzt werden. Bei einer Disallow-Angabe für eine URL kann ein Crawler den Inhalt der Seite nicht lesen und würde evtl. vorhandene Meta-Robots-Angaben nicht finden. Somit ist der Inhalt der gesperrten Seiten für eine Suchmaschine nicht lesbar.
Wegweiser: Suchmaschinen mit "robots.txt" steuern
Inhalt
1 Funktionsweise des WEBSALE RobotControl-Tags
3 Anpassen der Robots-Angabe für Kategorien
4 Anpassen der Robots-Angabe für Produkte
5 "index,follow" für Suchergebnis-Seiten
6 Robots-Angabe für URLs mit Parametern
1 Funktionsweise des WEBSALE RobotControl-Tags
Für die folgenden Templates setzt das RobotControl-Tag automatisch "index,follow"
▪ Shop-Startseite (ws_start.htm)
▪ Produktübersichtsseite (ws_category.htm)
▪ Produktdetailansicht (ws_product.htm)
▪ Inhaltstemplates, die mit "&tpl=<Template-Datei>" aufgerufen werden
Alle anderen Seiten wie:
▪Warenkorbseite (ws_basket.htm)
▪Login-Seite
▪alle Checkout-Templates
▪alle Seiten im Kundenkonto
sollen von einer Suchmaschine nicht indiziert werden und werden deshalb auf "noindex,nofollow" gesetzt.
Hinweis: |
|
|
Sobald sich ein Käufer mit seinem Passwort im Shop eingeloggt hat, wird auf jeder Seite noindex,nofollow gesetzt. Damit wird verhindert, dass ein Link dieser Sitzung in eine Suchmaschine gelangt (zum Beispiel durch eine Toolbar). |
Das Tag WS-RobotControl kann in allen Templates integriert werden, da WEBSALE V8s die Angabe von "index,follow" respektive "noindex,nofollow" steuert. So wird zum Beispiel auf der Startseite "index,follow" erzeugt und im Kundenkonto immer "noindex,nofollow".
Schritt 1: Integration im <head>
Integrieren Sie in allen Templates im <head>-Bereich das Tag WS-RobotControl:
<head>
...
<meta name="robots" content="~WS-RobotControl~">
</head>
Referenz: WS-RobotControl
Schritt 2: Anpassung der Shopkonfiguration
In Ihrer Shopkonfiguration shop.config können Sie generell festlegen, ob die Suchmaschinenindizierung bei Verwendung des Tags WS-RobotControl aktiviert werden soll oder nicht.
Wenn ein Shop nicht indiziert werden soll, z. B. weil dieser gerade aufgebaut wird oder ein Testshop ist, kann die Indizierung durch den Parameter RobotControl-Allow in Ihrer Shopkonfiguration shop.config im Abschnitt <Basic> deaktiviert werden. In diesem Fall empfiehlt es sich zudem, den Shop in den generellen Testmodus zu setzen.
Wegweiser: Testmodi des Shops ein-/ausschalten
Beispiel:
Der Shop soll indiziert werden. Der Tag WS-RobotControl soll für alle indizierbaren Seiten automatisch "index,follow" setzen.
<Basic>
...
RobotControl-Allow = no
...
</Basic>
Referenz: Abschnitt Basic
3 Anpassen der Robots-Angabe für Kategorien
"noindex,nofollow" für bestimmte Kategorien
Das Tag WS-RobotControl erzeugt automatisch für jede Kategorie "index,follow".
Im Online-Servicebereich im Dienst TopRank-Manager haben Sie die Möglichkeit diese Anweisung pro Kategorie zu verhindern. Durch das Anhaken von "noindex" und "nofollow" bei "Für diese Kategorie" wird das Indizieren der gewählten Kategorieseite verhindert.
Achtung: |
|
|
Durch die Angabe "nofollow" für eine Kategorieseite wird die Suchmaschine angewiesen, alle Links auf dieser Seite zu ignorieren, selbst wenn die darunterliegenden Kategorien/Produkte ihrerseits auf "index,follow" gesetzt sind. Dies ist möglicherweise nicht gewünscht! |
Wegweiser: TopRank konfigurieren und aktivieren
Folgeseiten aus dem Index ausschließen
Mittels der Meta-Information "robots" kann man Suchmaschinen daran hindern, Seiten in den Google-Index aufzunehmen. Ziel ist es, unwichtige sowie doppelte Inhalte aus dem Google-Index auszuschließen, sodass der Google Bot mehr Zeit aufwendet, umsatzrelevante Inhalte Ihres Shops zu indexieren. Alle Paginationsseiten ab Seite 2 ff gehören zu diesen Seiten und sollten aus dem Index ausgeschlossen werden. Sprechen Sie diesbezüglich mit Ihrem SEO.
Wegweiser: Folgeseiten aus dem Index ausschließen
4 Anpassen der Robots-Angabe für Produkte
"noindex,nofollow" für bestimmte Produkte
Das Tag WS-RobotControl erzeugt automatisch für jedes Produkte "index, follow".
Im Online-Servicebereich im Dienst TopRank-Manager haben Sie die Möglichkeit diese Anweisung für Produkte einer bestimmten Kategorie zu verhindern. Durch das Anhaken von "noindex" und "nofollow" bei "Für zugeordnete Produkte" wird das Indizieren von dieser Kategorie zugeordneten Produkten (Produktseiten) verhindert.
Wegweiser: TopRank konfigurieren und aktivieren
5 "index,follow" für Suchergebnis-Seiten (Indizieren von Suchergebnis-Seiten)
Sie können manuell verlinkte Suchanfragen automatisch durch die Canonical-Anweisung im HTML-Head der Suchergebnis-Seite indizieren lassen.
Als Voraussetzung müssen hierzu die Tags WS-RobotControl und WS-RobotCanonical im HTML-Head der Suchergebnisseite platziert sein:
<head>
...
<meta name="robots" content="~WS-RobotControl~">
{WS-RobotCanonical}<link rel="canonical" href="~WS-RobotCanonical~">{/WS-RobotCanonical}
...
</head>
...
Wegweiser: Canonical-Anweisung in HTML-Head erzeugen
Referenz: WS-RobotCanonical
Referenz: WS-RobotControl
Sie können einen Link auf eine bestimmte Suchanfrage, z. B. nach dem Begriff "reduziert", durch
~WS-SearchLink(Reduziert)~&search_input=reduziert
platzieren.
Hinweis: |
|
|
Verwenden Sie das Tag ~WS-SearchLink()~ um eine Suchanfrage zu verlinken, da Sie hier die Möglichkeit haben, ein Schlüsselwort anzugeben, in obigem Beispiel "Reduziert". Das Schlüsselwort wird in der URL als sprechender Seitenname verwendet, der dann für obiges Beispiel ".../Reduziert.htm?...." lautet. |
Wenn alle folgenden Bedingungen erfüllt sind, wird auf der Suchergebnisseite ~WS-RobotControl~ durch index,follow und ~WS-RobotCanonical~ durch den optimalen Suchmaschinenlink ersetzt (auf der Suchergebnisseite ist dies exakt die aufgerufene URL) und somit wird diese URL von Suchmaschinen indiziert:
▪Es wurde kein Ctx-Parameter gefunden.
— Wurde der Besucher als Suchmaschine erkannt, wird dieser Parameter prinzipiell nie ausgegeben!
— Wurde der Besucher nicht als Suchmaschine erkannt, wird der Ctx-Parameter unter folgenden Bedingungen ausgegeben:
– Der Browser des Käufers unterstützt keine Cookies, oder
– Die konfigurierte Haupt- und SSL-Domain stimmen nicht überein
– Es ist mindestens eine zusätzliche Domain konfiguriert, die automatische Weiterleitung auf die Hauptdomain ist allerdings nicht aktiviert.
▪Die Sucheingaben wurden über den Link mitgegeben (der Link enthält z. B. den Parameter search_input) und nicht aus den Sessioninformationen geladen (wie zum Beispiel beim Blättern der Suchergebnisse)
▪Die Suche wurde über einen Link aufgerufen und nicht über ein Formular
▪Die interne WEBSALE-Suche wurde durchgeführt
Wegweiser: Interne WEBSALE Suche bei Verwendung externer Suchdienstleister deaktivieren
▪Es wurde mindestens ein Produkt gefunden
Tags
Referenz: WS-SearchLink()
6 Robots-Angabe für URLs mit Parametern
Es kann durchaus vorkommen, dass an relevante SEO-URLs Parameter angehängt werden und diese dann auch in den Suchmaschinen auftauchen, weil sie indiziert worden sind. Das kann zu Duplicate Content führen.
Aus diesem Grund kann man mit folgender Abfrage prüfen, ob die aufgerufene URL Parameter besitzt. Ist dies der Fall, kann man die Robots-Angabe auf noindex,follow oder einen beliebigen anderen Wert setzen.
~DC-FPUrlCheck_set($WS-RequestURI$)~
{DC-FPUrlCheck_contains(?)}
<meta name="robots" content="noindex,follow">
{/DC-FPUrlCheck_contains(?)}
{!DC-FPUrlCheck_contains(?)}
<meta name="robots" content="~WS-RobotCanonical~">
{/!DC-FPUrlCheck_contains(?)}
Referenz: DC-FPXSet
Referenz: DC-FPXContains
Referenz: WS-RobotCanonical