WordPress Robots.txt Optimierung (+ Multisite) – Website Traffic, Ranking & SEO Booster + Woocommerce

Better Robots.txt erstellt eine WordPress virtuelle robots.txt, hilft Ihnen, Ihre Website SEO (Indexierungskapazitäten, Google Ranking, etc.) und Ihre Ladeleistung zu steigern – Kompatibel mit Yoast SEO, Google Merchant, WooCommerce und Directory-basierten Netzwerksites (MULTISITE).

Mit Better Robots.txt können Sie erkennen, welche Suchmaschinen Ihre Website durchsuchen dürfen (oder nicht), klare Anweisungen geben, was sie tun dürfen (oder nicht) und ein Crawl-Delay definieren (um Ihren Hosting-Server vor aggressiven Scrapern zu schützen). Better Robots.txt gibt Ihnen auch die volle Kontrolle über Ihre WordPress robots.txt-Inhalte über die benutzerdefinierte Einstellbox.

Reduzieren Sie den ökologischen Fußabdruck Ihrer Website und die Treibhausgas-(CO2)-Produktion, die mit ihrer Existenz im Internet verbunden ist.

UNTERSTÜTZT IN 7 SPRACHEN

Bessere Robots.txt-Plugins sind übersetzt und verfügbar in: Chinesisch -汉语/漢語, Englisch, Französisch – Französisch – Französisch, Russisch -Руссɤɢɣ, Portugiesisch – Portugiesisch – Português, Spanisch – Spanisch – Spanisch, Deutsch – Deutsch

Wussten Sie, dass….

• Die Datei robots.txt ist eine einfache Textdatei, die auf Ihrem Webserver abgelegt wird und Webcrawlern (wie Googlebot) sagt, ob sie auf eine Datei zugreifen sollen.
• Die Datei robots.txt steuert, wie Suchmaschinenspider Ihre Webseiten sehen und mit ihnen interagieren;
• Diese Datei und die Bots, mit denen sie interagieren, sind grundlegende Bestandteile der Funktionsweise von Suchmaschinen;
• Das erste, was ein Suchmaschinen-Crawler betrachtet, wenn er eine Seite besucht, ist die Datei robots.txt;

Die robots.txt ist eine Quelle für SEO-Saft, der nur darauf wartet, freigeschaltet zu werden. Probieren Sie Better Robots.txt !

Über die Pro-Version (zusätzliche Funktionen):

1. Steigern Sie Ihre Inhalte in Suchmaschinen mit Ihrer Sitemap!

Stellen Sie sicher, dass Ihre Seiten, Artikel und Produkte, auch die neuesten, von Suchmaschinen berücksichtigt werden!

Das Better Robots.txt Plugin wurde entwickelt, um mit dem Yoast SEO Plugin zu funktionieren (wahrscheinlich das beste SEO Plugin für WordPress Websites). Es wird erkennen, ob Sie gerade Yoast SEO verwenden und ob die Sitemap-Funktion aktiviert ist. Wenn ja, dann fügt es automatisch Anweisungen in die Datei Robots.txt ein und bittet Bots/Crawler, Ihre Sitemap zu lesen und zu überprüfen, ob Sie die letzten Änderungen an Ihrer Website vorgenommen haben (damit Suchmaschinen den neuen verfügbaren Inhalt durchsuchen können).

Wenn Sie Ihre eigene Sitemap hinzufügen möchten (oder wenn Sie ein anderes SEO-Plugin verwenden), dann müssen Sie nur Ihre Sitemap-URL kopieren und einfügen, und Better Robots.txt wird sie in Ihre WordPress Robots.txt aufnehmen.

2. Schützen Sie Ihre Daten und Inhalte.

Blockieren Sie Bad Bots davon, Ihre Website zu löschen und Ihre Daten zu kommerzialisieren.

Das Better Robots.txt Plugin hilft Ihnen, die beliebtesten Bad Bots vom Crawlen und Scraping Ihrer Daten abzuhalten.

Wenn es um Dinge geht, die Ihre Website durchsuchen, gibt es gute und schlechte Bots. Gute Bots, wie Google Bot, durchsuchen Ihre Website, um sie für Suchmaschinen zu indizieren. Andere durchsuchen Ihre Website aus schändlicheren Gründen, wie z.B. dem Herausziehen Ihrer Inhalte (Text, Preis, etc.) für die Wiederveröffentlichung, dem Herunterladen ganzer Archive Ihrer Website oder dem Extrahieren Ihrer Bilder. Einige Bots wurden sogar berichtet, dass sie ganze Websites aufgrund der starken Nutzung von Breitband heruntergezogen haben.

Das Better Robots.txt Plugin schützt Ihre Website vor Spidern/Abstreifern, die von Distil Networks als Bad Bots identifiziert wurden.

3. Verstecken & schützen Sie Ihre Backlinks

Verhindern Sie, dass Wettbewerber Ihre profitablen Backlinks identifizieren.

Backlinks, auch “Inbound Links” oder “Incoming Links” genannt, werden erstellt, wenn eine Website auf eine andere verweist. Der Link zu einer externen Website wird als Backlink bezeichnet. Backlinks sind für SEO besonders wertvoll, da sie ein “Votum des Vertrauens” von einer Seite zur anderen darstellen. Im Wesentlichen sind Backlinks zu Ihrer Website ein Signal an Suchmaschinen, dass andere für Ihre Inhalte bürgen.

Wenn viele Websites auf dieselbe Webseite oder Website verweisen, können Suchmaschinen daraus schließen, dass der Inhalt eine Verlinkung wert ist und daher auch eine Darstellung auf einem SERP wert ist. Das Verdienen dieser Backlinks wirkt sich also positiv auf die Platzierung einer Website oder die Sichtbarkeit der Suche aus. In der SEM-Branche ist es üblich, dass Spezialisten feststellen, woher diese Backlinks von (Wettbewerbern) stammen, um das Beste daraus herauszuholen und hochwertige Backlinks für ihre eigenen Kunden zu generieren.

In Anbetracht der Tatsache, dass die Erstellung von sehr profitablen Backlinks für ein Unternehmen viel Zeit in Anspruch nimmt (Zeit + Energie + Budget), ist es ein reiner Effizienzverlust, wenn Ihre Wettbewerber diese so einfach identifizieren und duplizieren können.

Better Robots.txt hilft Ihnen, alle SEO-Crawler (aHref, Majestic, Semrush) zu blockieren, um Ihre Backlinks unauffindbar zu halten.

4. Vermeiden Sie Spam-Backlinks

Bots, die die Kommentarformulare Ihrer Website ausfüllen und Ihnen sagen, dass Sie einen großartigen Artikel”, liebe die Info”, hoffe, dass Sie bald mehr zu diesem Thema erfahren können” oder sogar personalisierte Kommentare, einschließlich des Autornamens, abgeben, sind eine Legion. Spambots werden mit der Zeit immer intelligenter, und leider können Kommentar-Spam-Links Ihr Backlink-Profil wirklich schädigen. Better Robots.txt hilft Ihnen, zu vermeiden, dass diese Kommentare von Suchmaschinen indiziert werden.

5. Seo-Tools

Während wir unser Plugin verbessert haben, haben wir Shortcut-Links zu 2 sehr wichtigen Tools hinzugefügt (wenn Sie sich mit Ihrem Ranking in Suchmaschinen befassen): Google Search Console & Bing Webmaster Tool. Falls Sie diese noch nicht verwenden, können Sie nun die Indexierung Ihrer Website verwalten und gleichzeitig Ihre robots.txt optimieren! Der direkte Zugriff auf ein Mass Ping Tool wurde ebenfalls hinzugefügt, so dass Sie Ihre Links in mehr als 70 Suchmaschinen pingen können.

Wir haben auch 4 Shortcut-Links zu den besten Online SEO Tools erstellt, die direkt auf Better Robots.txt SEO PRO verfügbar sind. Damit Sie jederzeit in der Lage sind, die Ladeleistung Ihrer Website zu überprüfen, Ihren SEO-Score zu analysieren, Ihr aktuelles Ranking auf SERPs mit Keywords & Traffic zu identifizieren und sogar Ihre gesamte Website direkt aus dem Plugin heraus nach toten Links (404, 503 Fehler,….) zu durchsuchen.

6. Seien Sie einzigartig

Wir dachten, dass wir Better Robots.txt einen Hauch von Originalität verleihen könnten, indem wir eine Funktion hinzufügen, die es Ihnen ermöglicht, Ihre WordPress robots.txt mit Ihrer eigenen einzigartigen “Signatur” “anzupassen”. Die meisten großen Unternehmen der Welt haben ihre robots.txt mit Sprichwörtern (https://www.yelp.com/robots.txt), Slogans (https://www.youtube.com/robots.txt) oder sogar Zeichnungen (https://store.nike.com/robots.txt – unten) personalisiert. Und warum nicht auch Sie? Deshalb haben wir auf der Einstellungsseite einen speziellen Bereich eingerichtet, in dem Sie schreiben oder zeichnen können, was Sie wollen(wirklich), ohne die Effizienz Ihrer robots.txt zu beeinträchtigen.

7. Verhindern Sie, dass Roboter nutzlose WooCommerce-Links durchsuchen.

Wir haben eine einzigartige Funktion hinzugefügt, die es ermöglicht, bestimmte Links (“add-to-cart”,”orderby”,”fllter”, cart, account, checkout,….) vom Crawlen durch Suchmaschinen auszuschließen. Die meisten dieser Links erfordern eine hohe CPU-, Speicher- und Bandbreitenauslastung (auf dem Hosting-Server), da sie nicht zwischengespeichert werden können und/oder “unendliche” Crawling-Schleifen erzeugen (obwohl sie nutzlos sind). Die Optimierung Ihrer WordPress robots.txt für WooCommerce bei einem Online-Shop ermöglicht es, mehr Rechenleistung für Seiten bereitzustellen, die wirklich wichtig sind, und Ihre Ladeleistung zu steigern.

8. Vermeiden Sie Crawler-Fallen:

“Crawler-Traps” sind ein strukturelles Problem innerhalb einer Website, das Crawler dazu veranlasst, eine praktisch unendliche Anzahl von irrelevanten URLs zu finden. Theoretisch könnten Crawler in einem Teil einer Website stecken bleiben und diese irrelevanten URLs nie fertig crawlen. Better Robots.txt hilft, Crawler-Traps zu verhindern, die das Crawl-Budget schädigen und doppelte Inhalte verursachen.

9. Tools für Wachstumshacker

Die heute am schnellsten wachsenden Unternehmen wie Amazon, Airbnb und Facebook haben alle das Breakout-Wachstum vorangetrieben, indem sie ihre Teams auf einen Hochgeschwindigkeitstest-/Lernprozess ausgerichtet haben. Wir sprechen von Growth Hacking. Growth Hacking ist ein Prozess des schnellen Experimentierens und Implementierens von Marketing- und Promotion-Strategien, die sich ausschließlich auf ein effizientes und schnelles Geschäftswachstum konzentrieren. Better Robots.txt bietet eine Liste von über 150 Tools, die online verfügbar sind, um Ihr Wachstum zu beschleunigen.

10. Robots.txt Post Meta Box für manuelle Ausschlüsse

Diese Post Meta Box ermöglicht es, “manuell” einzustellen, ob eine Seite in Suchmaschinen sichtbar sein soll (oder nicht), indem eine spezielle “disallow” + “noindex” Regel in Ihre WordPress robots.txt eingefügt wird. Warum ist es ein Gewinn für Ihr Ranking in Suchmaschinen? Ganz einfach, weil einige Seiten nicht zum Crawlen / Indizieren gedacht sind. Dankesseiten, Zielseiten, Seiten mit ausschließlich Formularen sind für Besucher nützlich, aber nicht für Crawler, und Sie brauchen sie nicht, um in Suchmaschinen sichtbar zu sein. Auch einige Seiten mit dynamischen Kalendern (für Online-Buchungen) sollten NIEMALS für Crawler zugänglich sein, da sie dazu neigen, sie in unendliche Crawling-Schleifen einzufangen, was sich direkt auf Ihr Crawl-Budget (und Ihr Ranking) auswirkt.

Mehr wird es wie immer geben….

Das bessere Robots.txt-Plugin ist aktiviert, aber warum kann ich keine Änderungen in der Datei robots.txt sehen?

Better Robots.txt erstellt eine WordPress Virtual Robots.txt Datei. Bitte stellen Sie sicher, dass Ihre Permalinks unter Einstellungen > Permalinks aktiviert sind. Wenn Permalinks funktionieren, dann stellen Sie sicher, dass sich keine physische robots.txt-Datei auf Ihrem Server befindet. Da es nicht über physische Dateien schreiben kann, müssen Sie sich mit FTP verbinden und robots.txt aus Ihrem Domänen-Root-Verzeichnis umbenennen oder löschen. Normalerweise befindet es sich im Ordner /public_html/ auf cPanel-Hostings. Wenn Sie Ihr Domain-Root-Verzeichnis nicht finden können, fragen Sie bitte Ihren Hosting-Provider nach Hilfe. Wenn das Problem nach Durchführung dieser Maßnahmen weiterhin besteht, senden Sie es bitte im Supportbereich oder senden Sie eine Nachricht an [email protected]

Wird es einen Konflikt mit der robots.txt geben, die ich bereits verwende?

Wenn Sie eine physische robots.txt auf Ihrem Webhosting-Server haben, dann funktioniert dieses Plugin nicht. Wie bereits erwähnt, erstellt es eine WordPress Virtual robots.txt Datei. Bitte führen Sie die Schritte in der obigen Antwort aus, wenn Sie die Datei robots.txt mit diesem Plugin verwenden möchten.

Wie kann ich eine Sitemap in meiner WordPress robots.txt hinzufügen?

Diese Funktion ist in der Version Better Robots.txt Pro erlaubt, die automatisch eine Sitemap in der Datei robots.txt hinzufügt. Es erkennt Sitemap von Yoast SEO Plugin. Falls Sie ein anderes Sitemap-Plugin oder eine manuell generierte Sitemap verwenden, können Sie einfach die URL der Sitemap in das Eingabefeld der Sitemap eingeben. Wenn auch Yoast XML-Sitemaps aktiviert sind, müssen Sie sie zuerst deaktivieren, indem Sie einfach auf Yoast General Settings > Features gehen und die XML-Sitemaps-Funktion deaktivieren.

Warum sollte ich die robots.txt optimieren?

Warum nicht? In Anbetracht der Tatsache, dass die robots.txt die allererste Datei ist, die beim Laden Ihrer Website durch einen Browser gelesen wird, warum sollten Sie es nicht Crawlern ermöglichen, Ihre Inhalte kontinuierlich zu indexieren? Die einfache Tatsache, Ihre Sitemap in die Robots.txt einzufügen, ist einfach gesunder Menschenverstand. Warum? Haben Sie Ihre Website in der Google Search Console gelistet, hat Ihr Webmaster es getan? Wie kann man den Crawlern mitteilen, dass Sie neue Inhalte zur Indexierung auf Ihrer Website zur Verfügung haben? Wenn Sie möchten, dass diese Inhalte in Suchmaschinen (Google, Bing,…) gefunden werden, müssen Sie sie indizieren lassen. Genau das ist es, was diese Anleitung (Hinzufügen der Sitemap) bezweckt. Ein letzter Punkt. Der Hauptgrund, warum dieses Plugin existiert, ist die Tatsache, dass 95% der Zeit (basierend auf Tausenden von SEO-Analysen), die robots.txt entweder fehlt, leer oder falsch ist, einfach weil sie entweder missverstanden oder vergessen wird. Stellen Sie sich vor, es wäre aktiviert und voll funktionsfähig.

Wie kann dieses Plugin mein Website-Ranking verbessern?

Tatsächlich wird dieses Plugin die Indexierungskapazität Ihrer Website erhöhen, was dazu führt, Ihr Ranking bei Google zu verbessern. Wie ? Nun, die Idee, dieses Plugin zu erstellen, wurde aufgenommen, nachdem Hunderte von SEO-Optimierungen auf professionellen und korporativen Websites durchgeführt wurden. Wie bereits erwähnt, hatten 95% der analysierten Websites nicht das, was wir eine “optimierte” robots.txt-Datei nennen könnten, und während wir diese Websites optimierten, stellten wir fest, dass eine einfache Änderung des Inhalts dieser Datei tatsächlich eine “Freischaltung” dieser Websites bedeutet (basierend auf täglichen SEMrush-Analysen). Da wir es gewohnt waren, in 2 Schritten (Zeiträumen) zu arbeiten, hatte diese einfache Änderung bereits einen signifikanten Einfluss auf das Google Ranking, und zwar noch bevor wir anfingen, entweder den Inhalt, die Arboreszenz der Website oder META-Daten tief zu verändern. Je mehr Sie Suchmaschinen beim Verständnis Ihrer Website helfen, desto besser helfen Sie Ihrer Kapazität, bessere Ergebnisse auf SERPs zu erzielen.

Wie kann ich meine robots.txt testen und validieren?

Sie können den Inhalt Ihrer robots.txt zwar anzeigen, indem Sie zur URL robots.txt navigieren, aber der beste Weg, sie zu testen und zu validieren, ist über die Option robots.txt Tester der Google Search Console.

Melden Sie sich bei Ihrem Google Search Console-Konto an. Klicken Sie auf robots.txt Tester, zu finden unter Crawl Optionen. Klicken Sie auf die Schaltfläche Test.

Wenn alles in Ordnung ist, wird die Test-Taste grün und das Label wechselt auf ALLOWED. Wenn es ein Problem gibt, wird die Zeile, die eine Sperrung verursacht, hervorgehoben.

Was ist eine virtuelle robots.txt-Datei?

WordPress verwendet standardmäßig eine virtuelle robots.txt-Datei. Das bedeutet, dass Sie die Datei nicht direkt bearbeiten oder im Stammverzeichnis Ihres Verzeichnisses finden können.

Der einzige Weg, den Inhalt der Datei anzuzeigen, ist die Eingabe von https://www.yourdomain.com/robots.txt in Ihrem Browser.

Die Standardwerte von WordPress robots.txt sind:

Benutzer-Agent: *

Verbieten: /wp-admin/

Erlauben: /wp-admin/admin-ajax.php

Wenn Sie die Option “Suchmaschinen davon abhalten, diese Website zu indizieren” unter Search Engine Visibility Settings aktivieren, wird die robots.txt zu robots.txt:

Benutzer-Agent: *

Verbieten: /

Was im Grunde genommen alle Crawler vom Zugriff auf die Website abhält.

Warum ist Robots.txt wichtig?

Es gibt 3 Hauptgründe, warum Sie eine robots.txt-Datei verwenden sollten.

Blockieren Sie nicht-öffentliche Seiten: Manchmal haben Sie Seiten auf Ihrer Website, die Sie nicht indiziert haben möchten. Beispielsweise können Sie eine Staging-Version einer Seite haben. Oder eine Login-Seite. Diese Seiten müssen existieren. Aber Sie wollen nicht, dass zufällige Leute auf ihnen landen. Dies ist ein Fall, in dem Sie mit robots.txt diese Seiten von Suchmaschinen-Crawlern und Bots blockieren würden.

Maximieren Sie das Crawl-Budget: Wenn Sie es schwer haben, alle Ihre Seiten zu indizieren, haben Sie vielleicht ein Crawl-Budgetproblem. Durch das Blockieren unwichtiger Seiten mit robots.txt kann Googlebot mehr von Ihrem Crawl-Budget für die Seiten ausgeben, die tatsächlich wichtig sind.

Verhindern Sie die Indexierung von Ressourcen: Die Verwendung von Meta-Direktiven kann genauso gut funktionieren wie Robots.txt, um zu verhindern, dass Seiten indiziert werden. Meta-Direktiven funktionieren jedoch nicht gut für Multimedia-Ressourcen wie PDFs und Bilder. An dieser Stelle kommt robots.txt ins Spiel.

Sie können überprüfen, wie viele Seiten Sie in der Google Search Console indiziert haben.

Wenn die Nummer mit der Anzahl der Seiten übereinstimmt, die indiziert werden sollen, brauchen Sie sich nicht um eine Robots.txt-Datei zu kümmern.

Aber wenn diese Anzahl höher ist als erwartet (und Sie bemerken indizierte URLs, die nicht indiziert werden sollten), dann ist es an der Zeit, eine robots.txt-Datei für Ihre Website zu erstellen.

Robots.txt vs. Meta-Direktiven

Warum sollten Sie robots.txt verwenden, wenn Sie Seiten auf Seitenebene mit dem Meta-Tag “noindex” blockieren können?

Wie bereits erwähnt, ist das noindex-Tag schwierig zu implementieren auf Multimedia-Ressourcen wie Videos und PDFs.

Wenn Sie Tausende von Seiten haben, die Sie blockieren möchten, ist es manchmal einfacher, den gesamten Abschnitt dieser Website mit robots.txt zu blockieren, anstatt jeder einzelnen Seite manuell ein Noindex-Tag hinzuzufügen.

Es gibt auch Randfälle, in denen Sie kein Crawlbudget bei der Google-Landung auf Seiten mit dem noindex-Tag verschwenden wollen.

Wichtige Dinge über robots.txt

• Robots.txt muss sich im Hauptordner befinden, d.h. domain.com/robots.txt.
• Jede Subdomain benötigt ihre eigene robots.txt (sub1.domain.com, sub2.domain.com, sub2.domain.com, ….), während Multisites nur EINE robots.txt (domain.com/multi1, domain.com/multi2, ….) benötigen.
• Einige Crawler können robots.txt ignorieren.
• Bei URLs und der Datei robots.txt wird zwischen Groß- und Kleinschreibung unterschieden.
• Crawl-Delay wird von Google nicht anerkannt (da es über ein eigenes Crawl-Budget verfügt), aber Sie können die Crawl-Einstellungen in der Google Search Console verwalten.
• Validieren Sie Ihre robots.txt-Datei in Google Search Console und Bing Webmaster Tools.
• Blockieren Sie das Crawlen nicht, um doppelte Inhalte zu vermeiden. Verbieten Sie nicht Seiten, die umgeleitet werden. Crawler können dem Redirect nicht folgen.
• Die maximale Größe für eine robots.txt-Datei beträgt 500 KB.