Für Google ist die robots.txt eine URL wie andere auch. Sie kann genauso indexiert werden. Für das Crawlen gibt es aber eine Sonderstellung.

Lese weiter auf: Google: robots.txt kann indexiert werden wie andere URLs einer Website
Quelle: SEO united | News

Kommentare und Fragen
Möchtest Du zu diesem Artikel ein Kommentar abgeben oder hast dazu eine Frage, dann mach dies bitte immer auf der Herausgeberseite!
Aktuelles von SEO united | News

Diese Information erscheint unabhängig vom Artikel!

PageImporter
Glaubst Du, dass Deine Freunde diese Information noch nicht kennen? Teile es mit ihnen.