raatools/

Robots.txt Generator

Erstellen Sie eine robots.txt-Datei mit einem visuellen Editor.

Allow
Disallow
robots.txt 
# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Was ist ein robots.txt-Generator?

Ein robots.txt-Generator erstellt die robots.txt-Datei fuer Ihre Website. Diese Datei im Stammverzeichnis weist Suchmaschinen-Crawler an, welche Seiten sie crawlen duerfen und welche nicht.

robots.txt ist ein Standard (Robots Exclusion Protocol) seit 1994. Alle grossen Suchmaschinen (Google, Bing, Yandex) respektieren die Anweisungen. Es ist eine Empfehlung, keine technische Blockade — boesartige Bots ignorieren sie.

robots.txt-Syntax

  • User-agent: * — gilt fuer alle Crawler. User-agent: Googlebot — gilt nur fuer Google.
  • Disallow: /pfad/ — sperrt einen Pfad. Disallow: / — sperrt alles. Leeres Disallow: erlaubt alles.
  • Allow: /pfad/ — erlaubt explizit einen Pfad, auch wenn ein uebergeordneter Pfad gesperrt ist.
  • Sitemap: URL — verweist auf die XML-Sitemap. Kann mehrere Sitemaps angeben.

So verwenden Sie dieses Tool

Waehlen Sie die zu sperrenden Pfade und Crawler. Das Tool generiert eine korrekt formatierte robots.txt-Datei mit Best-Practice-Einstellungen. Kopieren Sie den Inhalt in eine Datei namens robots.txt im Stammverzeichnis Ihrer Website.

Gaengige Konfigurationen

Admin-Bereich sperren: Disallow: /admin/. API-Endpunkte: Disallow: /api/. Suchseiten: Disallow: /search?. Druckversionen: Disallow: /*?print=. Wichtig: Sperren Sie keine CSS/JS-Dateien — Google braucht sie zum Rendering.

Haeufig gestellte Fragen

Schuetzt robots.txt vor Indexierung?

Nein. robots.txt verhindert nur das Crawlen, nicht die Indexierung. Google kann URLs trotzdem indexieren, wenn andere Seiten darauf verlinken. Fuer echte Nicht-Indexierung verwenden Sie das noindex-Meta-Tag oder den X-Robots-Tag-Header.

Wo muss die robots.txt-Datei liegen?

Immer im Stammverzeichnis der Domain: https://example.com/robots.txt. Sie gilt nur fuer diese Domain. Subdomains (blog.example.com) benoetigen eine eigene robots.txt. Der Dateipfad ist case-sensitive.