Robots.txt Generator

# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Was ist ein robots.txt-Generator?

Ein robots.txt-Generator erstellt die robots.txt-Datei fuer Ihre Website. Diese Datei im Stammverzeichnis weist Suchmaschinen-Crawler an, welche Seiten sie crawlen duerfen und welche nicht.

robots.txt ist ein Standard (Robots Exclusion Protocol) seit 1994. Alle grossen Suchmaschinen (Google, Bing, Yandex) respektieren die Anweisungen. Es ist eine Empfehlung, keine technische Blockade — boesartige Bots ignorieren sie.

robots.txt-Syntax

• User-agent: * — gilt fuer alle Crawler. User-agent: Googlebot — gilt nur fuer Google.
• Disallow: /pfad/ — sperrt einen Pfad. Disallow: / — sperrt alles. Leeres Disallow: erlaubt alles.
• Allow: /pfad/ — erlaubt explizit einen Pfad, auch wenn ein uebergeordneter Pfad gesperrt ist.
• Sitemap: URL — verweist auf die XML-Sitemap. Kann mehrere Sitemaps angeben.

So verwenden Sie dieses Tool

Waehlen Sie die zu sperrenden Pfade und Crawler. Das Tool generiert eine korrekt formatierte robots.txt-Datei mit Best-Practice-Einstellungen. Kopieren Sie den Inhalt in eine Datei namens robots.txt im Stammverzeichnis Ihrer Website.

Gaengige Konfigurationen

Admin-Bereich sperren: Disallow: /admin/. API-Endpunkte: Disallow: /api/. Suchseiten: Disallow: /search?. Druckversionen: Disallow: /*?print=. Wichtig: Sperren Sie keine CSS/JS-Dateien — Google braucht sie zum Rendering.

Beispiel aus der Praxis

Angenommen, Google soll alles außer deinem Staging-Ordner und den internen Suchergebnissen indexieren. Füge eine Gruppe mit User-agent: *, eine Zeile Allow: / und zwei Disallow-Zeilen für /staging/ und /search hinzu. Ergänze Sitemap: https://example.com/sitemap.xml. Die erzeugte Datei teilt jedem Crawler mit, dass er die gesamte Website außer diesen beiden Pfadpräfixen abrufen darf, und verweist ihn zur effizienten Erfassung auf deine Sitemap.

Häufige Fehler

Ein häufiger Fehler ist, robots.txt zum Verbergen sensibler Seiten zu nutzen. Disallow verhindert nur das Crawlen, nicht die Indexierung — eine gesperrte URL kann trotzdem in den Ergebnissen erscheinen, wenn andere Seiten darauf verlinken. Nutze stattdessen ein noindex-Meta-Tag oder eine Authentifizierung. Eine weitere Falle ist das Sperren von /css/ oder /js/; Google benötigt diese Ressourcen, um deine Seiten zu rendern und zu bewerten. Zudem ist der Abgleich case-sensitiv, daher blockiert Disallow: /Admin nicht /admin.

Haeufig gestellte Fragen

Schuetzt robots.txt vor Indexierung?

Nein. robots.txt verhindert nur das Crawlen, nicht die Indexierung. Google kann URLs trotzdem indexieren, wenn andere Seiten darauf verlinken. Fuer echte Nicht-Indexierung verwenden Sie das noindex-Meta-Tag oder den X-Robots-Tag-Header.

Wo muss die robots.txt-Datei liegen?

Immer im Stammverzeichnis der Domain: https://example.com/robots.txt. Sie gilt nur fuer diese Domain. Subdomains (blog.example.com) benoetigen eine eigene robots.txt. Der Dateipfad ist case-sensitive.

Garantiert robots.txt, dass eine Seite nicht bei Google erscheint?

Nein. Sie fordert konforme Crawler nur auf, das Abrufen der URL zu überspringen. Um eine Seite zuverlässig aus den Suchergebnissen herauszuhalten, erlaube das Crawlen und füge eine noindex-Direktive hinzu oder schütze sie hinter einem Login. Bösartige Bots ignorieren robots.txt vollständig.