raatools/

Robots.txt Generator

Bouw een robots.txt-bestand met een visuele editor.

Allow
Disallow
robots.txt 
# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Wat is een robots.txt-generator?

Een robots.txt-generator maakt het configuratiebestand dat zoekmachinerobots vertelt welke delen van uw website ze mogen crawlen en welke niet. Het bestand staat in de root van uw domein.

Robots.txt is een vrijwillige standaard (Robots Exclusion Protocol, 1994). Goed gedragende bots respecteren het, maar kwaadwillende bots negeren het. Het is geen beveiliging — gebruik het alleen voor crawlbeheer.

Syntax

  • User-agent: * — geldt voor alle bots. User-agent: Googlebot — alleen Google.
  • Disallow: /admin/ — blokkeer de admin-map. Disallow: / — blokkeer alles.
  • Allow: /admin/public/ — sta een sub-pad toe binnen een geblokkeerd pad.
  • Sitemap: https://example.com/sitemap.xml — verwijs naar uw sitemap.

Hoe gebruikt u deze tool?

Selecteer welke bots u wilt configureren (Googlebot, Bingbot, alle). Kies welke paden u wilt blokkeren of toestaan. De tool genereert de robots.txt-inhoud die u in uw root-directory plaatst.

Veelgebruikte regels

Blokkeer privé-mappen (admin, login, api). Sta toe: alle openbare pagina's. Verwijs naar de sitemap. Blokkeer zoekresultatenpagina's (duplicate content). Blokkeer afbeeldingen alleen als u ze niet in Google Afbeeldingen wilt.

Veelgestelde vragen

Beschermt robots.txt mijn privé-pagina's?

Nee. Robots.txt is een verzoek, geen beveiliging. Geblokkeerde URL's zijn nog steeds toegankelijk als iemand het directe adres kent. Gebruik authenticatie voor echte bescherming. Google kan zelfs geblokkeerde URL's in zoekresultaten tonen (zonder inhoud) als er elders links naartoe wijzen.

Moet ik AI-crawlers blokkeren?

Het hangt af van uw doel. GPTBot (OpenAI), ClaudeBot (Anthropic), en Google-Extended (Gemini) respecteren robots.txt. Blokkeren voorkomt dat uw content wordt gebruikt voor AI-training. Sommige uitgevers blokkeren ze; anderen niet. Het is een afweging tussen bereik en controle.