Robots.txt Generátor

# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Mi a robots.txt?

A robots.txt egy szöveges fájl, amelyet a weboldal gyökérmappájában kell elhelyezni (example.com/robots.txt), és megmondja a keresőmotorok robotjainak, hogy melyik oldalakat vagy szekciókat feltérképezhetik, és melyeket nem. A Robots Exclusion Protocol részét képezi, egy önkéntes szabvány, amelyet a jól viselkedő robotok (mint a Googlebot és a Bingbot) betartanak a webhelytulajdonosok feltérképezési preferenciáinak tiszteletben tartása érdekében.

A robots.txt fájl User-agent (melyik robotra vonatkozik a szabály) és Disallow vagy Allow direktívákat (melyik útvonalakat kell tiltani vagy engedélyezni) tartalmazó szabályokból áll. Megadhatja az XML-oldaltérkép helyét is. Bár a robots.txt nem képes megakadályozni az elszánt scrapereket a tartalom elérésétől, az összes fő keresőmotor betartja.

A robots.txt szintaxisa

• User-agent: * – az összes robotra vonatkozik. A célzott szabályokhoz használjon konkrét neveket, mint a Googlebot.
• Disallow: /admin/ – tiltja a /admin/ könyvtár és minden benne lévő feltérképezését.
• Allow: /admin/public/ – felülírja a szélesebb körű Disallow-t, hogy engedélyezze a konkrét útvonalakat.
• Sitemap: https://example.com/sitemap.xml – megmondja a robotoknak, hol találják az oldaltérképet.

Az eszköz használata

Válassza ki a kívánt beállításokat – melyik robotokat célozza, melyik könyvtárakat tiltsa, és szerepeljen-e oldaltérkép-hivatkozás. Az eszköz érvényes robots.txt fájlt generál, amelyet letölthet vagy másolhat. Érvényesíti a meglévő robots.txt fájlokat is szintaxis-hibákra és ellentmondásos szabályokra.

Általános felhasználási esetek

Adminisztrátori panelek és bejelentkezési oldalak indexelésének tiltása. Másolt tartalom vagy vékony oldalak feltérképezésének megakadályozása. Egyes robotok tiltása (pl. AI-képzési robotok). Tesztelési vagy fejlesztési webhelyek indexelésének megakadályozása. Nem indexelendő privát könyvtárak elrejtése. Agresszív robotok sebességének korlátozása Crawl-delay direktívákkal.

Gyakran ismételt kérdések

Védi-e a robots.txt a privát tartalmat?

Nem. A robots.txt javaslat, nem biztonsági intézkedés. Bármely személy vagy robot elolvashatja a robots.txt fájlt, és szándékosan figyelmen kívül hagyhatja. Valójában a kártékony robotok gyakran ellenőrzik a robots.txt-t, hogy érdekes könyvtárakat találjanak. Valóban privát tartalomhoz használjon hitelesítést (jelszavak), szerveroldali hozzáférés-vezérlőket vagy a noindex meta taget.

Mi történik, ha nincs robots.txt fájlom?

Robots.txt fájl nélkül a robotok feltételezik, hogy mindenhez hozzáférhetnek a webhelyen. A legtöbb webhelynél ez rendben van. Ha egy robot kéri a robots.txt fájlt és 404-et kap (nem találva), ezt mindent feltérképezhetőnek kezeli. Csak akkor hozzon létre robots.txt-t, ha egyes szekciókat korlátoznia kell.