Generator Robots.txt

# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Ce este robots.txt?

Robots.txt este un fișier text plasat la rădăcina unui site web (example.com/robots.txt) care le spune roboților motoarelor de căutare ce pagini sau secțiuni au sau nu voie să parcurgă. Face parte din Protocolul de Excludere a Roboților, un standard voluntar pe care roboții bine-crescuți (precum Googlebot și Bingbot) îl urmează pentru a respecta preferințele proprietarilor de site-uri.

Un fișier robots.txt constă din reguli care specifică User-agent (cărui robot i se aplică regula) și directive Disallow sau Allow (ce căi să blocheze sau să permită). Puteți specifica și locația sitemap-ului XML. Deși robots.txt nu poate împiedica scraperii determinați să acceseze conținutul dvs., toate marile motoare de căutare îl respectă.

Sintaxa robots.txt

• User-agent: * — se aplică tuturor roboților. Folosiți nume specifice precum Googlebot pentru reguli direcționate.
• Disallow: /admin/ — blochează parcurgerea directorului /admin/ și a tot ce conține.
• Allow: /admin/public/ — suprascrie un Disallow mai larg pentru a permite căi specifice.
• Sitemap: https://example.com/sitemap.xml — le spune roboților unde să găsească sitemap-ul.

Cum se folosește acest instrument

Selectați setările dorite — ce roboți să vizați, ce directoare să blocați și dacă să includeți o referință la sitemap. Instrumentul generează un fișier robots.txt valid pe care îl puteți descărca sau copia. Validează și fișierele robots.txt existente pentru erori de sintaxă și reguli conflictuale.

Cazuri de utilizare frecvente

Blocați panourile de administrare și paginile de autentificare de la indexare. Preveniți parcurgerea conținutului duplicat sau a paginilor subțiri. Blocați roboți specifici (precum roboții de antrenament AI). Preveniți indexarea site-urilor de testare sau dezvoltare. Ascundeți directoarele private care nu ar trebui să apară în rezultatele de căutare. Limitați rata roboților agresivi cu directive Crawl-delay.

Întrebări frecvente

Protejează robots.txt conținutul privat?

Nu. Robots.txt este o sugestie, nu o măsură de securitate. Orice persoană sau robot poate citi fișierul robots.txt și îl poate ignora deliberat. De fapt, roboții malițioși verifică adesea robots.txt pentru a găsi directoare interesante de vizat. Pentru conținut cu adevărat privat, folosiți autentificarea (parole), controale de acces de pe server sau meta tagul noindex.

Ce se întâmplă dacă nu am un fișier robots.txt?

Fără un fișier robots.txt, roboții presupun că au voie să acceseze tot pe site-ul dvs. Aceasta este în regulă pentru majoritatea site-urilor. Dacă un robot solicită robots.txt și primește un 404 (negăsit), tratează aceasta ca permisiune de a parcurge tot. Creați un robots.txt doar dacă trebuie să restricționați parcurgerea unor secțiuni specifice.