Генератор Robots.txt

# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Що таке robots.txt?

Robots.txt — це текстовий файл, розміщений у корені вебсайту (example.com/robots.txt), який повідомляє пошуковим павукам, які сторінки або розділи їм дозволено або не дозволено сканувати. Він є частиною Robots Exclusion Protocol — добровільного стандарту, якого дотримуються сумлінні павуки (як-от Googlebot та Bingbot) для поваги до налаштувань власників сайтів.

Файл robots.txt складається з правил, що вказують User-agent (до якого павука застосовується правило) та директиви Disallow або Allow (які шляхи блокувати або дозволяти). Ви також можете вказати місце розташування XML-карти сайту. Хоча robots.txt не може перешкодити рішучим скрейперам отримати доступ до вашого контенту, всі основні пошукові системи його дотримуються.

Синтаксис robots.txt

• User-agent: * — застосовується до всіх павуків. Використовуйте конкретні імена, як-от Googlebot, для цільових правил.
• Disallow: /admin/ — блокує сканування каталогу /admin/ та всього, що в ньому.
• Allow: /admin/public/ — скасовує ширшу директиву Disallow для дозволу конкретних шляхів.
• Sitemap: https://example.com/sitemap.xml — повідомляє павукам, де знайти карту вашого сайту.

Як користуватися цим інструментом

Виберіть бажані налаштування — яких павуків цілити, які каталоги блокувати та чи включати посилання на карту сайту. Інструмент генерує дійсний файл robots.txt, який можна завантажити або скопіювати. Він також перевіряє наявні файли robots.txt на синтаксичні помилки та суперечливі правила.

Типові випадки використання

Блокуйте адмін-панелі та сторінки входу від індексування. Запобігайте сканування дублікатів або тонкого контенту. Блокуйте конкретних ботів (наприклад, навчальних AI). Запобігайте індексуванню тестових або розробницьких сайтів. Приховуйте приватні каталоги, що не повинні з'являтися у результатах пошуку. Обмежуйте швидкість агресивних павуків директивами Crawl-delay.

Часті запитання

Чи захищає robots.txt приватний контент?

Ні. Robots.txt — рекомендація, а не захід безпеки. Будь-яка людина або бот може прочитати ваш robots.txt і навмисно ігнорувати його. Насправді шкідливі боти часто перевіряють robots.txt, щоб знайти цікаві каталоги для цілеспрямованого сканування. Для справді приватного контенту використовуйте автентифікацію (паролі), серверні засоби контролю доступу або мета-тег noindex.

Що відбувається, якщо у мене немає файлу robots.txt?

Без файлу robots.txt павуки припускають, що їм дозволено отримати доступ до всього на вашому сайті. Для більшості сайтів це нормально. Якщо павук запитує robots.txt і отримує 404 (не знайдено), він розглядає це як дозвіл сканувати все. Створюйте robots.txt лише тоді, коли потрібно обмежити сканування конкретних розділів.