Генератор Robots.txt

# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Що таке robots.txt?

Robots.txt — це текстовий файл, розміщений у корені вебсайту (example.com/robots.txt), який повідомляє пошуковим павукам, які сторінки або розділи їм дозволено або не дозволено сканувати. Він є частиною Robots Exclusion Protocol — добровільного стандарту, якого дотримуються сумлінні павуки (як-от Googlebot та Bingbot) для поваги до налаштувань власників сайтів.

Файл robots.txt складається з правил, що вказують User-agent (до якого павука застосовується правило) та директиви Disallow або Allow (які шляхи блокувати або дозволяти). Ви також можете вказати місце розташування XML-карти сайту. Хоча robots.txt не може перешкодити рішучим скрейперам отримати доступ до вашого контенту, всі основні пошукові системи його дотримуються.

Синтаксис robots.txt

• User-agent: * — застосовується до всіх павуків. Використовуйте конкретні імена, як-от Googlebot, для цільових правил.
• Disallow: /admin/ — блокує сканування каталогу /admin/ та всього, що в ньому.
• Allow: /admin/public/ — скасовує ширшу директиву Disallow для дозволу конкретних шляхів.
• Sitemap: https://example.com/sitemap.xml — повідомляє павукам, де знайти карту вашого сайту.

Як користуватися цим інструментом

Виберіть бажані налаштування — яких павуків цілити, які каталоги блокувати та чи включати посилання на карту сайту. Інструмент генерує дійсний файл robots.txt, який можна завантажити або скопіювати. Він також перевіряє наявні файли robots.txt на синтаксичні помилки та суперечливі правила.

Типові випадки використання

Блокуйте адмін-панелі та сторінки входу від індексування. Запобігайте сканування дублікатів або тонкого контенту. Блокуйте конкретних ботів (наприклад, навчальних AI). Запобігайте індексуванню тестових або розробницьких сайтів. Приховуйте приватні каталоги, що не повинні з'являтися у результатах пошуку. Обмежуйте швидкість агресивних павуків директивами Crawl-delay.

Приклад із практики

Припустімо, ви хочете, щоб Google індексував усе, крім тестової теки та внутрішніх результатів пошуку. Додайте одну групу з User-agent: *, рядок Allow: / та два рядки Disallow для /staging/ і /search. Додайте Sitemap: https://example.com/sitemap.xml. Згенерований файл повідомляє кожному сканеру, що він може обходити весь сайт, окрім цих двох префіксів шляху, і скеровує його до вашої карти сайту для ефективного виявлення.

Поширені помилки

Поширена помилка — використовувати robots.txt, щоб приховати конфіденційні сторінки. Disallow лише зупиняє сканування, а не індексацію — заблокована URL-адреса все одно може з'явитися в результатах, якщо на неї посилаються інші сайти, тож натомість використовуйте метатег noindex або автентифікацію. Інша пастка — блокувати /css/ чи /js/; Google потребує цих ресурсів, щоб відображати й оцінювати ваші сторінки. Крім того, збіг чутливий до регістру, тож Disallow: /Admin не заблокує /admin.

Часті запитання

Чи захищає robots.txt приватний контент?

Ні. Robots.txt — рекомендація, а не захід безпеки. Будь-яка людина або бот може прочитати ваш robots.txt і навмисно ігнорувати його. Насправді шкідливі боти часто перевіряють robots.txt, щоб знайти цікаві каталоги для цілеспрямованого сканування. Для справді приватного контенту використовуйте автентифікацію (паролі), серверні засоби контролю доступу або мета-тег noindex.

Що відбувається, якщо у мене немає файлу robots.txt?

Без файлу robots.txt павуки припускають, що їм дозволено отримати доступ до всього на вашому сайті. Для більшості сайтів це нормально. Якщо павук запитує robots.txt і отримує 404 (не знайдено), він розглядає це як дозвіл сканувати все. Створюйте robots.txt лише тоді, коли потрібно обмежити сканування конкретних розділів.

Чи гарантує robots.txt, що сторінка не потрапить у Google?

Ні. Він лише просить сумлінних сканерів пропустити завантаження URL-адреси. Щоб надійно тримати сторінку поза результатами пошуку, дозвольте сканування й додайте директиву noindex або захистіть її за входом. Зловмисні боти повністю ігнорують robots.txt.