Robots.txt Generator

# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Što je robots.txt?

Robots.txt je tekstualna datoteka smještena u korijen web stranice (example.com/robots.txt) koja govori crawlerima tražilica koje stranice ili odjeljke smiju ili ne smiju pretraživati. Dio je Robots Exclusion Protocola, dobrovoljnog standarda koji dobro ponašajuće crawlere (poput Googlebota i Bingbota) prate kako bi poštivali preferencije vlasnika web stranica za pretraživanjem.

Datoteka robots.txt sastoji se od pravila koja specificiraju User-agent (na koji crawler se pravilo odnosi) i direktivama Disallow ili Allow (koje putanje blokirati ili dopustiti). Možete i specificirati lokaciju vašeg XML sitemapa. Dok robots.txt ne može spriječiti odlučne scarapere od pristupa vašem sadržaju, sve glavne tražilice ga poštuju.

Sintaksa robots.txt

• User-agent: * — odnosi se na sve crawlere. Koristite specifična imena poput Googlebot za ciljana pravila.
• Disallow: /admin/ — blokira pretraživanje direktorija /admin/ i svega u njemu.
• Allow: /admin/public/ — nadjačava širi Disallow za dopuštanje specifičnih putanja.
• Sitemap: https://example.com/sitemap.xml — govori crawlerima gdje pronaći vaš sitemap.

Kako koristiti ovaj alat

Odaberite željene postavke — koje crawlere ciljati, koje direktorije blokirati i uključiti li referencu na sitemap. Alat generira valjanu datoteku robots.txt koju možete preuzeti ili kopirati. Također validira postojeće robots.txt datoteke za sintaktičke greške i sukobljene odredbe.

Uobičajeni slučajevi korištenja

Blokiranje admin panela i stranica za prijavu od indeksiranja. Sprječavanje pretraživanja dupliciranog sadržaja ili tankih stranica. Blokiranje specifičnih botova (poput botova za trening AI modela). Sprječavanje indeksiranja probnih ili razvojnih stranica. Skrivanje privatnih direktorija koji ne bi trebali biti vidljivi u rezultatima pretraživanja. Ograničavanje agresivnih crawlera direktivama Crawl-delay.

Često postavljana pitanja

Štiti li robots.txt privatni sadržaj?

Ne. Robots.txt je prijedlog, a ne sigurnosna mjera. Svaka osoba ili bot može pročitati vašu datoteku robots.txt i namjerno je ignorirati. Zapravo, maliciozni botovi često provjeravaju robots.txt kako bi pronašli zanimljive direktorije za napad. Za zaista privatni sadržaj, koristite autentifikaciju (lozinke), kontrolu pristupa na strani poslužitelja ili meta tag noindex.

Što se dogodi ako nemam datoteku robots.txt?

Bez datoteke robots.txt, crawleri pretpostavljaju da im je dozvoljeno pristupiti svemu na vašoj stranici. Ovo je u redu za većinu stranica. Ako crawler zatraži robots.txt i dobije 404 (nije pronađeno), to tretira kao dozvolu za pretraživanje svega. Stvorite robots.txt samo ako trebate ograničiti pretraživanje specifičnih odjeljaka.