raatools/

Robots.txt-generaattori

Rakenna robots.txt-tiedosto visuaalisella editorilla.

Allow
Disallow
robots.txt 
# robots.txt generated by raatools.net

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml

Mika on robots.txt?

Robots.txt on tekstitiedosto verkkosivuston juuressa (example.com/robots.txt), joka kertoo hakukoneiden hakuroboteille, mitae sivuston osia ne saavat indeksoida ja mitae ei. Se on osa Robots Exclusion Protocol -standardia.

Robots.txt-tiedosto koostuu saannoistae, jotka maarittavat User-agentin (mihin hakurobottiin saanto soveltuu) ja Disallow- tai Allow-ohjeet (mitae polkuja estaa tai sallia). Se on ensimmainen asia, jonka hakurobotit tarkistavat.

Robots.txt-syntaksi

  • User-agent: * — koskee kaikkia hakurobotteja. Kayta tarkempia nimia kuten Googlebot kohdennettuja saantoja varten.
  • Disallow: /admin/ — estaa /admin/-hakemiston ja kaiken sen sisallon indeksoinnin.
  • Allow: /admin/public/ — ohittaa laajemman Disallow-saannon salliakseen tiettyjae polkuja.
  • Sitemap: https://example.com/sitemap.xml — kertoo hakuroboteille sivukartan sijainnin.

Tyokalun kayttohje

Valitse haluamasi asetukset — mitae hakurobotteja haluat kohdentaa, mitae hakemistoja estaa ja haluatko sisallyttaa sivukarttaviitteen. Tyokalu generoi oikein muotoillun robots.txt-tiedoston kopioitavaksi.

Yleiset kayttotapaukset

Esta yllapitopaneelit ja kirjautumissivut indeksoinnista. Esta paaallekkaeisen tai ohuen sisallon indeksointi. Esta tietyt hakurobotit (esim. AI-harjoitusrobotit). Ohjaa hakurobotit sivukarttaasi.

Usein kysytyt kysymykset

Suojaako robots.txt yksityista sisaltoa?

Ei. Robots.txt on suositus, ei turvallisuustoimenpide. Kuka tahansa tai mika tahansa robotti voi lukea robots.txt-tiedostosi ja tahallaan jattaa sen huomiotta. Kayta todellista todentamista ja valtuutusta yksityisen sisallon suojaamiseen.

Mita tapahtuu, jos minulla ei ole robots.txt-tiedostoa?

Ilman robots.txt-tiedostoa hakurobotit olettavat, etta ne saavat kayttaa kaikkea sivustollasi. Tama on fine useimmille sivustoille, mutta voi johtaa ei-toivottujen sivujen (yllapito, hakutulossivut, kopiot) indeksointiin.