A Robots.txt jelentése, jellemzése és értelmezése az online marketing szakszótárban.

Lássuk, hogy mit jelentenek a különböző utasítások.

User-agent

Minden felhasználónak és az internetet böngésző programnak (köztük a robotoknak is) van egy user agentje. Ez magyarul „felhasználói ügynököt” jelenthetne, de maradjunk inkább az eredeti megnevezésnél.

Az emberi felhasználók esetében a user agent olyan információkat tartalmaz, mint az operációs rendszer verziója, illetve a böngészőprogram típusa. A webhelyek ellenőrzik ezeket a user agent információkat, hogy olyan tartalmakat jeleníthessenek meg a látogatóknak, amik kompatibilisek rendszerükkel és böngészőjükkel.

A robotok esetében a user agent azt segít nyomon követni a webmestereknek, hogy milyen robotok látogatják és térképezik fel a webhelyüket.

A robots.txt fájl lehetővé teszi a webmesterek számára, hogy a különböző user agenteknek eltérő utasításokat írjanak elő. Így akár más és más instrukciókat is kiszabhatnak az eltérő robotoknak. Például megengedheted, hogy a Google robotja (user-agent: Googlebot) feltérképezze webhelyedet, de kitilthatod a Bing keresőmotor (user-agent: Bingbot) robotját.

A fenti példában látható, hogy a User-agent: után csupán egy csillag (*) látható. A robots.txt-ben a csillag karakter azt jelenti, hogy az utasítás mindenre vonatkozik – ez esetben azt jelenti, hogy minden user-agentnek figyelembe kell vennie a fájlban található utasításokat.

Disallow

A disallow parancs a leggyakoribb kizárási protokoll a robots.txt fájlokban. A disallow parancs megtiltja a robotoknak, hogy elérjék, és feltérképezzék egy webhely bizonyos oldalát, vagy oldalait. Ezek az oldalak nem feltétlenül titkosak, de általában nem tartalmaznak semmilyen hasznos információt a Google vagy Bing kereső felhasználói számára, ezért felesleges őket felvenni az indexbe. Az oldalak tehát általában elérhetők a megfelelő URL címen keresztül, de a keresési találatok között nem fognak megjelenni.

A disallow paranccsal a robotok kizárhatók például egyetlen oldalról. Ilyenkor az oldal teljes URL címét kell megadni:

Ha egy alkönyvtárból szeretnéd kitiltani a robotokat, akkor csak az alkönyvtár nevét kell megadnod, a domain név nélkül:

A disallow paranccsal azt is meg lehet adni a robotoknak, hogy a webhely összes oldalát elérhetik. Ilyenkor csupán bele kell írni egy sorba, hogy „Disallow:”.

Ha az egész webhelyről ki szeretnéd tiltani a robotokat, akkor a Disallow parancs után egy szóközre és egy / karakterre is szükséged lesz.

Allow

Az allow paranccsal engedélyt adhatsz a robotoknak, hogy elérjenek egy bizonyos oldalt, vagy alkönyvtárt.

Ha például a disallow paranccsal kizárod a robotokat egy egész alkönyvtárból, de szeretnéd, ha egy oldalt meglátogathatnának a könyvtárban, akkor az alkönyvtárra beállított disallow parancson kívül az allow paranccsal engedélyezheted egy-egy adott oldal feltérképezését és indexelését. Persze ez a két parancs ellent mond egymásnak, de a robotok mindig a részletesebb parancsot veszik figyelembe, ami ebben az esetben az allow, hiszen egy egész URL-t adsz meg.

Ezt a parancsot nem minden robot ismeri fel, függetlenül attól, hogy jó vagy rosszindulatú programozásúak.

Crawl-delay

Ez a parancs segít megakadályozni, hogy egy keresőmotor robotja túlterhelje a webhely szerverét. A crawl-delay paranccsal a webmester milliszekundumokban adhatja meg, hogy egy robot mennyi időt várjon két lekérdezés között.

Ezt a parancsot nem minden robot ismeri fel (pl. a Google sem), függetlenül attól, hogy jó vagy rosszindulatú programozásúak. Ha a Google-nak szeretnéd megszabni ezt a késleltetést, akkor azt a Google Search Console felületén teheted meg.

Sitemap

A sitemap, azaz a webhelytérkép egy XML kiterjesztésű fájl, ami a webhelyeden található legfontosabb oldalak URL címét tartalmazza. Ez a fájl szintén a webhelyet tároló szerveren helyezkedik el.

A sitemap protokoll lényegében a webhelytérkép fájl elérési útját mutatja meg a robotok számára, felhívva ezzel a figyelmüket azokra az oldalakra, amiket szeretnél, hogy feltérképezzenek.

Fontos észben tartani, hogy ha a sitemap protokollal rámutatsz a webhelytérképre, ezzel nem tudod arra erőltetni a robotokat, hogy feltérképezzék az összes oldalt, amit a webhelytérkép tartalmaz. A robotok ugyan úgy a megszokott feltérképezési rutinjukat végzik majd, és nem bánnak másképp a webhelytérképben szereplő URL-ekkel.