A keresőmotor optimalizálásban fontos szerepet tölt be a robotx.txt elnevezésű fájl, melynek segítségével irányíthatjuk a keresőmotorokat abban, hogy bizonyos oldalakat indexeljenek vagy ne.
A legfontosabb, hogy a sitemap.xml-t mindig a honlapunk gyökérkönyvtárába helyezzük el:
www.domén.tld/robots.txt !
Először is jelöljük azt, hogy a robots.txt tartalma melyik keresőkre vonatkozik. Ezt az
User-agent: elem jelöli.
A leggyakrabban használt és egyben a legtanácsosabb beállítás:
User-agent: *, mert ez minden keresőre vonatkozik.
Viszont, ha csak a Google keresőre vonatkozik a robots.txt tartalma, akkor ezt is megadhatjuk a következő módon:
User-agent: Googlebot .
A robots.txt-ben feltüntethetjük a honlapunk sitemap.xml-ek a helyét is:
Sitemap: http://www.domén.tld/sitemap.xml
Azt, hogy egy fájlt, mappát vagy más honlap elemet kövessenek vagy ne a keresők a következő elemekkel jelöljük:
Allow: / - azaz követés
Disallow: / -azaz ne kövesse
Természetesen ha nincs olyan fájl amit a keresők elől blokkolni szeretnénk, akkor a Disallow elemet nem használjuk.
Így a robots.txt a következőképpen fog kinézni:
User-agent: *
Sitemap: http://www.domen.tld/sitemap.xml
Allow: /
Amennyiben egy belső oldalt szeretnénk blokkolni, akkor az Allow elemen kivül bejön a Disallow tag is:
User-agent: *
Sitemap: http://www.domen.tld/sitemap.xml
Allow: /
Disallow: /kapcsolat.html
Egy további lehetőség ha egy teljes könyvtár tartalmát szeretnénk blokkolni:
User-agent: *
Sitemap: http://www.domen.tld/sitemap.xml
Allow: /
Disallow: /itt-konyvtar-neve/
A Google keresőben (a többinek nem), bár ritkán lehet rá szükség, de egy fájl formátumot is blokkolhatunk. Például, ha honlapunk összes php vagy xml formátumú fájljait blokkolni szeretnénk. Ebben az esetben a formátum elejére betesszük a * karaktert, a végére pedig a $ karaktert. Tehát a robots.txt fájlunk a következő módon fog kinézni:
User-agent: *
Sitemap: http://www.domen.tld/sitemap.xml
Allow: /
Disallow: /*.php$
Kérdéseket továbbra is írhattok a blogon jelzett email címre, vagy a cégünk honlapjait is meglátogathatjátok: www.okkwebmedia.com(hu) vagy www.okkwebmedia.ro (ro).
