2012. augusztus 11., szombat

Robots.txt - készítés

A keresőmotor optimalizálásban fontos szerepet tölt be a robotx.txt elnevezésű fájl, melynek segítségével irányíthatjuk a keresőmotorokat abban, hogy bizonyos oldalakat indexeljenek vagy ne.

A legfontosabb, hogy a sitemap.xml-t mindig a honlapunk gyökérkönyvtárába helyezzük el:
www.domén.tld/robots.txt !

Először is jelöljük azt, hogy a robots.txt tartalma melyik keresőkre vonatkozik. Ezt az
User-agent: elem jelöli.

A leggyakrabban használt és egyben a legtanácsosabb beállítás:
User-agent: *, mert ez minden keresőre vonatkozik.
Viszont, ha csak a Google keresőre vonatkozik a robots.txt tartalma, akkor ezt is megadhatjuk a következő módon:
User-agent: Googlebot .

A robots.txt-ben feltüntethetjük a honlapunk sitemap.xml-ek a helyét is:
Sitemap: http://www.domén.tld/sitemap.xml

Azt, hogy egy fájlt, mappát vagy más honlap elemet kövessenek vagy ne a keresők a következő elemekkel jelöljük:

Allow: / - azaz követés
Disallow: / -azaz ne kövesse

Természetesen ha nincs olyan fájl amit a keresők elől blokkolni szeretnénk, akkor a Disallow elemet nem használjuk.

Így a robots.txt a következőképpen fog kinézni:

User-agent: *
Sitemap: http://www.domen.tld/sitemap.xml
Allow: /


Amennyiben egy belső oldalt szeretnénk blokkolni, akkor az Allow elemen kivül bejön a Disallow tag is:

User-agent: *
Sitemap: http://www.domen.tld/sitemap.xml
Allow: /
Disallow: /kapcsolat.html


Egy további lehetőség ha egy teljes könyvtár tartalmát szeretnénk blokkolni:
User-agent: *
Sitemap: http://www.domen.tld/sitemap.xml
Allow: /
Disallow: /itt-konyvtar-neve/


A Google keresőben (a többinek nem), bár ritkán lehet rá szükség, de egy fájl formátumot is blokkolhatunk. Például, ha honlapunk összes php vagy xml formátumú fájljait blokkolni szeretnénk. Ebben az esetben a formátum elejére betesszük a * karaktert, a végére pedig a $ karaktert. Tehát a robots.txt fájlunk a következő módon fog kinézni:

User-agent: *
Sitemap: http://www.domen.tld/sitemap.xml
Allow: /
Disallow: /*.php$



Kérdéseket továbbra is írhattok a blogon jelzett email címre, vagy a cégünk honlapjait is meglátogathatjátok: www.okkwebmedia.com(hu) vagy www.okkwebmedia.ro (ro).