Utilizarea META TAG-ului ROBOTS

Autor: ionut

Chiar daca multi dintre voi ati putea considera ca optimizarea web are ca scop de baza proiectarea unor pagini web, intr-un fel in care acestea sa poata fi indexate mai usor, si in acelasi timp sa maximizeze rezultatele obtinute din motoarele de cautare, pot sa afirm faptul ca tag-ul Robots, chiar daca uneori este folosit pentru a interzice accesul motoarelor de cautare, are un rol foarte important in procesul de optimizare web.

Mai precis, META TAG-ul ROBOTS este folosit pentru a specifica motorului de cautare cum sa se comporte in momentul in care incearca sa indexeze o anumita pagina (sau un anumit set de pagini) ale unui site. Tag-ul ROBOTS poate fi folosit pentru a interzice unui motor de cautare sa indexeze o anumita pagina, sau pentru a perimte indexarea paginii si in acelasi timp pentru a interzice urmarirea link-urilor din pagina respectiva, sau pentru a specifica motorului de cautare sa urmareasca link-urile din pagina respectiva, fara a o indexa pe aceasta, etc.

Aceste indicatii date direct motoarelor de cautare sunt foarte utile atunci cand exista o serie de pagini in site-ul dvs. pe care vizitatorii ar trebui sa le vada, dar motorul de cautare nu. In acelasi timp, exista posibilitatea sa interziceti accesul motorului de cautare in anumite zone (module, directoare, etc.) ale unui site, care contin informatii confidentiale, sau private, care nu doriti sa fie facute publice.

Mai multe detalii despre acest “protocol” de comunicare cu robotii (sau spider-ii sau crawler-ii) care scaneaza web-ul pentru a indexa continutul site-urilor le puteti gasi pe site-ul oficial al robotilor de cautare.

Asa cum probabil stiati, sau ati aflat de pe site-ul amintit anterior, aceste comenzi pot fi specificate atat prin TAG-uri META cat si prin intermediul unui fisier “robots.txt“. Rezultatele obtinute vor fi absolut aceleasi, atata timp cat se respecta standardele stabilite.

Nu voi prezenta in randurile ce urmeaza informatii referitoare la comenzile ce pot fi folosite prin intermediul TAG-ului ROBOTS, sau prin intermediul fisierului “robots.txt” (informatii ce pot fi aflate de pe site-ul prezentat anterior), ci ma voi axa in mod special pe modul de folosire a acestora pentru a obtine rezultate maxime. In acelasi timp, cu toate ca exista foarte multi roboti de cautare, ideile expuse de mine se vor referi in mod special la GoogleBot (Robotul Google), si cei folositi de Yahoo si MSN.

Se pot folosi mai multe specificatii in cadrul aceluiasi TAG.

Va recomand sa folositi mai multe valori in cadrul aceluiasi TAG ROBOTS care se adreseaza unui singur robot. In acest mod veti face economie de spatiu (ce va contribui la micsorarea dimensiunii codului sursa al paginii), si va elimina (sau micsora) riscul de a specifica comenzi contradictorii.

Spre exemplu, decat sa folositi :

<meta TAG="ROBOTS" content="NOINDEX" />
<meta TAG="ROBOTS" content="NOFOLLOW" />


este mai indicat sa folositi un singur TAG ROBOTS, care sa cuprinda ambele directive :

<meta TAG="ROBOTS" content="NOINDEX, NOFOLLOW" />


Nu folositi directive inutile

In mod implicit, motoarele de cautare indexeaza, si urmaresc link-urile (vizibile) dintr-o pagina web, ceea ce inseamna ca nu este nevoie sa specificati dvs. acest lucru :

<meta TAG="ROBOTS" content="INDEX, FOLLOW" />


Puteti folosi atat litere mici cat si litere mari

Robotii ce indexeaza paginile site-ului dvs. nu fac distinctia intre literele mici si cele mari atunci cand interpreteaza tag-ul robots. Acest lucru va da posibilitatea sa scrieti directivele necesare asa cum va este dvs. mai usir de inteles. Urmatoarele linii de cod sunt echivalente :

<meta TAG="ROBOTS" content="NOINDEX" />

<meta TAG=”ROBOTS” content=”noindex” />

<meta TAG=”ROBOTS” content=”NoInDeX” />
In acelasi timp, in momentul in care doriti sa specificati mai multe directive in cadrul aceluiasi tag robots atunci le puteti desparti prin virgula, putand in acelasi timp sa folositi si spatii :

<meta TAG="ROBOTS" content="NOINDEX, NOFOLLOW" />

Folosirea corecta a directivei NONE

Asa cum specifica standardele aflate in vigoare in acest moment (pe care le puteti gasi pe site-ul oficial al standardelor robotilor de cautare) folosirea directivei NONE

<meta TAG="ROBOTS" content="NONE" />

are acelasi efect ca si :

<meta TAG="ROBOTS" content="NOINDEX, NOFOLLOW" />

Atentie !!! Exista o serie de webmasteri care cred ca folosirea directivei NONE inseamna ca nu specifica nici o restrictie catre motoarele de cautare, ceea ce este absolut fals. Am intalnit cazuri in care clientii ce au apelat la serviciile noastre de optimizare web, se plangeau ca site-ul lor nu este indexat de Google. Prima verificare pe care am efectuat-o in momentul inceperii prestarii serviciilor de optimizare web a fost tag-urile META ROBOTS sau fisierul robots.txt. De cele mai multe ori, regulile specificate interziceau motoarelor de cautare sa indexeze paginile site-ului.

Pentru a fi instiintat despre noile articole publicate pe BizPro.ro puteti folosi Feed-ul RSS.
 
 Site-ul BizPro.ro este creat, optimizat si intretinut de catre jjSoft.ro.

   Prin prisma unei vaste experiente privind prezenta online, alaturi de o bogata activitate pe web-ul romanesc, jjSoft.ro ofera servicii profesionale de Optimizare Web, Creare Site si Promovare Online, la preturi competitive.
   Nu ezitati sa solicitati o oferta personalizata, sau sa ne contactati in cazul in care sunteti interesat de serviciile noastre.