X-Robots-Tag: Alternativa pentru robots.txt

By Evobit 4 years ago
Home  /  Blog  /  X-Robots-Tag: Alternativa pentru robots.txt

Asa cum stim Robots.txt este un fisier de tip text unde putem specifica ce anume din continutul site-ului sa acceseze sau nu crawlere. Acest fisier il gasiti in root-ul domeniului sau sub-domeniului.

Robots Meta Tags: va ofera posibilitatea sa controlati fiecare pagina in parte a site-ului daca aceasta trebuie indexata sau nu de catre Google.

Acum sa vorbim despre X-Robots-Tag si inainte de toate vreau sa mentionez ca daca folositi deja metoda de mai sus robots.txt nu este nevoie sa o folositi si pe aceasta in acelasi timp.

X-Robots-Tag nu este ceva nou, a fost introdus in 2007 dar este o metoda alternativa a robots.txt foarte buna. X-Robots-Tag poate fi asociat oricarui tip de fisier. Mai jos aveti cateva exemple unde poate fi folosit acest tip de tag:

* Nu include acest tip de fisier in cautarile Google:
X-Robots-Tag: noindex

* Spunei motorului de cautare Google ca acest document nu v-a mai fi valabil dupa data de 15 noiembrie 2013, 13:00:00 GTM
X-Robots-Tag: unavailable_after: 13 november 2013 13:00:00 GMT

Mai multe detalii despre X-Robots-Tag gasiti aici

 

Categories:
  Blog,
this post was shared 0 times
 000