[Ajutor] Disalow All Bots/Spiders pentru un site dat!

[Hakuna Matata]

Ma intereseaza sa blochezi toti robotii in a accesa statistici despre site-ul meu.

Exista vre-o posibilitate inversa si anume sa las in robots txt doar google si in rest [fara sa stiu numele fiecarui bot] sa adaug o comanda sa nu le dea voie?

Ca sa fie in clar nu ma refer numai la botii motoarelor de cautare ci si la cele de tip spion [alexa, seomoz, majesticseo, SEOprofiler, SEMRush, etc]

V-as ramane dator daca m-ati putea ajuta in aceasta privinta cu rugamintea sa postati doar daca ati experimentat asa ceva [presupuneri am si eu multe in cap ]

Multumesc anticipat!

[tymbark]

N-am experimentat, dar cred ca solutia de pe robotstxt.org ar trebui sa mearga:

The Web Robots Pages

To allow a single robot

User-agent: Google
Disallow:

User-agent: *
Disallow: /

Na, nu strica sa incerci. lasi asa o zi, doua si apoi verifici log-urile si vezi daca a scazut traficul facut de boti

[Krumel]

https://ahrefs.com/robot/
Rogerbot Crawler - Help Hub | SEOmoz
Majestic-12 : DSearch : MJ12bot
Webmaster info | blekko

Ptr cele mai importante tooluri de crawling ai aici robotii lor.

tymbark, cu ce propui tu reusesti sa lasi doar Google sa indexeze site-ul. Dar poate e ok sa lasi si alte motoare sa ti-l indexeze, chiar daca au trafic mai mic.

[Hakuna Matata]

Multumesc frumos @tymbark; @Krumel!

Am sa experimentez si revin cu post.

[tymbark]

tymbark, cu ce propui tu reusesti sa lasi doar Google sa indexeze site-ul. Dar poate e ok sa lasi si alte motoare sa ti-l indexeze, chiar daca au trafic mai mic.

El voia sa lase doar google.

Exista vre-o posibilitate inversa si anume sa las in robots txt doar google si in rest [fara sa stiu numele fiecarui bot] sa adaug o comanda sa nu le dea voie?

[Nichita]

http://www.krumel.ro/robots.txt

[Marius Cristian]

Eu as merge pe

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

[Krumel]

http://www.krumel.ro/robots.txt

Am uitat de ala. Am inceput acum.... un an cred, un test pe directia asta. Am uitat sa mai confirm rezultatele.

Mersi, bine ca mi-ai adus aminte.

tymbark, true. Scuze.