[Ajutor] Disalow All Bots/Spiders pentru un site dat!

Ma intereseaza sa blochezi toti robotii in a accesa statistici despre site-ul meu.

Exista vre-o posibilitate inversa si anume sa las in robots txt doar google si in rest [fara sa stiu numele fiecarui bot] sa adaug o comanda sa nu le dea voie?

Ca sa fie in clar nu ma refer numai la botii motoarelor de cautare ci si la cele de tip spion [alexa, seomoz, majesticseo, SEOprofiler, SEMRush, etc]

V-as ramane dator daca m-ati putea ajuta in aceasta privinta cu rugamintea sa postati doar daca ati experimentat asa ceva [presupuneri am si eu multe in cap :)]

Multumesc anticipat!

N-am experimentat, dar cred ca solutia de pe robotstxt.org ar trebui sa mearga:

The Web Robots Pages

To allow a single robot

Citat:

---

User-agent: Google
Disallow:

User-agent: *
Disallow: /

---

Na, nu strica sa incerci. lasi asa o zi, doua si apoi verifici log-urile si vezi daca a scazut traficul facut de boti

https://ahrefs.com/robot/
Rogerbot Crawler - Help Hub | SEOmoz
Majestic-12 : DSearch : MJ12bot
Webmaster info | blekko

Ptr cele mai importante tooluri de crawling ai aici robotii lor.

tymbark, cu ce propui tu reusesti sa lasi doar Google sa indexeze site-ul. Dar poate e ok sa lasi si alte motoare sa ti-l indexeze, chiar daca au trafic mai mic. :)

Multumesc frumos @tymbark; @Krumel!

Am sa experimentez si revin cu post.

Citat:

---

Postat în original de Krumel

tymbark, cu ce propui tu reusesti sa lasi doar Google sa indexeze site-ul. Dar poate e ok sa lasi si alte motoare sa ti-l indexeze, chiar daca au trafic mai mic. :)

---

El voia sa lase doar google.

Citat:

---

Postat în original de Hakuna Matata

Exista vre-o posibilitate inversa si anume sa las in robots txt doar google si in rest [fara sa stiu numele fiecarui bot] sa adaug o comanda sa nu le dea voie?

---

http://www.krumel.ro/robots.txt :))

Eu as merge pe

Citat:

---

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

---

Citat:

---

Postat în original de Nichita

http://www.krumel.ro/robots.txt :))

---

Am uitat de ala. Am inceput acum.... un an cred, un test pe directia asta. Am uitat sa mai confirm rezultatele. :))

Mersi, bine ca mi-ai adus aminte. :)

tymbark, true. Scuze. :)