disalow si totusi..

am in robots.txt de o saptamana:
User-Agent: *
Disallow: /rate/
si totusi 2 sisteme de urmarire a spiderilor a-mi arata ca monsenior google urmeaza link-uri gen: /Rate​/Winamp-5​.24​.htm

astea oricum sunt moarte deoarece sunt cu logare.. deci toate la fel pentru el..
ce sa mai fac?

am mancat un l.. sorry..

Daca vrei sa nu urmaeasca inauntr-ul folder-ului, pune:

Disallow: /rate

si daca vrei sa fii sigur ca nu o face baga parola pe folder

Iskander.. nu e folder e din rewrite..

din ultimul log:

Cod:

---

Sunday, Aug 27th 2006 - 2:38 pm
Bot: Mozilla/5.0 (crawl-66-249-66-203.googlebot.com)
Crawled: http://www.4pcsoft.com/index.php?a=rate&numar=d3191

---