Originally posted by Expertu
[b]Ba are dar e gol (si eu m-am uitat).

http://www.expertasig.ro/robots.txt (pagina goala)

http://www.expertasig.ro/robots1.txt (404)

Deci clar
Ai tu ce ai cu robots.txt.
Adevarul e ca si eu daca as fi spider si as gasi fisierul dupa care il deschid si vad ca e gol, m-as enerva tare rau.

Dar eu tot nu cred ca e de la robots.txt pentru ca 2 ani de zile nu a avut probleme in a incarca tot site-ul. Din cite stiu eu, G a modificat in timp doar partea de analiza a paginilor si nu spider-ul.