de obicei cu HEAD se verifica headerul, eu stiu ca un crawler face asta din urmatoarele motive: verifica HTTP response ca sa stie daca indexeaza sau sterge din index continutul, verifica paginile cu continut random pentru a le clasifica in acest fel, in functie de server verifica daca s-au efectuat modificari la pagina respectiva si daca mai are rost sa indexeze (If-Modified-Since).
nu cred ca are legatura faptul ca anumite poze nu mai exista pe pagina, cu caderea ta in google, ar fi absurd.



Răspunde cu citat