28th January 2014, 23:48
#14
2 out of 2 members found this post helpful.
Declaratia de disallow in robots.txt nu garanteaza neindexarea daca pagina sau siteul primeste linkuri, pentru a sterge siteul sau pagina cu disallow e nevoie si de o cerere in GWT.
Despre ce ar putea fi vorba, despre prioritatea declaratiilor, robots.txt fiind restrictiv are prioritate fata de meta tag, in situatia asta robots.txt trimite disallow catre crawlerul Google ceea ce face sa ignore declaratia meta tagului. Altfel zis, crawlerul vine dar pe usa scrie "Nu deranjati", crawlerul pleaca, restul mesajelor sunt ignorate, crawlerul nu e invitat la petrecere.
Prioritate, intre doua declaratii dublura, exemplu: <meta name="robots" content="noindex" /> si <meta name="robots" content="index" /> are prioritate cea restrictiva, cea cu noindex. Daca robots.txt trimite declaratie restrictiva are la fel prioritate fata de meta tag.
Celalalt site, probabil aceeasi treaba daca nu e cloaking, e disallow in robots, iar redirectul e ignorat de crawler, titlurile sunt luate din anchore, Dmoz sau alte surse. Totul e legal cum s-ar zice.