Versiune printabilă
Vad, abia, azi ca site-uri care au puse pe pagini duplicate sau inutile <meta name="robots" content="noindex,follow" /> sint indexate in G. N-ar fi trebuit sa se intample asa ceva, meta-ul specifica in clar ce trebuie sa faca G.
Acum, intrebarea e ce fac cu paginile astea? Daca le restrictionez din robots.txt spiderii nu vor mai trece pe ele si deci nu imi pot corela internal linking ptr spideri.
Pot raporta undeva problema asta? Aveti experiente de genul asta?
neata`
Folosesti un "meta robot" plug-in sau ceva similar?
Cheers
Si eu am folosit la cateva site-uri noindex, follow pentru link juice. A durat mult pana cand mi-a scos paginile din index. Despre link juice nu stiu cat s-a transmis pentru ca erau niste pagini interne duplicate din cauza unor filtre. Cert este ca am stat mai mult de 2 luni pana cand mi le-a scos din index. Daca le restrictionezi si din robots.txt nu vor mai transmite link juice si oricum nu o sa iti iasa din index. Robots.txt nu il opreste pe Google sa nu iti indexeze site-ul.
Am avut un client care avea restrictionat tot site-ul din Robots. La comanda site: imi arata doar prima pagina indexata si pentru restul de rezultate aparea mesajul: In order to show you the most relevant results, we have omitted some entries very similar to the 507 already displayed. If you like, you can repeat the search with the omitted results included.. Daca dadeam click pe o noua cautare imi arata toate paginile indexate, fara titlu si descriere. Erau doar URL-urile listate in SERPs.
Zimbru, nu e un ecommerce.
danielicb, da tot cam spre 2-3 luni se duce si site-ul asta. E curios ptr ca de obicei ei ascultau de comenzile prin meta sau robots.txt.
De raportat banuiesc ca nu am unde sa raportez treaba asta, nu vad in Webmaster Tools ceva de genul...
Nu ai unde sa raportezi, trebuie sa astepti. In WMT nu ai cine stie ce optiuni. Din ce am vazut Robots.txt ajuta doar pt sitemap, restrictionarile alea sunt degeaba. Cred ca ai putea sa urci din nou sitemap, adaugi ceva content sau linkuri pe site pentru crawl rate. Eu la site-ul ala nu am facut asa ceva, l-am lasat pe Google sa isi faca de cap.
A fost folosit un CMS notoriu sau este ceva custom made?
Se stie ca unele CMS-uri au probleme de genul asta si poate gasim ceva fara sa folosesti robots.txt sau sa alteram internal linking.
Cred ca e custom made sau oricum au module proprii.
Hmmm... sa scapi de partea cu indexarea se poate folosi ceea ce ai deja in robots meta tag code combinat cu "noarchive" sau "NOSNIPPET", asa scapi de partea cu robots.txt si duplicate description - cred ca asta arde cel mai tare.
Arunca un ochi aici : Robots Meta Tag (Robots Metatag) - McAnerin International Inc.
Despre partea cu raportatul habar nu am .. dar e bine de stiut daca reusesti ceva.
chiar daca are noindex/nofollow din primul moment, tot il indexeaza, m am lasat pagubasa pe tema asta.
Zimbru, cred ca partea cu noarchive e o idee buna. E posibil ca paginile alea sa le fi indexat deja si de asta raman in G index. Deci ele acum trebuiesc scoase din arhiva. Faptul ca nu mai trece pe ele nu inseamna ca le si dezarhiveaza din index. Logic.
RoxanaN, cerintele astea sint standard, ei se supun lor. Doar ca, uite, trebuiesc puse intr-o anumita logica.
Revin cu feedback daca a mers sau nu.
Te referi la cei ai lui Google sau la modul general?Citat:
Postat în original de Krumel
General daca nu spui tu ce robot sa nu idexeze. Daca vrei ca foar Google sa nu tii indexeze robots.txt ar trebui sa aiba o linie de felul asta:
Asa poti specifica unui anumit bot daca poate sau nu sa indexeze ceva.Citat:
User-Agent: Googlebot
Disallow: /pagina/
Daca pui:
E valabil ptr toti.Citat:
User-agent: *
Disallow:/
Eu am pati-o la fel (pagini cu noindex apareau in G index), si gasisem explicatia asta : What should NOINDEX do?
Ma refer la partea cu : "Our highest duty has to be to our users, not to an individual webmaster. When a user does a navigational query and we don’t return the right link because of a NOINDEX tag, it hurts the user experience (plus it looks like a Google issue). If a webmaster really wants to be out of Google without even a single trace, they can use Google’s url removal tool".
Acum daca tu zici ca pana acum directiva era respecta si doar de curand ai observat efectul asta nu stiu ce sa mai zic, eu am observat asta prin 2010.
Au descriere sau la descriere scrie asta ? "A description for this result is not available because of this site's robots.txt – learn more"
Mie mi le indexeaza si am descrierea asta la ele. In plus, nu au nici titlu. In loc de titlu e chiar URL-ul. Am impresia ca daca sunt indexate asa, nu afecteaza cu nimic. Nici in cautari nu apar.
Regulile ptr meta ar trebui sa fie urmatoarele: noindex - nu indexeaza pagini (noi de obicei), noarchive (nu le arhiveaza), nofollow (nu le urmareste).
In cazul meu paginile erau deja indexate, am adaugat noindex si ele sint inca in G. Acum ar trebui sa adaug noarchive ptr a le scoate din arhiva G ptr ca el nu le mai indexeaza dar le pastraza in arhiva. Cel putin asta e teoria.
Mai este o optiune in WMT. La HTML improvements jos de tot apare un mesaj la Non-indexable content. Vezi daca iti apar acele pagini acolo. Daca apar ar trebui sa fie OK pentru ce vrei sa faci.
Am pe un site
la site:numesite.ro imi da asa:Cod:User-agent: *
Disallow: /
tine cont de robots, pentru ca am luat gupuri de cuvine din site si nu il afiseaza la cautari, sa inteleg ca la tine indexeaza continutul?Cod:Lipsa unei descrieri privind acest rezultat este cauzată de fișierul robots.txt al acestui site. Aflați mai multe.
Pentru a vă prezenta cele mai relevante rezultate, am omis câteva înregistrări foarte asemănătoare celor 1 deja afișate.
Dacă doriți, puteți repeta căutarea cu rezultatele omise incluse.
@inscaun dai click pe repetati cautarea. Nu iti arata URL-urile fara title si descriere? Adica pentru ca sunt in index?
@danielcb
asa imi arata:
http://uploadimage.ro/images/97086968834610362606.png
Intrebarea era ce urmaresti, nu ce inseamna sau cum se "construieste" robots.txt. Incercam sa iti sugerez o pista, insa intre timp m-am convins ca nu merge.
Aproape ontopic: Ar fi de studiat daca nu e cumva o situatie similara precum cea de aici: http://forum.seopedia.ro/google/2380...tml#post217547
Paginile respective sa fie foarte putin importante si atunci sa le vina randul la reevaluare in mai mult timp si sa mai ai de asteptat.
@inscaun: sunt indexate paginile tale. Daca nu erau indexate nu iti arata nimic. De asta restrictionarea din Robots nu e buna. Trebuie din meta robots si cel mai bine e cu noindex, follow.
@danielcb: nu sunt indexate, (sau cel putin arata 26 de pagini ca fiind indexate inainte sa ii pun eu restrictia) - site-ul cred ca are peste 5000 fiind o galerie foto, dar nu le afiseaza de ex: am luat un text si l-am cautat in google, "test site:numesite.ro" si el imi returneaza
Cod:Căutarea dvs. - "test" site:.numesite.ro - nu a returnat niciun document.
Sugestii:
Asigurați-vă că toate cuvintele sunt ortografiate corect.
Încercați alte cuvinte cheie.
Încercați cuvinte cheie mai generale.
Încercați să folosiți mai puține cuvinte cheie.
Daca ai si meta robots cu index, follow si restrictie din Robots.txt atunci o sa le cam indexeze, pentru ca meta robots>robots.txt. Am zis mai sus, am avut un client cu lucrul asta si avea toate URL-urile indexate.
Uita-te in WMT la index status si bifeaza blocked by robots. Ai multe URL-uri blocate?
Da imi este CLAR acum, am 3 url-uri blocate si "Numar total de pagini adaugate la index: 381"
Si intradevar nu am nimic in meta, ceea ce inseamna ca ia default, index>follow.
Clar!
Eu am pagini indexate, ce au fost pune nofollow si noindex de la inceput, unele sunt trecute si in robots.txt, in WMT primesc mesaj
Si totusi paginile respective sunt indexate, si asta se intampla de vreo 2 luniCitat:
Googlebot nu poate accesa site-ul dvs.19 septembrie 2012
În ultimele 24 (de) ore, Googlebot a întâmpinat 207 (de) erori când a încercat să se conecteze la site-ul dvs. Rata globală a eșecurilor de conectare pentru site-ul dvs. este de 2.0%.
Nu am urmarit niciodata acest lucru, postul acesta mi-a trezit interesul si apoi dorinta de a aplica, insa ce spui indica faptul ca nu se tine cont de ele.Citat:
Postat în original de lovelife
In robots.txt le-ai filtrat de la inceput? Macar in asta mai putem avea incredere?
Din experienta, robots.txt limiteaza accesul spiderilor blocand indexarea paginilor pe care nu le doriti a fi indexate. Este foarte eficient si atunci cand vrei sa scoti din index anumite pagini.Citat:
Postat în original de Marius Cristian
Din pacate experienta imi spune ca filtrul aplicat in robots.txt DUPA indexarea paginilor nu a dat rezultate in proportie de 100% in cazul meu. Si dupa 2 ani mai aveam mii de pagini indexate. :( Indiferent de platforma.Citat:
Postat în original de robyroy
Singura solutie a fost combinarea lui cu blocarea din WMT. Si atunci intr-o zi au fost "rase" complet. Nu asta dorea Krumel.
Intrebarea era pentru lovelife pentru a vedea in ce moment a aplicat regulile in robots.txt. INAINTE sau DUPA indexare.
Pana acum cateva luni, ce spuneam ca nu trebuie indexat nu era indexat.
@Marius blocarea in robots.txt era de peste un an, dar dupa ce fusese lasat la liber (profiluri de membri la un forum), si a functiunat pana acum vreo 2 luni, cand unele pagini de profil au inceput sa aibe vizite din google
La un magazin paginile de tip cart.php cont.php etc au fost noindex, si blocate din robots.txt inca de la inceput, de 2 luni apar in cautari, si imi apare cu erori in WMT ca anumite pagini cart.php cu variabile au primit eroare 404 (e normal 404 ca ele sunt generate unic pentru un anumit cos, dar nu trebuia sa fie indexate si sa imi spuna eroare)
Parerea mea este ca robotul acceseaza pagini pe care cineva care are instalata un toolbar google le-a vizitat, cum este pagina de cart.php ce este unica pentru fiecare client
Nici eu nu am tinut cont de ele, pana cand am inceput sa primesc in WMT mesaje ciudate despre pagini ce eu le blocasem de la indexareCitat:
Nu am urmarit niciodata acest lucru, postul acesta mi-a trezit interesul si apoi dorinta de a aplica, insa ce spui indica faptul ca nu se tine cont de ele
intrebare, pentru o pagina noindex, linkurile venite catre ea au valoare ? incurca?
Acum vad ca nu mai este indicat si continutul paginilor respective, a ramas indexat doar url-ul (doar paginile pe care le monitorizam)
Cred ca da. Pagina nu e indexata si nu urca la cautari, dat ea transmite juiceul mai departe.Citat:
Postat în original de Serban Cristian
@kidu daca pagina are directivele noindex, follow atnci transmite juice de la linkurile externe care vin catre ea. daca are directiva noindex, nofollow atunci numai transmite nimic.
A mers?
Citat:
Postat în original de Krumel