Intrebare legata de Google SE

Versiune printabilă

7th February 2009, 16:57
poison17

Intrebare legata de Google SE

Cum fac sa nu-mi indexeze nici Google, nici Yahoo unele pagini din site ? Nu vreau sa indexeze continutul lor, si nici linkurile din acele pagini.

exemplu, am pe pagina index cateva linkuri:

<a href="link1.php" >link1</a>
<a href="link2.php" >link2</a>
<a href="link3.php" rel='nofollow, noindex'>link3</a>

link3.php nu vreau sa fie citit si indexat, si problema e ca in interiorul link3 nu am cum sa umblu, este un script ce nu am cum sa-l modific, el genereaza ceva continut si alte linkuri.

Intrebarea e daca acel rel='nofollow, noindex' e suficient, sau mai trebuie sa fac ceva, ca sa nu am surprize ?

Am observat ca si Google si Yahoo mi-a descoperit link3.php , iar Google mi-a gasit chiar si cateva din linkurile gererate de link3.php

Sper ca m-am facut inteles... atat cat am stiut si eu sa explic :)
7th February 2009, 17:17
Cristi U

http://www.robotstxt.org/robotstxt.html

din robots.txt
7th February 2009, 17:25
poison17

Citat:

Postat în original de cristi

http://www.robotstxt.org/robotstxt.html

din robots.txt

1) am verificat , la mine robots.txt are 0 biti.

2) am citit pe acel site, sa inteleg ca tot ce trebuie sa fac e sa adaug in robots.txt asta :

User-agent: *
Disallow: /link3.php

si cu asta am rezolvat ?
7th February 2009, 17:25
eugen

Răspunsul meu ar fi acelaşi cu al lui @cristi, folosind robots.txt.

Însă, am păţit ca Yahoo! să-mi indexeze anumite fişiere "interzise" ( nu toate ).

A doua variantă ( ca să nu umbli în codul sursă ) este folosind fişierul .htaccess şi directiva X-Robots-Tag ( suportată momentan doar de Google şi Yahoo! ).
7th February 2009, 21:10
evolution

Citat:

<a href="link3.php" rel='nofollow, noindex'>link3</a>

nofollow, noindex este un metatag care se pune in codul html la inceputul paginii, intre <head> ...</head>, deci nu se pune ca atribut la link.
Sintaxa completa este <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> vezi aici

Daca pui acest metatag pe o pagina dinamica php nu se va indexa nici una din acele pagini dinamice. Deci nu asta e solutia in cazul tau.

Fa un fisier in notepad robots.txt si urca-l pe root (in public_html)
Pune cum ai zis tu,pentru a exclude o pagina anume:
User-agent: *
Disallow: /link3.php

Daca pagina se afla intr-un director de pe server ,numit de exemplu privat , pune asa:
User-agent: *
Disallow: /privat/link3.php

Ai cont la Google Webmaster Tools? Acolo poti verifica daca iti este sau nu indexata pagina, cu un tool free.

aici o referire la cum sa opresti indexarea din robots.txt
7th February 2009, 23:00
poison17

pai da, am pus deja in robots.txt fisierele care nu le vreau indexate, dupa ce am citit postul lui @cristi.

Am notat ce mi-a indexat pana acum Google, si o sa urmaresc timp de o saptamana daca mai indexeaza ceva din acel fisier. Sper sa nu

am si google webmaster tools, dar nu am intrat acolo sa vad .
Am verificat cu comanda "site:http://domain.com/link3.php" , si am vazut ce a indexat google din acel fisier.

Acum ce ma roade e altceva... cand vor dispare linkurile DEJA indexate din link3.php, din Google, sau cum fac sa le scoata mai repede din motoru de cautare.

Citat:

aici o referire la cum sa opresti indexarea din robots.txt

Da, in principiu e aceeasi metoda descrisa si in linkul lui @cristi.

Merci pentru raspunsuri , chiar e util de stiut ce face robots.txt.
Daca cumva dupa o saptamana google o sa-si mai bage nasu sa miroasa ce e in link3.php, o sa testez si varianta cu .htacces
7th February 2009, 23:04
dorin.georgescu

poate si acest film ar fi util:

http://googlewebmastercentral.blogsp...om-google.html
8th February 2009, 01:40
evolution

e bine sa verifici in WMT ca sa nu dezindexezi din greseala niste pagini pe care de fapt le vrei indexate..
8th February 2009, 02:08
poison17

Aha, deci chiar prin Google Webmaster Tools se pot scoate linkurile deja indexate.

ooook.... deci m-am bagat si am dat Request sa-mi scoada din Search Engine niste linkuri. Sunt curios cat dureaza, si daca le va mai indexa pe viitor, avand in vedere modificarea din robots.txt

Ma mira cate pagini mi-a indexat google in ultimile zile. Daca de pe data de 20 ianuarie pana la 30 ianuarie imi indexase cam 100-150 de pagini .. in ultimile 7 zile mi-a indexat aproape 800 .. am ajuns la 902 indexate.
8th February 2009, 12:16
Skript

Nu va dura mult pana ti le scoate .. la mine media e undeva intre 24-48 ore.
De indexat nu le va mai indexa daca ai disallow pentru ele in robots.txt
8th February 2009, 13:53
poison17

Citat:

Postat în original de Skript

De indexat nu le va mai indexa daca ai disallow pentru ele in robots.txt

Teoretic. Insa din ce am citit intre timp pe net, se poate sa ti le indexeze. Sansele sunt mici , dar exista.

In filmuletul postat de seo2 se explica:

Citat:

Postat în original de seo2

http://googlewebmastercentral.blogsp...om-google.html
17th February 2009, 10:03
Quietkiller

sa shtii ca nofollow sau interdictie din robots.txt nu iti va scoate niciodata o pagina din index. ca sa iti scoata pagina din index ii spui noindex in <meta name="robots/Googlebot (sau orice alt user-agent acceptat de doctype)". asta in cazul in care a fost deja indexata o pagina pe care nu ai vrut sa fie indexata.
daca o "izolezi" pagina ramane totusi in index o perioada (de vreo 4-5 saptamani, uneori chiar mai mult) pana isi da seama motoru de cautare ca pagina aia nu se leaga de site si deci nu e relevanta. oricum trebuie sa urmaresti daca sunt ceva linkuri indexabile catre ea.

sfatul meu este sa vezi daca iti foloseshte in vreun fel pagina respectiva. si un noindex e ok in header. ca poate altfel iti ajuta cumva structura interna de linkuri si poti sa foloseshti optiunea de "follow" in vreun fel