Intrebare legata de Google SE

**poison17** · 7th February 2009, 17:57

Cum fac sa nu-mi indexeze nici Google, nici Yahoo unele pagini din site ? Nu vreau sa indexeze continutul lor, si nici linkurile din acele pagini.

exemplu, am pe pagina index cateva linkuri:

<a href="link1.php" >link1</a>
<a href="link2.php" >link2</a>
<a href="link3.php" rel='nofollow, noindex'>link3</a>

link3.php nu vreau sa fie citit si indexat, si problema e ca in interiorul link3 nu am cum sa umblu, este un script ce nu am cum sa-l modific, el genereaza ceva continut si alte linkuri.

Intrebarea e daca acel rel='nofollow, noindex' e suficient, sau mai trebuie sa fac ceva, ca sa nu am surprize ?

Am observat ca si Google si Yahoo mi-a descoperit link3.php , iar Google mi-a gasit chiar si cateva din linkurile gererate de link3.php

Sper ca m-am facut inteles... atat cat am stiut si eu sa explic

**Cristi U** · 7th February 2009, 18:17

http://www.robotstxt.org/robotstxt.html

din robots.txt

**poison17** · 7th February 2009, 18:25

Postat în original de cristi

http://www.robotstxt.org/robotstxt.html

din robots.txt

1) am verificat , la mine robots.txt are 0 biti.

2) am citit pe acel site, sa inteleg ca tot ce trebuie sa fac e sa adaug in robots.txt asta :

User-agent: *
Disallow: /link3.php

si cu asta am rezolvat ?

**eugen** · 7th February 2009, 18:25

Răspunsul meu ar fi acelaşi cu al lui @cristi, folosind robots.txt.

Însă, am păţit ca Yahoo! să-mi indexeze anumite fişiere "interzise" ( nu toate ).

A doua variantă ( ca să nu umbli în codul sursă ) este folosind fişierul .htaccess şi directiva X-Robots-Tag ( suportată momentan doar de Google şi Yahoo! ).

**evolution** · 7th February 2009, 22:10

nofollow, noindex este un metatag care se pune in codul html la inceputul paginii, intre <head> ...</head>, deci nu se pune ca atribut la link.
Sintaxa completa este <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> vezi aici

Daca pui acest metatag pe o pagina dinamica php nu se va indexa nici una din acele pagini dinamice. Deci nu asta e solutia in cazul tau.

Fa un fisier in notepad robots.txt si urca-l pe root (in public_html)
Pune cum ai zis tu,pentru a exclude o pagina anume:
User-agent: *
Disallow: /link3.php

Daca pagina se afla intr-un director de pe server ,numit de exemplu privat , pune asa:
User-agent: *
Disallow: /privat/link3.php

Ai cont la Google Webmaster Tools? Acolo poti verifica daca iti este sau nu indexata pagina, cu un tool free.

aici o referire la cum sa opresti indexarea din robots.txt

**poison17** · 8th February 2009, 00:00

pai da, am pus deja in robots.txt fisierele care nu le vreau indexate, dupa ce am citit postul lui @cristi.

Am notat ce mi-a indexat pana acum Google, si o sa urmaresc timp de o saptamana daca mai indexeaza ceva din acel fisier. Sper sa nu

am si google webmaster tools, dar nu am intrat acolo sa vad .
Am verificat cu comanda "site:http://domain.com/link3.php" , si am vazut ce a indexat google din acel fisier.

Acum ce ma roade e altceva... cand vor dispare linkurile DEJA indexate din link3.php, din Google, sau cum fac sa le scoata mai repede din motoru de cautare.

aici o referire la cum sa opresti indexarea din robots.txt

Da, in principiu e aceeasi metoda descrisa si in linkul lui @cristi.

Merci pentru raspunsuri , chiar e util de stiut ce face robots.txt.
Daca cumva dupa o saptamana google o sa-si mai bage nasu sa miroasa ce e in link3.php, o sa testez si varianta cu .htacces

**dorin.georgescu** · 8th February 2009, 00:04

poate si acest film ar fi util:

http://googlewebmastercentral.blogsp...om-google.html

**evolution** · 8th February 2009, 02:40

e bine sa verifici in WMT ca sa nu dezindexezi din greseala niste pagini pe care de fapt le vrei indexate..

**poison17** · 8th February 2009, 03:08

Aha, deci chiar prin Google Webmaster Tools se pot scoate linkurile deja indexate.

ooook.... deci m-am bagat si am dat Request sa-mi scoada din Search Engine niste linkuri. Sunt curios cat dureaza, si daca le va mai indexa pe viitor, avand in vedere modificarea din robots.txt

Ma mira cate pagini mi-a indexat google in ultimile zile. Daca de pe data de 20 ianuarie pana la 30 ianuarie imi indexase cam 100-150 de pagini .. in ultimile 7 zile mi-a indexat aproape 800 .. am ajuns la 902 indexate.

**Skript** · 8th February 2009, 13:16

Nu va dura mult pana ti le scoate .. la mine media e undeva intre 24-48 ore.
De indexat nu le va mai indexa daca ai disallow pentru ele in robots.txt

Subiect: Intrebare legata de Google SE

Instrumente subiect

Afișează

Intrebare legata de Google SE

Informații subiect

Utilizatori care navighează în acest subiect

Thread-uri Similare

intrebare legata de adsense

intrebare legata de SERPS

Intrebare legata de PayPal

Intrebare legata de Google PR

Intrebare legata de Awstats

Permisiuni postare