Google sau alte motoare de cautare , pot indexa un fisier aflat pe un domeniu daca spre acel fisier nu exista nici o legatura publica?
Versiune printabilă
Google sau alte motoare de cautare , pot indexa un fisier aflat pe un domeniu daca spre acel fisier nu exista nici o legatura publica?
atat timp cat pe el sau folderul in care se afla nu sunt restrictii gen disallow, google il va indexa cu siguranta.
daca vrei totusi sa-l tii ascuns:
- creaza un folder /temp in root
- introdu "Disallow: /temp/" in robots.txt
Pai de unde stie google ca exista acel fisier?Citat:
Postat în original de RedJohn
pai iti dau un exemplu:
o cautare pe google: "lista achizitii filetype:xls"
pe majoritatea siteurilor respective nu exista nici o referire la acele tabele.
banuiesc ca de vina e:
User-agent: *
si/sau
Allow: /
E posibil sa ma insel. Totusi alta explicatie nu gasesc.
daca e pe un server.. foarte probabil are un link spre el macar intr-un mailCitat:
Postat în original de Dan
Google vede un domeniu chiar daca nu exista link spre el. Cu siguranta stie orice domeniu e inregistrat la un moment-dat si crawlerii scaneaza. Cel putin eu asa consider.
Pentru a fi sigur, poti face un test. Ia un domeniu nou, pune pe el continut, si lasa-l asa. Eu iti garantez ca va fi indexat.
Ministerul Public = referinta la rezultatul de pe pozitia 2. Pentru celelalte ori e la fel ori a existat candva un link.Citat:
Postat în original de RedJohn
Exista o inregistrare pe serverele DNS. Google nu e Mama Omida.Citat:
Postat în original de edy12006
Ar putea indexa daca e link spre el in mail? Totusi mailul ar trebui sa fie ceva privat fie el si de la gmail
nu stiu daca si indexeaza sau rankeaza dupa un link in mail, insa cu siguranta google iti scaneaza continutul mailului, deci stie de link (asta era intrebarea la care a venit raspunsul meu).Citat:
Postat în original de cris
google foloseste informatiile de acolo pt a livra reclame, pentru a identifica spam si malware, pt a iti personaliza inboxul, pt face recomandari de conexiuni in g+, etc
sunt foarte multe cazuri cand fisierele sunt pe servere si fara link spre ele si neindexate. cred ca proportia lor e mai mare decat a celor care sunt indexate. la nivel global zic.Citat:
daca e pe un server.. foarte probabil are un link spre el macar intr-un mail
daca vb de fisiere si servere in general, ok
dar daca vb de fisier excel cu numele "lista achizitii" si webserver.. atunci a spune ca e probabil sa aiba si link.
oricum, asta e deja offtopic, dar exemplul meu chiar era o posibila situatie si nu o regula.
Nu ne-am indepartat deloc de subiect. intrebarea originala era "Google sau alte motoare de cautare , pot indexa un fisier aflat pe un domeniu daca spre acel fisier nu exista nici o legatura publica?".
Raspunsul corect - nu. Pentru ca nu are de unde sa stie ca acel fisier exista. Ar fi absurd si imposibil sa ia fiecare domeniu si ip la rand si sa incerce nume de fisiere sa vada daca exista.
Exista cel mai probabil si exceptii.
Daca (sunt rezervat in privinta asta) google culege date din browserul sau (chrome) si tu ai accesat acel fisier in browser, e posibil sa il indexeze.
Daca ai cautat pe google locatia fisierului respectiv, posibil sa incerce locatia si sa il indexeze.
Sa foloseasca datele din emailuri (gmail) pentru a introduce date in motorul de cautare ar fi o chestiune de securitate foarte grava, nu cred ca risca sa faca asa ceva. Sunt 99,99% sigur ca nu se intampla.
daca e sa o luam strict pe sensul intrebarii, motoarele de cautare pot indexa un fisier aflat pe un domeniu daca pot afla despre el si daca nu au restrictii explicite (ex: robots.txt, desi e relativa si aici). daca or sa il si indexeze, asta e alta situatie.
cum pot afla motoarele de cautare despre acel fisier? clar si prin alte metode in afara de linkul clasic.
fara alte detalii despre situatie.. cam asta ar fi raspunsul.
totusi, sensul intrebarii ar putea fi: e sigur sa las pe server un fisier pe care nu il vreau indexat (poate din motiv de duplicate content) si daca nu pun link spre el sa fiu sigur ca nu se indexeaza?
la asta as raspunde ca nu e sigur. (am patit sa uit sa blochez robotii pt un site in teste si in nici doua zile google indexase din el, singurele metode prin care putea afla fiind: gmail, chrome si out link - nu avea analytics).
si spun asta pt ca imi e greu sa vad de ce ai tine pe un webserver un fisier care nu vrei sa fie public (dar pe care il lasi totusi public) si in plus sa eviti absolut toate metodele prin care google ar putea afla de el.
citisem pe undeva (nu imi amintesc sursa) ca in urma unui test mic / rapid cu o pagina din asta izolata si trimis linkul ei prin gmail.. google nu ar fi indexat-o.
totusi de acolo nu se intelegea ca rezultatul e 100% repetabil.
cateva metode de a tine anumite fisiere ascunse pe server:
https://moz.com/blog/12-ways-to-keep...search-engines