Citat Postat în original de 1nesco Vezi Post
Fara vreun GA instalat, fara sa trimiti vreun sitemap.... de unde sa ajunga botul la tine?
O metoda ar fi ca robotii sa vada cine a inregistrat domeniul si unde e gazduit. Din cate stiu, robotii primesc semnale privind domenii noi, documente noi create etc. Totodata, robotii vad daca pe acel IP exista si alte site-uri, subdomenii sau fisiere. Odata descoperite, ele sint programate spre crawling periodic.

Alta ar fi link-urile externe, daca sint. Ele pot da semnale robotilor ca o pagina sau un site primeste sustinere de la un site nou.

Ping-ul e o alta metoda de a anunta robotii ca exista un domeniu nou sau o pagina noua.

Si cred ca daca ne gandim gasim multe alte semnale pe care robotii le primesc, altele decat IBL-urile.