Versiune printabilă
Ok ... hai sa o luam si asa ... pentru a prelua ip-urile nu am nevoie de nici o permisiune ... nici macar sa crawluiesc pagina. Sunt informatii publice. Cei drept ca pentru Adsense si Analytics trebuie sa crawluiesc dar la fel ca si ip-ul si acelea sunt informatii publice. Mai mult ofer si o modalitate sa nu mai se permita crawl-ul .. deci e ok.
Am liste cu TOATE domeniile .com, .net, .org, .info la data de 19 Octombrie anul asta, daca te intereseaza.
Nu cred ca ma intereseaza ... e mai ok sa crawluiesc ...
Update: pagina principala e gata ... atasez printscreen ... astept opinii/sugestii/etc
StarNET, ai folosit un crawler opensource sau este unul custom?
Ar fi foarte interesant sa tii si un istoric, sa poti vedea istoria unui domeniu.
Daca vreau sa ma sterg din baza de date a siteului tau cum fac? Fara sa urc pe site meta-uri sau alte rahaturi.
Nici eu nu sunt de acord sa imi indexezi site-urile, poti sa o iei ca o sesizare oficiala
Ca o sugestie, cred ca ar tb sa adaugi pe site un form unde sa submiteze lumea domeniile care vor sa nu fie indexate.
De acord cu Cristi. Eventual, la fel sa fie si cu submit-ul unui site, care poate n-are decat 1 backlink de pe cine stie ce pagina pe care tu n-ai crawlerit-o.
Robots.txt altfel trebuie sa verifice ca domeniul e al celui care face submit.Citat:
Postat în original de Cristi Ursut