Proiect Domenii, Ip-uri, etc

**StarNET** · 10th November 2011, 20:12

Ok ... hai sa o luam si asa ... pentru a prelua ip-urile nu am nevoie de nici o permisiune ... nici macar sa crawluiesc pagina. Sunt informatii publice. Cei drept ca pentru Adsense si Analytics trebuie sa crawluiesc dar la fel ca si ip-ul si acelea sunt informatii publice. Mai mult ofer si o modalitate sa nu mai se permita crawl-ul .. deci e ok.

**puthre** · 10th November 2011, 21:38

Am liste cu TOATE domeniile .com, .net, .org, .info la data de 19 Octombrie anul asta, daca te intereseaza.

**StarNET** · 11th November 2011, 10:51

Nu cred ca ma intereseaza ... e mai ok sa crawluiesc ...

Update: pagina principala e gata ... atasez printscreen ... astept opinii/sugestii/etc

**Bogdan Ungureanu** · 11th November 2011, 14:20

StarNET, ai folosit un crawler opensource sau este unul custom?

**puthre** · 11th November 2011, 20:57

Ar fi foarte interesant sa tii si un istoric, sa poti vedea istoria unui domeniu.

**-Rares-** · 11th November 2011, 21:27

Daca vreau sa ma sterg din baza de date a siteului tau cum fac? Fara sa urc pe site meta-uri sau alte rahaturi.

**lovelife** · 11th November 2011, 21:38

Nici eu nu sunt de acord sa imi indexezi site-urile, poti sa o iei ca o sesizare oficiala

**Cristi U** · 11th November 2011, 22:24

Ca o sugestie, cred ca ar tb sa adaugi pe site un form unde sa submiteze lumea domeniile care vor sa nu fie indexate.

**tymbark** · 11th November 2011, 23:16

De acord cu Cristi. Eventual, la fel sa fie si cu submit-ul unui site, care poate n-are decat 1 backlink de pe cine stie ce pagina pe care tu n-ai crawlerit-o.