Proiect Domenii, Ip-uri, etc

[StarNET]

Clar nu e cazul meu ... in primu rand nu indexez/nu pastrez cache al paginilor.
Preiau doar titlu si 2 id-uri daca ele exista ( unul de adsense celalalt de analytics ) ...

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Nu s-o merita, dar ar fi etic sa o faci!

se pune problema de etica daca as pastra cache al paginilor si/sau le-as afisa pe site ( cum face google ) ... iar in cazul meu nu o fac si nu o voi face ... cei drept ... gray area

[Cristi U]

se pune problema de etica daca as pastra cache al paginilor si/sau le-as afisa pe site ( cum face google ) ... iar in cazul meu nu o fac si nu o voi face ... cei drept ... gray area

Dar faci publice niste date cu care unii poate n-ar fi de acord. Din acest punct de vedere zic ca n-ar fi etic.

[lovelife]

Pe mine m-ar deranja mai mult ca faci publice conexiunile intre site-urile mele decat ca pastrezi un cache

[Cristi U]

Pe mine m-ar deranja mai mult ca faci publice conexiunile intre site-urile mele decat ca pastrezi un cache

Exact asta era si ideea mea.

[StarNET]

Clar nu preiau decat informatii publice, sunt zeci de mii de site-uri care fac legaturi intre ip-uri ... iar id-uri de adsense/analytics e doar urmatoru pas
Ca fac eu legatura intre ip-uri sau id-uri de adsense/analytics nu e nimic ilegal/imoral.

LE: Desi si discutia asta e una interesanta, topicul l-am deschis pentru diverse sugestii despre imbunatatirea site-ului ... nu pentru a discuta despre etica ... deci pe cat posibil sa ne indreptam in aceea directie. Va multumesc.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

LE: am gasit o cale de mijloc care mi se pare ok ... pentru cei care nu doresc sa le fie indexate site-urile pot pune un meta:
<meta name="wsidb" content="no">

astfel impusc doi iepuri deodata ... crawluiesc prima paginam, daca gasesc tag-ul nu preiau informatiile, daca nu gasesc tag-ul le preiau ..

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

UPDATE:

inca 10 ore de munca s-au investit in proiect si multa optimizare sql si am ajuns la urmatoarele statistici:

pentru 90376 de domenii in baza de date cat am momentan din care 15604 au si fost crawluite iar alte 74772 am doar ip-ul si urmeaza sa fie crawluite baza de date are doar 15 MB

Plus minus sa zicem ca pentru 40.000 de domenii crawluite baza de date are 15 MB
aia inseamna ca pentru 10.000.000 de domenii baza de date va avea ~ 4 GB ceea ce nu e rau deloc ... iar cu 10 milioane de domenii cred ca voi depasi orice baza de date de acest gen de pe internet ... ceea ce la fel nu e rau ...

o alta statistica care mi-a venit acuma in cap si care urmeaza sa o implementez e cea de subdomenii in care se va putea vedea ce subdomenii are un domeniu, lucru care la fel mi se pare destul de util si care nu l-am vazut inca ...

[Kaa]

@haos probleme de hosting nu vor fi , robots.txt ar insemna inca o accesare in plus la fiecare crawl ... pe de o parte e ok sa tii cont de robots.txt pe de alta parte 99.999% din site-uri nu vor sti de mine si nu se vor obosi sa ma adauge in robots.txt, prin urmare eu zic ca nu se merita



--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

LE: am gasit o cale de mijloc care mi se pare ok ... pentru cei care nu doresc sa le fie indexate site-urile pot pune un meta:
<meta name="wsidb" content="no">

astfel impusc doi iepuri deodata ... crawluiesc prima paginam, daca gasesc tag-ul nu preiau informatiile, daca nu gasesc tag-ul le preiau ..[COLOR="Silver"]

Si este acelasi lucru care l-ai zis chiar tu mai sus, 99.99% nu stiu de tine, cum ar putea pune acel meta?

[StarNET]

Pai si daca tin cont de robots.txt nu e acelasi lucru ? Da .. intradevar ... din robots.txt e directiva prin care nu permiti nici un robot dar sa fim seriosi ... 99.99% traiesc din motoare de cautare.

[Cristi U]

Pai si daca tin cont de robots.txt nu e acelasi lucru ? Da .. intradevar ... din robots.txt e directiva prin care nu permiti nici un robot dar sa fim seriosi ... 99.99% traiesc din motoare de cautare.

99.99%? Eu stiu atatea site-uri, unele chiar mari cu un procent aproape nesemnificativ de vizite din motoarele de cautare... ) Afirmatia ta poate era valabila acum 4-5 ani. Acum mai exista si Social Media, plus atatea alte tool-uri care sa te faca cu anumite tipuri de site-uri sa nu mai depinzi de motoarele de cautare.

[StarNET]

Tinand cont de numarul total de site-uri de pe internet ( de la alea cu sute de mii sau milioane de unici pe zi pana la cele care nu au nici macar unul pe zi ), procentul care nu depind de motoare de cautare ( in special de Google ) e chiar nesemnificativ. Sunt multi internauti care cauta pe google adresa site-ului ( spre exemplu nytimes.com ) si de pe google intra pe nytimes.com ... deci ...

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

LE: cred ca ar trebui sa pun niste filtre totusi de detectare a site-urilor porno si de a nu le adauga in crawl deoarece sunt al naibii de multe ... desi pe de alta parte pentru webmasteri le-ar fi util sa stie daca nu cumva pe ip-ul care il impart cu altii nu cumva sunt si site-uri porno ...

[haos]

Cu cat indexezi un numar mai mare de siteuri cu atat exista posibilitatea sa nemeri pe cineva care sa fie deranjat de faptul ca nu respecti robots.txt. Eu ti-am dat un sfat ca sa previi si sa nu ajungi in situatia in care am ajuns eu cu webmasterii respectivi.

Uite cea mai frecventa situatie intalnita de mine: unii aveau pe langa siteuri "cuminti", si siteuri de warez, porn, fie hostate pe hostul firmei la care lucrau, fie nu voiau sa afle clientii lor ca se ocupa si cu astfel de siteuri, etc. In cazul meu, ghinionul a fost ca acei webmasteri sa fie rusi, iar asta nu mai necesita nicio explicatie.

Cat despre imbunatatiri, de ce nu pui chiar pe site un formular de feedback? Asa o sa aflii chiar de la cei care-l folosesc ce asteptari au de la acest tool si astfel poti sa te concentrezi mai mult pe imbunatatirile care o sa-ti aduca o audienta mai mare si mai fidela.