Lista IP-uri boti

[VisualMind]

Salut.
Ma poate ajuta cineva cu o lista a IP-urilor care o pot folosi sa contorizez exact numarul de vizitatori umani ? Nu vreau sa-mi scape si sa am hituri la un sistem de contorizare din partea botilor, indiferent de natura sau origine.

Are cineva asa ceva ? Eu am adunat o lista destul de mare, dar cred ca-mi scapa totusi cei din Romania. Daca e sa fac o comparatie pe o pagina de test, numarul afisarilor cu cel de la trafic.ro nu bate deloc.

Mersi

[Krumel]

Liste Ip Pe Judete
Tot cu o cautare pe forum.
Sper sa te ajute.

Liste des adresses IP de GoogleBot - lista Ip-urilor pe care le are GoogleBot.

[Cristian Mezei]

Cel mai simplu contorizezi dupa User-Agent nu dupa IP..

Fiecare bot poate avea zeci/sute de IP-uri.

http://www.robotstxt.org/wc/active/html/index.html
http://www.psychedelix.com/agents/index.shtml

[VisualMind]

Cel mai simplu contorizezi dupa User-Agent nu dupa IP..

Dupa user-agent ar fi putin cam riscant. As putea exclude si vizitatori reali sau nu as bloca toti botii. Fie una, fie alta. Multi boti se mascheaza ca
Mozilla/4.0 (compatible; MSIE 5.0; Windows NT).

Ma gandeam ca sunt niste liste publice actualizate cu IP-urile astea. Mai ales pe Romania. Site-urile de statistici banuiesc ca le folosesc. Cred ca botii de la "SE-urile" din romania imi scapa

[VisualMind]

Ar mai fi o solutie.

Sterg robots.txt si prind din htaccess apelul fisierului cu ErrorDocument 404.
Astfel ii prind IP-ul botului si il bag in baza de date in tabela de filtrare, refac headerul si ii trimit textul pentru robots.txt.
Asa, la fiecare apel al botilor, tabela se populeaza si incet incet o sa am toate IP-urile botilor.

Singura chestie de care nu sunt sigur este: toti botii apeleaza intai robots.txt ?

[Krumel]

Singura chestie de care nu sunt sigur este: toti botii apeleaza intai robots.txt ?

Probabil nu toti, dar marea majoritata, da.

[Cristian Mezei]

Probabil nu toti, dar marea majoritata, da.

Astia respecta toti.

http://www.robotstxt.org/wc/active/html/index.html

[serban]

cel mai bine este sa faci un match cu expresii regulate pe un array unde sa ai stocate semnaturile crawlerelor. ex http://www.ghita.ro/article/3/list_w...tools_etc.html

- nu este eficient matchul dupa IP
- nu este eficient dupa robotx.txt ; cel mai bine e cu htaccess sau din script

@VisualMind & all : dupa user-agent este cel mai bine. tu nu faci match la "Mozilla" ci la "Googlebot", "slurp", "msnbot" ,etc. - ex cauta in lista (http://www.ghita.ro/user_agents_list.html) googlebot si cauta mozilla

[Krumel]

serban... interesanta resursa.
Felicitari.

[mihaitha]

Sincer nu prea sunt de acord cu modelul acesta al lui serban. Cautarea dupa agent in mod sigur va elimina vizitatori din sistemul de contorizare, intrucat e evident ca multi spideri/crawleri se mascheaza ca si agenti 'cumsecade', probabil tocmai din acest considerent. Citez din lista de crawleri:

Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; en) Opera 8.50
Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; en) Opera 8.51
Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; en) Opera 8.53
Mozilla/4.0 (compatible; MSIE 6.0; Windows 98; en) Opera 8.54

sau

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) Opera 7.11 [en]
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) Opera 7.23 [en]
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) Opera 7.50 [en]
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) Opera 7.54 [en]
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0) Opera 7.54u1 [en]

Cu alte cuvinte, orice vizitator care imi intra cu Opera 8.5x de pe Win98 sau cu opera 7.x de pe Win2000 e vazut ca si crawler si nu mi-e contorizat. Mie nu-mi convine asa ceva. Zic ca ideea lui VisualMind cu accesul la robots.txt e cea mai buna. Daca cineva face un spider care nu acceseaza robots.txt oricum iti da hituri aiurea, asa macar ii prinzi pe aia de bun augur.
Sporuri.