Website Log Analyzer

Salut.

Legat de discutia de aici am luat hotararea sa implementez eu ceva. Un produs care va face urmatoarele:

- import de loguri apache (via ftp, hdd, http)
- analiza la date si grafice si tabele pe datele importate
- optiune de import scheduler (odata la 10 min de ex )
- widget pentru yahoo widgets si gadget pentru vista care sa foloseasca datele extrase pentru realtime monitoring la unul sau mai multe websituri

Alte idei de adaugat?

PS: As avea nevoie de cineva care vrea sa doneze loguri pentru test. Undeva loguri > 20 Mb pe zi. PM me daca e cineva binevoitor.

parser de loguri apache nu e greu de facut, dar pot exista mai multe formate de loguri. eu am un log facut special in care sa vad hostname remote, hostname local, url GET, bytes, time (poti sa faci cu CustomLog).

logurile de la awstats cred ca au alt format.

Problema mea acum e testarea. Eu am loguri de pana in 5 mb, as vrea cateva exemple de loguri mai mari.

ce fel de loguri ai nevoie? apache access ? te pot ajuta eu, spune ce fel de loguri iti trebuie

Apache access. Sunt foarte aproape de perioada de test, deci loguri de test sunt binevenite.

ok ,iti dau pm mai pe seara cu link de unde sa downloadezi.

Superb, mersi.

moama, noroc cu tine :(( tocmai am gasit un acces log de 4GB in 3 luni :(( tre sa il fac pe zi sau sa ii dau un grep.. incredibil :))

Cool, vrei sa iti dau un ftp account sal pui la mine undeva?

am dat acu un grep, sa vedem cat sa strans cand termina.. si o sa iti dau link mai bine pe pm
ti si pare ok 4gb care sunt defapt in 2 luni de zile, la un numar mediu de 2000 de vizitatori si 40.000 de afisari ?

mor de ras :) rw-r--r-- 1 root root 100881904 Apr 1 13:21 azi.access.log si si nici nu sa terminat ziua..:P vezi linku pe PM

E un pic mare, atentie ca poti defini layoutl la acess log ce sa se salveze in el. Probabil ca acuma se salveaza tot.

Eu am ca referinta 300 unici - 2 Mb.

imi poti da cum ai tu CustomLog in httpd.conf?

Citat:

---

Postat în original de inscaun

imi poti da cum ai tu CustomLog in httpd.conf?

---

Check pm. Sunt cu downloadul la 51%.

Dragilor, e f. interesanta discutia voastra, dar nu vreti s-o continuati doar pe PM? Totusi ...

parserul de log trebuie sa cunoasca formatul logului, ca daca se foloseste CustomLog , pot fi ft multe formate, ex eu am:

Cod:

---

"msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)" www.ghita.ro GET /robots.txt HTTP/1.0 208 404 0 [07/Apr/2007:13:20:09 +0300]
"msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)" www.ghita.ro GET /article/18/studiul_mcti_referitor_la_piata_comertului_electronic_in_romania.html HTTP/1.0 10784 200 0 [07/Apr/2007:13:20:10 +0300]

---

adica

Cod:

---

CustomLog %h %v %r b% %>s %T %t

---

tu daca nu cunosti formatul logului este foarte greu sa parsezi si sa recunosti portiunile de text, daca nu pornesti de la un format predefinit

Ce se mai aude de acest tool? Am un log de vreo 10GB.. si cu awstat nu am reusit sa-l citesc (da eroare din cauza ca e prea mare fisierul)

Nu l-am lansat, am un beta la el insa probabil numai in 6-8 luni o sa il public. Sunt cateva probleme la el la care m-am blocat.

Ce probleme? In ce l-ai scris?

Probleme legata de viteza, de stocarea informatiei in baza de date si de viteza parsingului.