Statistici apache

[StarNET]

Intrebam aici: Statistici apache de solutii de monitorizare trafic pe apache ...

Din pacate nu s-a gasit nimic care sa imi satisfaca necesitatile ...
Asa ca m-am apucat eu sa fac si am facut ... si e gata ..

Am realizat dupa .... ca am facut un tool foarte light si ca probabil ar fi folositor si pentru altii ...

Atasez cateva imagini si mentionez cateva facilitati:
* statistici de trafic pe fiecare domeniu in parte + statistici generale cu trafic total pe apache
* foloseste log-urile apache pentru informatii despre trafic
* stergere automata a log-urilor apache vechi
* nu foloseste baze de date, doar fisiere unde se stocheaza informatiile obtinute
* instalare usoara, preia automat fiecare domeniu hostat, fara modificari ulterioare
* din cate am testat am ajuns la log de 200 MB/zi si vad ca se descurca fara probleme

* fata de awstats sau alte magarii, acest script contorizeaza atat sent bytes cat si received ( pe cand awstats contorizeaza doar sent-ul )

Asa ca sunt curios daca ar folosi cineva asa ceva si daca ar fi dispus sa plateasca pentru acest script cativa euro ...

s1.jpg s2.jpg s3.jpg s4.jpg

[adrian_hs]

Acuma depinde de necesităţi, eu mă mulţumesc şi cu syslog din linux. Mi-e de ajuns pentru a vedea live traficul.

[StarNET]

atat ? Asta e tot ? Un singur om care are server propriu/dedicat ? ...

[Alex Dumitru]

Pai daca avem nu inseamna ca ne ajuta scriptul asta cu ceva

[resahc]

E destul de greu (cred) sa convingi pe cineva sa foloseasca un script pentru statistici "no-name".
Cateva mici scapari si ingenunchezi lejer un server, cat o fi el de "mare".

P.S. A nu se intelege ca am ceva cu scriptul tau. Din contra, recomand sa continui lucrul la el.

[Nosfer]

N-as baga scriptul asta nici daca as fi platit sa-l folosesc

[deadworldisee]

Din start scriptul tau nu e scalabil
"foloseste log-urile apache pentru informatii despre trafic"
sa zicem ca am un site care incarca fisierul log de apache cate 1GB/zi si asta nu ar insemna deloc o exagerare.
Ca sa poti sti de unde si pana unde citesti intr-un fisier ,trebuie sa citesti mai intai tot fisierul in intregime,deci umpli lejer 1GB de ram.
Asta e cazul fericit.Cazul mai nefericit e ca sigur acel script nu are limitare la citire pentru bufferul din HDD, adica daca incepi sa citesti fisierul de 1GB vei consuma lejer 80% din buffer HDD pentru cateva secunde bune,iar restul siturilor nu vor mai avea buffer gol pt citirea imaginilor intr-un timp scurt.
Pentru ati da seama cam pana unde ar fi trebuit sa ajunga arhitectura din spatele scriptului iti spun niste termeni ce ar fi trebuit folositi in multe cazuri pentru scalabilitate:inverted index,reiserjs,multicore support,on the fly processing....
Nu iti spun in nume de rau, din partea mea poti continua scriptul,insa ar fi intelept sa nu iti pierzi vremea dezvoltandu-l fiindca nu vei reusi sa il monetizezi.

[StarNET]

@deadworldisee, cel mai bun feedback ( defapt singuru ), mersi pentru el si am sa iti raspund

Ca sa poti sti de unde si pana unde citesti intr-un fisier ,trebuie sa citesti mai intai tot fisierul in intregime,deci umpli lejer 1GB de ram.

scriptul e facut din doua parti:
- prima parte este un script care parseaza informatii ( log-urile apache ) si salveaza niste fisiere mici cu informatiile rezultate, nu conteaza traficul facut, rezultatul este de cam 400 de caractere pe domeniu urmarit pe zi ( pentru fiecare zi se face un singur fisier indiferent de numarul de domenii urmarite )
( acest script poate fi pus intr-un cron care sa ruleze la x ore/odata pe zi/ sau chiar poate fi rulat manual ... )
- a doua parte de script e cel de afisare a rezultatelor, afisarea reazultatelor facandu-se citind fisierele parsate ( cele mici ! )

Deci clar afisarea rezultatelor nu prezinta nici un fel de problema de mancaat resurse/etc

Cat despre parsarea informatiilor si citirea log-urilor:
Folosesc functia de popen din php si functia de cat din linux

    $handle = popen("cat logs/access_log-".$day, "r");
    if ($handle) {
        while (!feof($handle)) {
            $buffer = fgets($handle, 4096); 

Din constatarile mele nu ingreuneaza cu nimic serverul, citind bucati din fisier, nu tot odata ...

Recunosc ca nu am facut testing la fisiere mai mari dar astept feedbacku tau deadworldisee privind metoda mea de citire ...

[deadworldisee]

pai prima parte e buba, ca trebuie sa citesti tot fisierul in intregime si nu ai luat in considerare daca fisierul de log poate atinge cativa GB.
Iti recomand sa dezactivezi scrierea logurilor prin apache ,si sa faci un daemon in php cu PEAR(este usor) in care sa incluzi un server pe socket pe udp (este usor si numai bun daca trimiti maxim 500 caractere) cu multiprocesare prin fork(daca nu stii sa il instalezi peste php curent, iti dau eu un pont) in care sa faci deja partea a 2 adica impartirea in fisiere mici.
faci un client de socket sa trimiti datele, pe care il incluzi in paginile sitului sau in index in functie de cum ai tu structurat situl si astfel faci parsarea fisierelor on the fly, fara sa conteze cate sute de mii de accesari ai pe zi