Consum foarte mare de resurse

Salut,

In urma cu un an am refacut Lista firme pe o platforma proprietara (php, mysql si putin js). Nu au fost probleme, pana ce site-ul a inceput sa creasca intr-un ritm mai accelerat. Acum sunt pe site aproximativ 150.000 de produse, adaugate de cele 12.000 de firme inscrise, precum si alte 150.000 de anunturi gratuite. Acestea ar fi cele mai importante piese de continut. Site-ul este accesat in medie de 6.500 unici pe zi.

Problema este timpul foarte mare de incarcare pe anumite pagini principale, cum ar fi Lista produse sau Anunturi gratuite, dar si pe pagini interne, gen pagina cu detalii produs sau detalii anunt.

Am tot optimizat interogari incete semnalate de hoster (gazduire.ro), insa lucrurile nu par sa se fi rezolvat in totalitate. Acum site-ul este singur pe un server si chiar daca nu se mai misca atat de rau, tot nu sunt multumit de prestatie.

Daca aveti sugestii.. aruncati-le catre mine.


Mihai Vinatoru.

Yslow acorda ambelor pagini nota c (~70).
Empty cache:

Cod:

---

HTTP Requests - 89
Total Weight - 750.2K
 
        1        HTML/Text        11.3K
 
        12        JavaScript File        97.8K
 
        3        Stylesheet File        52.7K
 
        1        Flash Object        3.0K
 
        28        CSS Image        174.9K
 
        42        Image        410.1K
 
        2        Redirect        0.2K

---

Primed cache:

Cod:

---

HTTP Requests - 81
Total Weight - 365.4K
 
        1        HTML/Text        11.3K
 
        10        JavaScript File        3.2K
 
        3        Stylesheet File        0.0K
 
        28        CSS Image        0.0K
 
        39        Image        350.8K

---

Nu sunt mare expert, dar cred ca asta e o problema care poate fi rezolvata destul de usor si cred ca va reduce mult din timpul de incarcare.

Leverage browser caching (16/100) Adauga asta in .htaccess

Cod:

---

# Asset Expiration
  ExpiresActive On
  <FilesMatch "\.(ico|gif|jpeg|jpg|png|js|css|php)$">
    ExpiresDefault "access plus 1 year"
  </FilesMatch>

---

Mai multe detalii legate de viteza de incarcare ai aici.

Mi se pare ciudat:

Cod:

---

http://www.e-oferta.ro/produse

---

Time to first byte: 9469 ms

Citat:

---

Postat în original de Nichita

Leverage browser caching (16/100) Adauga asta in .htaccess

Cod:

---

# Asset Expiration
  ExpiresActive On
  <FilesMatch "\.(ico|gif|jpeg|jpg|png|js|css|php)$">
    ExpiresDefault "access plus 1 year"
  </FilesMatch>

---

Mai multe detalii legate de viteza de incarcare ai aici.

---

eu am ceva de genul

Cod:

---

<ifmodule mod_expires.c>
  <filesmatch "\.(ico|jpg|gif|png)$">
      ExpiresActive on
      ExpiresDefault "access plus 1 year"
  </filesmatch>
</ifmodule>

---

in .htaccess
incerc si cu codul de la tine.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Citat:

---

Postat în original de Nichita

Mi se pare ciudat:

Cod:

---

http://www.e-oferta.ro/produse

---

Time to first byte: 9469 ms

---

da, asta am observat si eu. paginile se inarca relativ repede, dupa ce trece bucata asta de timp in care aparent nu se intampla nimic.

Si eu am subiectul asta cu Time to first byte: 1,6s la un site, am mutat site pe alt host si sa redus semnificativ, si eu sunt singur pe server

Cateva sugestii:
- salvarea imaginilor siglelor si produselor in diferite dimensiuni o singura data la inceput ar putea solicita procesorul mai putin decat redimensionarea lor cu thumbnails.php la fiecare accesare de pagina;
- folderele de imagini ar trebui sa aiba cache, atat cele cu imagini ale produselor si siglelor, dar si cele cu imaginile template-ului;
- de regula load-ul pe server si intarzierile in livrarea paginilor sunt generate de catre MySQL care ruleaza greu, asa ca sugerez verificarea si oprimizarea interogarilor MySQL realizate de site in fiecare situatie practica (generarea listei de firme, a listei de produse, afisare individuala firma + lista firmelor similare etc);
- implementarea unei solutii de cache pe pagini (adica sa nu rulezi PHP+MySQL la fiecare accesare de pagina, ci sa le salvezi / livrezi ca si flat-files, cu regenerare din php o data la cateva zile), asta s-ar putea sa nu-ti convina daca vrei ca totul (firme, produse) sa fie in timp real pe site, plus ca daca vrei sa schimbi ceva in layout asta se va reflecta pe site abia dupa regenerarea paginilor din cache;
- trecerea la un server dedicat cu procesoare mai multe / mai puternice (vezi aici o lista cu procesoare folosite pe servere), dar si cu mai multa memorie.

P.S.
- pe cat posibil, blocarea botilor (care citesc paginile pentru a gasi adrese de e-mail, sau pentru furt de continut) si motoarelor de cautare care-ti citesc site-ul fara alt efect pentru tine decat cresterea load si bandwidth.

- Precum a zis c_n_m, in loc sa folosesti thumbnails.php salveaza imaginea in diverse dimensiuni (pe care le folosesti pe site) in momentul in care se introduc in baza. Iar cand le afisezi pune si atributele height si width, ceva de genul: <img src="" width="" height=""> - ajuta browser-ul sa pozitioneze mai bine si mai repede imaginea - nu mai asteapta incarcarea ei intai.
- Chiar daca folosesti MySQL si ai multe inregistrari nu inseamna ca trebuie sa fie lent - optimizeaza query-urile cat mai mult posibil, baza de date sa fie cat mai normalizata si adaugarea indecsilor e un must pentru a spori viteza. La fel si folosirea view-urilor e mai buna decat rularea unui query complex din php.

multumesc pentru raspunsuri, imi sunt de mare ajutor.

Am observat o chestie cel putin ciudata: dupa implementarea sistemului de cache de la White Whale Tech: Smart Cache for PHP , paginile se incarca mai greu decat fara el. sa fie de vina sistemul (desi mie mi se pare profesional), sau pot sa existe alte cauze?

concret, pagina Lista produse obtine un timp de incarcare cu 50% mai mare dupa activarea acestui modul :(


Edit: cel mai mare indicator este timpul pana la primul byte, care reprezinta aproximativ jumatate din timpul total de incarcare. Astfel, daca la pagina indicata mai sus am un tip de incarcare de 12 secunde, incarcarea efectiva incepe undeva dupa 6-7 secunde.

Problema este acel timp de incarcare la primul bit (1 secuind),
Ai incercat sa faci o copie a site-ului pe acelasi server (si fisiere si baza de date), care sa nu fie accesata decat de tine. De asemena sa incerci o instalare de test la o alta firma de hosting, e posibil sa fie si ceva de la firma de hosting.

@c_n_m: orice fel de cache, numai flat_file cache nu! Pe un site-ulet mai micut sa zicem ca nu s-ar observa diferenta dintre un cache de genul acela si ceva gen memcached, dar la un trafic mai mare se observa. Asa ca... mai bine ar folosi memcached.
Spre exemplu, poti face cache cu rezultatele query-ului care iti returneaza categoriile si subcategoriile. Iar atunci cand adaugi o noua categorie/subcategorie... sa regenerezi cache-ul. Sau poti sa cache-uiesti chiar HTML-ul rezultat in urma rularii scriptului PHP.

Citat:

---

Postat în original de casperel

@c_n_m: orice fel de cache, numai flat_file cache nu! Pe un site-ulet mai micut sa zicem ca nu s-ar observa diferenta dintre un cache de genul acela si ceva gen memcached, dar la un trafic mai mare se observa. Asa ca... mai bine ar folosi memcached.
Spre exemplu, poti face cache cu rezultatele query-ului care iti returneaza categoriile si subcategoriile. Iar atunci cand adaugi o noua categorie/subcategorie... sa regenerezi cache-ul. Sau poti sa cache-uiesti chiar HTML-ul rezultat in urma rularii scriptului PHP.

---

OFF: M-ar interesa si pe mine chestia asta.....Ce e mai bine? Sa faci cache la rezultatele din db sau la tot HTML-ul?

OFF: depinde de situatie! Pe o pagina poti sa ai anumite informatii pe care vrei sa le afisezi in timp real, in cazul asta... eu as face cache doar la query-urile care consuma sau la cele care returneaza informatii actualizate mai rar. Daca nu, eu zic ca e mai ok sa cache-uiesti tot html-ul (output-ul) cu un TTL de cateva minute, ore, zile.

Trebuie sa iti configurezi serverul de php , nginx este configurat bine
Probabil folosesti php-fpm si depasesti numarul de conexiuni setat din config. Pentru mysql uitate in phpmyadmin la stare si mareste toate variabilele care sunt trecute cu rosu. Sper ca in codul paginii nu ai folosit structuri gen
"
for($i=0;$i<30;$i++)
{
$select="interogare select";
$g=mysql_query($select);
$data=mysql_fetch....

}
"
Incearca sa apelezi cat mai putin mysql_query chiar daca o interogare devine o intersectie de mai multe interogari.

Citat:

---

Postat în original de casperel

@c_n_m: orice fel de cache, numai flat_file cache nu! Pe un site-ulet mai micut sa zicem ca nu s-ar observa diferenta dintre un cache de genul acela si ceva gen memcached, dar la un trafic mai mare se observa. Asa ca... mai bine ar folosi memcached.
Spre exemplu, poti face cache cu rezultatele query-ului care iti returneaza categoriile si subcategoriile. Iar atunci cand adaugi o noua categorie/subcategorie... sa regenerezi cache-ul. Sau poti sa cache-uiesti chiar HTML-ul rezultat in urma rularii scriptului PHP.

---

Daca se poate face cache in memorie in loc de harddisk, cu atat mai bine! Nu stiam asta, + 1 de la mine.

M-am hotarat sa migrez catre un server dedicat, pe care sa am flexibilitatea de a instala aplicatii gen memcached sau de a modifica diversi parametri.

Am primit urmatoare oferta de la o firma de hosting din Romania. Din pacate nu pot spune despre ce firma este vorba, pentru ca oferta nu a fost inca lansat si m-au rugat sa pastrez confidentialitatea datelor. Va rog totusi sa-mi spuneti daca vi se pare justificata diferenta de pret:


Server 1 ----------------------------- Server 2
CPU: E6500 2x 2,93GHz x64 ----------- CPU: Q8300 4x 2,5GHz x64
RAM: 6GB DDR3 ----------------------- RAM: 8GB DDR3
HDD: 2x 500GB RAID1 ----------------- HDD: 4x 500GB RAID10
Pret: 70 eur + tva -------------------- Pret: 100 eur + tva

Citat:

---

Postat în original de meetzah

Am primit urmatoare oferta de la o firma de hosting din Romania. Din pacate nu pot spune despre ce firma este vorba, pentru ca oferta nu a fost inca lansat si m-au rugat sa pastrez confidentialitatea datelor. Va rog totusi sa-mi spuneti daca vi se pare justificata diferenta de pret:


Server 1 ----------------------------- Server 2
CPU: E6500 2x 2,93GHz x64 ----------- CPU: Q8300 4x 2,5GHz x64
RAM: 6GB DDR3 ----------------------- RAM: 8GB DDR3
HDD: 2x 500GB RAID1 ----------------- HDD: 4x 500GB RAID10
Pret: 70 eur + tva -------------------- Pret: 100 eur + tva

---

si eu vreau sa imi mut serverul, mi se pare foarte buna oferta, asa ca ma intereseaza si pe mine
Ce trebuie sa mai intrebi, unde au data-centerul, eu fug de data centerul personal, pentru ca astea de obicei nu au multiple conexiuni la internet, generator etc, si alte sisteme importante, sa vezi daca suportul este 24 din 24, si pentru asta i-as suna la 3 noaptea sa ii intreb de sanatate, experienta in administrarea de servere web, sa stie cum sa raspunda la diverse atacuri ce pot avea loc asupra serverului tau, etc.
Poate imi dai si mie firma pe privat

Intre cele doua, l-as alege pe al doilea, deoarece procesorul Q8300 are 4 cores, fata de E6500 care are 2 cores. La cum spui ca se manifesta site-ul, pare ca de putere de procesare duce lipsa cel mai mult. Bine, al doilea server mai are in plus si 2 GB de memorie, care ar fi buni pentru memcache. In cazul in care vei folosi memcache (fa niste teste mai intai) e bine sa incerci sa faci salvarea doar pentru seturile de date, si nu pentru paginile intregi, ca sa iti ajunga cei 8 GB.

Numerele pe care le-ai scris mai sus sunt destul de mici fata de ce probleme de performanta ai. Sugestiile de mai sus sunt toate foarte ok insa eu as mai recomanda cel putin 2 lucruri: mutarea tuturor resurselor statice pe un cdn (asta o sa reduca semnificat timpul total de randare al paginilor) dar si o analiza pe performata codului scris si a arhitecturii (aici vorbesc de codul propriu zis, interogari sql, modalitati de agregare a informatiei in sql views, eventual produceri stocate care sa execute anuminte lucruri, response caching (memcached e o solutie buna), implementare eventuala de push cache changes ca sa nu depinzi de un timp de expirare al cache-ului etc).

Recomand sa incerci si Lite Speed ( litespeedtech . com ) , noi utilizam pe unele servere , poti lua versiunea trial 15 zile sa vezi cum se misca.

@Adrian, resursa indicata de tine arata foarte bine. Acum sunt in proces de migrare catre un server dedicat, pe care voi avea flexibilitatea sa-mi instalez acest gen de solutii. Din pacate, cum bine a observat @Chaos, devin din ce in ce mai convins ca o problema majosra este la modul in care a fost scris codul site-ului.