Random from sql: cum sa il fac sa se incarce mai repede

Am mai multe produse ,impartite in categorii si subcategorii,fiecare cu un id number unic.Problema mea este ca e foarte solicitat serverul din cauza mysql .

S-ar putea afisa altfel rezultatele random,din php ,ca sa se incarce mai repede paginile?

Citat:

---

$sql = "select * from produse WHERE (categorie='$categorie' and subcategorie='$subcategorie') ORDER BY RAND() LIMIT 15";
$result = mysql_query ($sql);
$nume_produs = $row["nume_produs"];
$descriere = $row["descriere"];
echo "
$nume_produs $descriere

---

Citat:

---

Postat în original de evolution

Am mai multe produse ,impartite in categorii si subcategorii,fiecare cu un id number unic.Problema mea este ca e foarte solicitat serverul din cauza mysql .

S-ar putea afisa altfel rezultatele random,din php ,ca sa se incarce mai repede paginile?

---

Sa-mi zici te rog cat timp dureaza query-ul tau si cat dureaza al meu...:)(vezi in phpmyadmin )

SELECT * FROM produse AS a JOIN ( SELECT RAND( ) * ( SELECT MAX( id ) FROM produse ) AS id) AS b WHERE a.id >= b.id and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15

Sper ca ai id cu primary si auto_increment in produse.....

Daca bagi intr-un sql order by rand() nu il faci sa mearga mai repede, in cele mai multe cazuri dureaza mai mult sa se execute (depinde de tipul de date din tabel si de marimea acestuia.

Daca problema ta este viteza de executie inseamna ca problema e alta.

Spune-mi, te rog, ce tip sunt declarate campurile categorie si subcategorie, cate campuri are tabela si cate inregistrari.

Citat:

---

Postat în original de deadworldisee

---

- ID este auto_increament;
- ID primary este activa,adica pot da click pe ea;e inactiva numai la coloana descriere

Citat:

---

SELECT * FROM produse AS a JOIN ( SELECT RAND( ) * ( SELECT MAX( id ) FROM produse ) AS id) AS b WHERE a.id >= b.id and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15

---

- id aici am pus 20 , adica selecteaza 20 de produse dupa care alege din ele 15,daca am inteles (am pus numar mai mare in caz ca lipseste vreun id)
- la albastru trebuie modificat,adica in loc de a sa trec id-ul maxim din baza de date ,iar la b id-ul minim?
- in URL rescris apare produs-1.4372686310087.html ,adica in loc de id apare acest nr 1.4372686310087;asta vad cum o rezolv,sa vad intai ca merge mai repede selectia

Citat:

---

Postat în original de danielbuca

---

- vreau sa folosesc random in continuare,caut o solutie sa mearga mai bine decat acum
- categorie si subcategorie: Type: varchar(100) latin1_swedish_ci
- tabela 35 de campuri si mai multe mii de id-uri (magazin online,cu informatii text si ceva poze)

Imi merge greu si cand afiseaza lista de produse pe o categorie sau subcategorie anume,iar acelea nu sunt Random. Celelalte pagini sunt ok.

Citat:

---

Postat în original de evolution

- ID este auto_increament;
- ID primary este activa,adica pot da click pe ea;e inactiva numai la coloana descriere



- id aici am pus 20 , adica selecteaza 20 de produse dupa care alege din ele 15,daca am inteles (am pus numar mai mare in caz ca lipseste vreun id)
- la albastru trebuie modificat,adica in loc de a sa trec id-ul maxim din baza de date ,iar la b id-ul minim?
- in URL rescris apare produs-1.4372686310087.html ,adica in loc de id apare acest nr 1.4372686310087;asta vad cum o rezolv,sa vad intai ca merge mai repede selectia

---

Lol.... vezi ca id este un field nu il modifica tu cu numere. puneti in cod exact interogarea care ti-am dat-o.
Testeaz-o si in phpmyadmin sa vezi ce timp iti da(DAR NU MODIFICA INTEROGAREA).

Daca tabelul tau depaseste 5000 de row-uri,punei un index dupa categorie si subcategorie, o sa iti creasca viteza de cel putin 7-8 ori.

Daca faci inserari in tabelu asta si tot din asta selectezi iti recomand sa faci 2 tabele una pt insert si alta pt select, pt ca mysql tine in ram vechile interogari astfel la a 2 interogare facuta returneaza cu o viteza foarte mare.(nu e si cazul pt random).

pe locul 3 in speed pt mysql este tipul campurilor
foloseste char pt campuri cu text pana in 255 charactere, varchar pt text pana in 10000 caractere,text pt campuri >10 k caractere cu full text pe el si evident selecturi cu mace against ......

Fa pasii astia si o sa scoti un timp aprox 0,0050 pt limit 15...


PS: eu folosesc random pt limit 3000 din peste 2 mil de rowuri si scot un timp de aprox 0.0100

Intr-adevar deadworldisee,merge cu 50% mai repede ,iar daca pun index merge cu 60%. Nu inteleg ce inseamna a.id >= b.id ..,pentru ca nu imi mai afiseaza id-ul corect,cum am spus mai sus, in url-ul rescris si nu imi dau seama de ce.

Tabel separat pentru inserari? Doar adaug produse noi.

pfff... nu o sa iti explic fiecare termen din interogare, insa b.id este cel mai mare id ales random si interogarea afiseaza 15 campuri dupa idul asta.Poate ca nu e 100% random dar oricum e mult mai rapid.

Nu stiu ce vrei tu sa selectezi de acolo dar in chestia asta

$result = mysql_query ($sql);
$nume_produs = $row["nume_produs"];
$descriere = $row["descriere"];
echo "
$nume_produs $descriere

ti-ar mai trebui $row=mysql_fetch_array($result);

Citat:

---

Postat în original de deadworldisee

SELECT * FROM produse AS a JOIN ( SELECT RAND( ) * ( SELECT MAX( id ) FROM produse ) AS id) AS b WHERE a.id >= b.id and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15

---

Sa zicem ca ultimul id (adica MAX(ID)) este 250.
RAND() * 250 da numar cu virgula, daca RAND() < 1.
Folosim CEIL pentru a rotunji numarul si a sacapa de ,

Asta nu putea fi scrisa ca
SELECT * FROM produse AS a JOIN ( SELECT CEIL(RAND( )*( SELECT id FROM produse ORDER BY id DESC LIMIT 1 )) AS id) AS b WHERE a.id >= b.id and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15
?

Adica de ce MAX(id) din moment ce este index pe id?

Si varchar este poate avea maxim 255 caractere. de ce recomanzi char(255)? Spatiu risipit aiurea daca nu se folosesc toate caracterele.

Iar functia asta ia doar id-ul random (b.id) dupa care returneaza rezultatele comparate cu acel id (afiseaza produsele cu id mai mare sau egal decat id-ul random in limita a 15. de exemplu, daca sunt 3 ce respecta conditia asta, doar 3)

Citat:

---

Postat în original de deadworldisee

Lol....

---

Exact ce a propus deadworldisee in postul de mai sus vroiam sa iti propun.
Subcategorie si categorie trebuie sa aiba index pe ele ca sa iti mearga decent.

Daca faci ordonare dupa rand() mysql isi va reface cache-ul la fiecare request deci performante nu o sa ai la tabele mari. Ideea e ca limit-ul se executa dupa ce se face where si order.
Incearca sa limitezi recordsetul adaugand o conditie suplimentara pt ca order-ul sa se faca pe un recordset mai mic.

Citat:

---

Postat în original de loco

Asta nu putea fi scrisa ca
SELECT * FROM produse AS a JOIN ( SELECT CEIL(RAND( )*( SELECT id FROM produse ORDER BY id DESC LIMIT 1 )) AS id) AS b WHERE a.id >= b.id and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15
?

---

Se pare ca CEIL face sa se afiseze id-urile corect in url rescris .
Dupa ce termin va anunt cu cat s-a imbunatatit viteza.

Thank you my friends!

Citat:

---

Postat în original de loco

Sa zicem ca ultimul id (adica MAX(ID)) este 250.
RAND() * 250 da numar cu virgula, daca RAND() < 1.
Folosim CEIL pentru a rotunji numarul si a sacapa de ,

Asta nu putea fi scrisa ca
SELECT * FROM produse AS a JOIN ( SELECT CEIL(RAND( )*( SELECT id FROM produse ORDER BY id DESC LIMIT 1 )) AS id) AS b WHERE a.id >= b.id and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15
?

Adica de ce MAX(id) din moment ce este index pe id?

Si varchar este poate avea maxim 255 caractere. de ce recomanzi char(255)? Spatiu risipit aiurea daca nu se folosesc toate caracterele.

Iar functia asta ia doar id-ul random (b.id) dupa care returneaza rezultatele comparate cu acel id (afiseaza produsele cu id mai mare sau egal decat id-ul random in limita a 15. de exemplu, daca sunt 3 ce respecta conditia asta, doar 3)

---

===========================
MAX(id) este maximul idului din tot tabelul ,nu inteleg ce treaba are index de id.


Daca folosesti CEIL faci o comanda in plus pentru ca la WHERE a.id >= b.id idurile sunt intregi si nu e nevoie sa il rotunjesti ca tot acelasi rezultat da.

Varchar nu are max 255 de caractere !!!! In functie de ce versiune de mysql ai.
Toate versiunile mai mici de 5.03 aveau 255 caractere,versiunile noi pot avea max 65,535 caractere.

diferenta dintre char si varchar e ca varchar foloseste 1 bit in plus,dar este mult mai eficient decat text cand depaseste 255 de caractere un row.


Da, interogare respectiva returneaza campurile mai mari de b.id insa b.id este random.

Daca ai doar 3 rowuri ai 1/3 sanse sa iti afiseze 3 rowuri pt limit 3.

Daca stii tu o interogare mai eficienta decat asta te rog arata-ne.Orice pont e bun in baze de date.

Umm da.. dar lui ii returna cu virgula (punct, ma rog) si acum am observat de ce. Deoarece random id are acelasi nume ca si coloana id.

So, si mai bine:
SELECT * FROM produse AS a JOIN ( SELECT RAND()*( SELECT MAX(id) FROM produse ) AS rid) AS b WHERE a.id >= b.rid and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15

Incearca cu acest query evolution.

Incearca sa faci si un composite index. Adica pui un index pe 3 coloane: id, categorie, subcategorie (in ordinea asta)

In legatura cu MAX(id).. credeam ca SELECT id FROM produse ORDER BY id DESC LIMIT 1 e mai rapid decat SELECT MAX(id) FROM produse.. Dar se pare ca m-am inselat. Sunt la fel (0.0001 sec pt 376243 inregistrari)

nu o sa ii mearga index pe id,categorie,subategorie pt ca id este setat primary.

Fa doar pt categorie,subcategorie

Cum sa nu mearga? Merge, ia testeaza :D

o sa iti arate un warning jos in structure .Poate tehnic a mers si nu a dat eroare dar ca eficienta nu castigi nimic in plus

* loco, daca coloana cu iduri se cheama gigel, cum arata codul (nu inteleg ce e fix si ce e personalizat pt ce am eu in sql)?

Functia JOIN se poate folosi si pentru altfel de selectii care ordoneaza rezultatele dupa un camp anume , ca sa maresc performanta de incarcare a paginii?
$sql = "select * from produse ORDER BY doc_id DESC LIMIT 20";

Pentru count (arata la fiecare subcategorie numarul total de produse ce se gasesc acolo) este vreo alternativa pt a mari viteza ?
$sql2 = "SELECT COUNT(*) AS numrows from produse WHERE (subcategorie ='$nume_subcategorie')";

Daca tot insisti pe super performanta fa tabele cu doar 2 fielduri in care un field sa fie keyword si fa selecturi doar pe joinuri.Evident iti umpli baza de date de tabele dar nu o sa mai ai probleme cu server load...

Daca discutati pur teoretic sa stiti ca normalizarea bazei de date la maxim nu mai e o solutie la cerintele aplicatiilor web de azi. Incercati database sharding ;)

danielbuca multumesc, am sa ma documentez mai incolo despre acest termen :D
Si oricum ajuta si normalizarea bazei de date, se simte cand o baza de date nu are indecsi sau/si e gandita prost.

Citat:

---

Postat în original de evolution

* loco, daca coloana cu iduri se cheama gigel, cum arata codul (nu inteleg ce e fix si ce e personalizat pt ce am eu in sql)?

Functia JOIN se poate folosi si pentru altfel de selectii care ordoneaza rezultatele dupa un camp anume , ca sa maresc performanta de incarcare a paginii?
$sql = "select * from produse ORDER BY doc_id DESC LIMIT 20";

Pentru count (arata la fiecare subcategorie numarul total de produse ce se gasesc acolo) este vreo alternativa pt a mari viteza ?
$sql2 = "SELECT COUNT(*) AS numrows from produse WHERE (subcategorie ='$nume_subcategorie')";

---

1. SELECT * FROM produse AS a JOIN ( SELECT RAND()*( SELECT MAX(id) FROM produse ) AS rid) AS b WHERE a.gigel >= b.rid and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15
Trebuie sa intelegi un query cat de cat..
Sa-mi spui daca a functionat

2. e foarte important sa-ti indexezi corect coloanele.. in acest caz sa ai index pe doc_id.
Daca era "select * from produse WHERE id = 10 ORDER BY doc_id DESC LIMIT 20" indexul trebuia sa fie composite (adica un index multi-coloane) pe doc_id, id (in ordinea asta)

3. Nu e bine gandita treaba cu count-ul. Eu personal as adauga in tabelul cu subcategorii o coloana in care sa-mi tin numarul de produse. Un unsigned SMALLINT de 5 sa zicem (daca nu depasesti 65535 produse/subcategorie).

E simplu si eficient ;)

Un mic exemplu: Se adauga un produs si se alege subcategoria "test" (care are id-ul 10). Pe langa query-ul de "INSERT INTO produse ...." mai punem un query "UPDATE subcategorii SET count = count+1 WHERE subcategorie_id = 10".

Iar cand vrei sa vezi cate produse ai la o subcategorie:
SELECT count AS numrows FROM subcategorii WHERE subcategorie_id = '$produs_subcategorie_id'

$produs_subcategorie_id reprezinta id-ul subcategoriei din care face parte produsul respectiv.

Daca vrei sa afiseze fiecare subcategorie si numarul total de produse pentru fiecare subcategorie
$query = mysql_query("SELECT * FROM subcategorii ");
while ($row = mysql_fetch_array($query)) {
echo $row['subcategorie_nume'].' ('.$row['count'].' )<br/>';
}

Alea le-am pus fictiv acolo.. mai departe te descurci tu.

Important: in acel query am vazut "$nume_subcategorie", niciodata nu fa legatura intre tabele pe varchar/text sau mai stiu eu ce.. foloseste INT (si variante de int) si coloanele de legatura sa fie de acelasi tip si lungime.

http://dev.mysql.com/doc/refman/5.0/...ric-types.html

later edit: corectari

Citat:

---

Postat în original de loco

1. SELECT * FROM produse AS a JOIN ( SELECT RAND()*( SELECT MAX(id) FROM produse ) AS rid) AS b WHERE a.gigel >= b.rid and categorie='$categorie' and subcategorie='$subcategorie' LIMIT 15
Trebuie sa intelegi un query cat de cat..
Sa-mi spui daca a functionat

---

Aceasta solutie functioneaza corect (cea cu CEIL afisa id-ul fara virgula,insa aparea acelasi id pt toate produsele random,ceea ce nu era ok). La varianta de mai sus am inlocuit id cu gigel,altfel dadea eroare.

In concluzie,am facut cate 5 requesturi before and after modificare:a scazut timpul de incarcare in medie de la 5 sec la 2,4 sec.
__________________________________________________ ____

Referitor la organizarea categoriilor si subcategoriilor,ai observat corect.Am 3 tabele:
1.tabela_categorii
- id_categorie (autoincreament,int16)=numar ex 5
- nume_categorie (varchar)=nume ex televizoare

2.tabela_subcategorii
- id_subcategorie (autoincreament,int16) =numar ex 1
- id_categorie (int16) =numar ex 5
- nume_categorie (varchar)=nume ex televizoare
- nume_subcategorie=nume ex televizoare_mici

3.tabela_produse :
aici categ si subcateg sunt reprezentate prin nume,respectiv televizoare si televizoare_mici.

Elementele in rosu sunt comune in cele 2 tabele. Solutia cea mai buna pe care o vad sa inlocuiesc in produse numele cat/subcat cu id-urile cat si subcat din primele 2 tabele; astfel banuiesc ca va dura mai putin cautarea fiind maxim 3 caractere tip numar si nu text.

Citat:

---

Postat în original de evolution

Aceasta solutie functioneaza corect (cea cu CEIL afisa id-ul fara virgula,insa aparea acelasi id pt toate produsele random,ceea ce nu era ok). La varianta de mai sus am inlocuit id cu gigel,altfel dadea eroare.

---

Da, am si postat de ce:

Citat:

---

Postat în original de loco

Umm da.. dar lui ii returna cu virgula (punct, ma rog) si acum am observat de ce. Deoarece random id are acelasi nume ca si coloana id.

---

Hmm.. mi se pare tot marisor timpu de executie.. Ai pus index composite?

Cat despre structura tabelelor.. ce ai facut tu e cam redundant. nume_categorie n-are ce cauta in subcategorie. E sufiecient id_categorie. La fel si la produse, trebuie sa faci legatura pe o coloana int NICIDECUM varchar. Daca modifici in acest sens si tabelele sunt maricele, sigur se va simti o diferenta.. Dar acum ne cam abatem de la topic, asa e? :P.