Foldere, fisere, sute de mii de utilizatori

[Adrian Poputoaia]

Am studiat acesta problema insa sunt interesat sa aflu si parerea voastra.
Un social network (fisiere video,audio,poze,thumb-uri, etc) stiti cam ce implica, mai ales cand ai foarte multi utilizatori.

Se schimba platforma, se face scalare, servere separate pentru servicii precum mysql, apache,Capistrano - update and restart application servers, Memcached, Nginx, Starling - distributed queue server, etc.

Continutul, cum ati face structura directoarelor utilizatorilor, evitand un numar foarte mare de foldere in unul singur?
exemplu 1: data-> id-user-1 -> video,audio,photo

exemplu 2: data-> video -> id-user-1 to n
-> audio -> id-user-1 to n

exemplu 3: data-> 1 -> id-user-1 to 1000
-> 2 -> id-user-1000 to 2000
-> n -> id-user-n to n+1000 (iar aici fiecare user cu fiserele lui)
Alte exemple?
Aveti site-uri ce depasesc 50-100 mii utilizatori inregistrati?

Aici un film pentru cei interesati de scalare web.

[Marius Mailat]

As alege:
exemplu 1: data-> id-user-1 -> video,audio,photo

Aveti site-uri ce depasesc 50-100 mii utilizatori inregistrati?

Yup.

[Adrian Poputoaia]

As alege:
exemplu 1: data-> id-user-1 -> video,audio,photo


Yup.

In varianta aleasa de tine, in directorul data ai avea 1 milion directoare la 1 milion useri inregistrati.
Argumenteaza, de ce ai alege varianta aia te rog.
Ma refeream la utilizatori inregistrati, nu 100 mii unici, etc, daca da inseamna ca ai inteles corect!

[Marius Mailat]

Am ales din cauza ca iti ofera posibilitatea sa muti/foloseti/stergi o parte din utilizatori avand in spate un sistem de servere in cluster.

Cu siguranta vei ajunge si la aceasta problema, cum vei suporta traficul si accesul la aceste date si vei avea in fata de ales intre solutii de tot felul, incluzand un cluster de cateva servere care sa iti duca traficul/accesul la date.

Eu iti sugerez insa altceva, sa pui intrebarea asta celui care iti face arhitectura la aplicatie (presupun ca e vorba de byonik ). Dezvoltatori PHPsunt o multime, i gigel stie acum php. Insa arhitectura, baze de date nu prea stie gigel si crede-ma ca urmatoare problema o sa fie ca nu ai indecsi, ai o baza de date structurata gresit, codul e varza si nu e el scalabil si e prost folosit.

Astea sunt problemele care ar trebui sa le rezolvi mai rapid. (daca fac greseli de ortografie scuze, scriu cu fata in brate).

[Netul]

Exemplul 3 cred ca e cel mai indicat in cazul cand sunt foarte multe inregistrari (de ordinul a zecilor de mii).

[inSecure]

Continutul, cum ati face structura directoarelor utilizatorilor, evitand un numar foarte mare de foldere in unul singur?
exemplu 1: data-> id-user-1 -> video,audio,photo

exemplu 2: data-> video -> id-user-1 to n
-> audio -> id-user-1 to n

exemplu 3: data-> 1 -> id-user-1 to 1000
-> 2 -> id-user-1000 to 2000
-> n -> id-user-n to n+1000 (iar aici fiecare user cu fiserele

Daca singura ta problema este numarul foarte mare de foldere in unul singur, alegi varianta 3, dar ce alte probleme mai intampini?(nu am mai lucrat cu un numar asa mare de inregistrari)

[haos]

OffTop: Ai un un plus de reputatie de la mine pentru provocare si pentru ca n-am mai vazut demult pe aici intrebari provocatoare legate de subiectul forumului.

OnTop: Dupa cum a spus si Marius, asta e o intrebare pe care ar trebui sa i-o adresezi arhitectului aplicatiei. Eu de ex am facut un sistem autoscalabil bazat pe un mixt intre exemplele tale dar in mai mare parte pe varianta 3. Adica in folderele vecine utilizatorilor mai putin activi am pus cate o serie mica de foldere ale celor mai activi utilizatori.

Oricum, varianta 3 mixata cu altele mai mici mi se pare cea mai utila.

[Butcher]

As alege:
exemplu 1: data-> id-user-1 -> video,audio,photo
Yup.

Hmm, eu am structura de genul asta la un proiect care a depasit acum 1 luna 32k de utilizatori. Problema a fost ca sub ext3 numarul maxim de foldere este de 32000 si nu se mai puteau crea directoare. Si ext4 inca nu e 100% safe.

Solutia a fost sa creez un "data2" in care sa indes in continuare foldere.
Important e sa gandesti de la inceput treaba bine ca sa nu te trezesti limitat de sistemul de operare.

Ex: id user: 1-32000: /data1/, 32001 - ...:/data2/, etc

[beeuser]

Sau ai putea folosi subdirectoare de structura data: yyyy/mm/dd/user_id

De exemplu daca userul 1 se inregistreaza azi, creezi 2009/12/16/1/

Si se poate extinde sau modifica daca nu-i deajuns