Rezultate 1 la 9 din 9

Subiect: Foldere, fisere, sute de mii de utilizatori

  1. #1
    Avatarul lui Adrian Poputoaia
    Adrian Poputoaia este deconectat Ambasador
    Reputatie:
    33
    Data înscrierii
    2nd October 2007
    Locaţie
    Iasi
    Vârstă
    39
    Posturi
    1.068
    Putere Rep
    33

    Post Foldere, fisere, sute de mii de utilizatori

    Am studiat acesta problema insa sunt interesat sa aflu si parerea voastra.
    Un social network (fisiere video,audio,poze,thumb-uri, etc) stiti cam ce implica, mai ales cand ai foarte multi utilizatori.

    Se schimba platforma, se face scalare, servere separate pentru servicii precum mysql, apache,Capistrano - update and restart application servers, Memcached, Nginx, Starling - distributed queue server, etc.

    Continutul, cum ati face structura directoarelor utilizatorilor, evitand un numar foarte mare de foldere in unul singur?
    exemplu 1: data-> id-user-1 -> video,audio,photo

    exemplu 2: data-> video -> id-user-1 to n
    -> audio -> id-user-1 to n

    exemplu 3: data-> 1 -> id-user-1 to 1000
    -> 2 -> id-user-1000 to 2000
    -> n -> id-user-n to n+1000 (iar aici fiecare user cu fiserele lui)
    Alte exemple?
    Aveti site-uri ce depasesc 50-100 mii utilizatori inregistrati?

    Aici un film pentru cei interesati de scalare web.

  2. #2
    Avatarul lui Marius Mailat
    Marius Mailat este deconectat Membru SeoPedia
    Reputatie:
    38
    Data înscrierii
    16th November 2005
    Vârstă
    46
    Posturi
    1.818
    Putere Rep
    38

    Implicit

    As alege:
    exemplu 1: data-> id-user-1 -> video,audio,photo

    Aveti site-uri ce depasesc 50-100 mii utilizatori inregistrati?
    Yup.
    Directory Submitter - soft de inscriere in 4500 de directoare straine si 1025 romanesti
    Anunturi - soft de inscriere in 500 de siteuri de anunturi

  3. #3
    Avatarul lui Adrian Poputoaia
    Adrian Poputoaia este deconectat Ambasador
    Reputatie:
    33
    Data înscrierii
    2nd October 2007
    Locaţie
    Iasi
    Vârstă
    39
    Posturi
    1.068
    Putere Rep
    33

    Implicit

    Citat Postat în original de Marius Mailat Vezi Post
    As alege:
    exemplu 1: data-> id-user-1 -> video,audio,photo


    Yup.
    In varianta aleasa de tine, in directorul data ai avea 1 milion directoare la 1 milion useri inregistrati.
    Argumenteaza, de ce ai alege varianta aia te rog.
    Ma refeream la utilizatori inregistrati, nu 100 mii unici, etc, daca da inseamna ca ai inteles corect!

  4. #4
    Avatarul lui Marius Mailat
    Marius Mailat este deconectat Membru SeoPedia
    Reputatie:
    38
    Data înscrierii
    16th November 2005
    Vârstă
    46
    Posturi
    1.818
    Putere Rep
    38

    Implicit

    Am ales din cauza ca iti ofera posibilitatea sa muti/foloseti/stergi o parte din utilizatori avand in spate un sistem de servere in cluster.

    Cu siguranta vei ajunge si la aceasta problema, cum vei suporta traficul si accesul la aceste date si vei avea in fata de ales intre solutii de tot felul, incluzand un cluster de cateva servere care sa iti duca traficul/accesul la date.

    Eu iti sugerez insa altceva, sa pui intrebarea asta celui care iti face arhitectura la aplicatie (presupun ca e vorba de byonik ). Dezvoltatori PHPsunt o multime, i gigel stie acum php. Insa arhitectura, baze de date nu prea stie gigel si crede-ma ca urmatoare problema o sa fie ca nu ai indecsi, ai o baza de date structurata gresit, codul e varza si nu e el scalabil si e prost folosit.

    Astea sunt problemele care ar trebui sa le rezolvi mai rapid. (daca fac greseli de ortografie scuze, scriu cu fata in brate).
    Ultima modificare făcută de Marius Mailat; 14th December 2009 la 23:03.
    Directory Submitter - soft de inscriere in 4500 de directoare straine si 1025 romanesti
    Anunturi - soft de inscriere in 500 de siteuri de anunturi

  5. #5
    Avatarul lui Netul
    Netul este deconectat Ambasador
    Reputatie:
    45
    Data înscrierii
    5th January 2006
    Locaţie
    Iasi
    Vârstă
    45
    Posturi
    1.065
    Putere Rep
    45

    Implicit

    Exemplul 3 cred ca e cel mai indicat in cazul cand sunt foarte multe inregistrari (de ordinul a zecilor de mii).

  6. #6
    Avatarul lui inSecure
    inSecure este deconectat Membru SeoPedia
    Reputatie:
    36
    Data înscrierii
    2nd December 2007
    Posturi
    612
    Putere Rep
    36

    Implicit

    Citat Postat în original de Adrian Poputoaia Vezi Post
    Continutul, cum ati face structura directoarelor utilizatorilor, evitand un numar foarte mare de foldere in unul singur?
    exemplu 1: data-> id-user-1 -> video,audio,photo

    exemplu 2: data-> video -> id-user-1 to n
    -> audio -> id-user-1 to n

    exemplu 3: data-> 1 -> id-user-1 to 1000
    -> 2 -> id-user-1000 to 2000
    -> n -> id-user-n to n+1000 (iar aici fiecare user cu fiserele
    Daca singura ta problema este numarul foarte mare de foldere in unul singur, alegi varianta 3, dar ce alte probleme mai intampini?(nu am mai lucrat cu un numar asa mare de inregistrari)
    Hmm..ar merge o lada de bere

  7. #7
    Avatarul lui haos
    haos este deconectat Ambasador
    Reputatie:
    59
    Data înscrierii
    19th February 2008
    Locaţie
    Craiova
    Posturi
    2.239
    Putere Rep
    59

    Implicit

    OffTop: Ai un un plus de reputatie de la mine pentru provocare si pentru ca n-am mai vazut demult pe aici intrebari provocatoare legate de subiectul forumului.

    OnTop: Dupa cum a spus si Marius, asta e o intrebare pe care ar trebui sa i-o adresezi arhitectului aplicatiei. Eu de ex am facut un sistem autoscalabil bazat pe un mixt intre exemplele tale dar in mai mare parte pe varianta 3. Adica in folderele vecine utilizatorilor mai putin activi am pus cate o serie mica de foldere ale celor mai activi utilizatori.

    Oricum, varianta 3 mixata cu altele mai mici mi se pare cea mai utila.
    Citeste primul meu curs SEO - principii de baza. Vezi oferta mea de advertoriale PR5.

  8. #8
    Avatarul lui Butcher
    Butcher este deconectat Membru SeoPedia
    Reputatie:
    31
    Data înscrierii
    15th June 2007
    Locaţie
    Constanta
    Vârstă
    42
    Posturi
    308
    Putere Rep
    31

    Implicit

    Citat Postat în original de Marius Mailat Vezi Post
    As alege:
    exemplu 1: data-> id-user-1 -> video,audio,photo
    Yup.
    Hmm, eu am structura de genul asta la un proiect care a depasit acum 1 luna 32k de utilizatori. Problema a fost ca sub ext3 numarul maxim de foldere este de 32000 si nu se mai puteau crea directoare. Si ext4 inca nu e 100% safe.

    Solutia a fost sa creez un "data2" in care sa indes in continuare foldere.
    Important e sa gandesti de la inceput treaba bine ca sa nu te trezesti limitat de sistemul de operare.

    Ex: id user: 1-32000: /data1/, 32001 - ...:/data2/, etc
    Ultima modificare făcută de Butcher; 15th December 2009 la 21:29.

  9. #9
    Avatarul lui beeuser
    beeuser este deconectat Membru SeoPedia
    Reputatie:
    31
    Data înscrierii
    6th July 2007
    Vârstă
    44
    Posturi
    66
    Putere Rep
    31

    Implicit

    Sau ai putea folosi subdirectoare de structura data: yyyy/mm/dd/user_id

    De exemplu daca userul 1 se inregistreaza azi, creezi 2009/12/16/1/

    Si se poate extinde sau modifica daca nu-i deajuns

Informații subiect

Utilizatori care navighează în acest subiect

Momentan este/sunt 1 utilizator(i) care navighează în acest subiect. (0 membrii și 1 vizitatori)

Thread-uri Similare

  1. Monitorizare comportament utilizatori - Google
    De Nichita în forumul Google
    Răspunsuri: 2
    Ultimul Post: 7th September 2009, 14:23
  2. Afisare PR in cateva sute de DC
    De tataraseni în forumul Utile
    Răspunsuri: 1
    Ultimul Post: 6th August 2007, 11:38
  3. Efectul inscrierii masive in cateva sute de directoare
    De tataraseni în forumul Directoare web straine
    Răspunsuri: 25
    Ultimul Post: 24th April 2007, 15:47
  4. Avem 100 utilizatori inregistrati!!!
    De Razvan Pop în forumul Discutii administrative
    Răspunsuri: 1
    Ultimul Post: 28th April 2005, 15:46

Permisiuni postare

  • Nu puteţi posta subiecte noi.
  • Nu puteţi răspunde la subiecte
  • Nu puteţi adăuga ataşamente
  • Nu puteţi modifica posturile proprii
  •