Versiune printabilă
se da un site cu o baza de date de aprox 1.500.000 inregistrari. Pt fiecare inregistrare se intentioneaza sa se faca o pagina cache pt a mai relaxa baza de date. Intrebare.. cam cat e nr maxim de fisiere care pot fi puse intr-un folder pt a fi accesate de acolo..?
P.S. nu se va incerca sa se vada folderul cu toate fisierele.. doar vor fi afisate de acolo dupa nume..
din cate stiu singurele limite sunt spatiul pe server si cantitatea transferata..
dar chestia asta nu e un raspuns bun la problema ta... daca nu folosesti deja index-uri si limite pe query-uri .. fisierele alea nu cred ca o sa iti rezolve nimic
folosesc si indexuri.. si limite.. am optimizat si baza de date.. dar site-ul are si cam 50.000 unici pe zi..
Nu cred ca merg atat de multe fisiere intr-un director, si chiar daca ar merge, performantele ar scade dramatic. Iti recomand sa imparti directorul in mai multe subdirectoare, in fiecare subdirector sa pui maxim cateva sunte (sau cateva mii) de fisiere.
Eu m-am lovit de problema asta facand un script de anunturi auto... m-am gandit ca daca se inregistreaza 5000 de useri, fiecare cu cateva poze, ar trebui zeci de mii de fisiere intr-un director, lucru imposibil, asa ca m-am gandit ca, atunci cand un user se inregistreaza, sa se creeze automat un director doar pt acel user, unde se stocheaza fisierele doar acelui user.
Bineinteles pot fii si alte criterii de impartire a directoarelor...
Exista limitari asupra numarului maxim de fisiere in functie de sistemul de operare si de sistemul de gestionare al fisierelor (FAT16, FAT32, NTFS, ...)Citat:
din cate stiu singurele limite sunt spatiul pe server si cantitatea transferata..
server separat de sql la asa numere.. si daca e si de continut ce consuma banda (imagini, video streaming) trebuie separate serverele de apache si sql.
fisierele alea doar o sa iti mareasca consumul de banda..
daca procesul de sql nu trece de 30% si site-ul se misca tot greu inseamna ca mai trebuie banda de upload... dar daca tie iti sta constant 70 - 90% .. clar server separat..
Am un folder cu peste 500.000 de fisiere si le citeste fara probleme.
Nu este afectata performanta incat sa pot observa.
site-ul e hostat pe un server dedicat..si tot merge greu.. are uneori load de peste 30.. dar pana acum pe asta s-a bazat.. pe cache.. si se incarca destul de bine cand informatia cautata e in cache..
in prima faza cel mai simplu ar fi sa faci un server separat pentru mysql
am gasit ceva despre limite de fisiere.. ca tot m-ati facut curios :P
FAT32 was introduced to overcome some of the limitations of FAT16.
* Maximum disk size: 2 terabytes
* Maximum file size: 4 gigabytes
* Maximum number of files on disk: 268,435,437
* Maximum number of files in a single folder: 65,534
NTFS, or "New Technology File System" introduced with Windows NT, is a completely redesigned file system.
* Maximum disk size: 256 terabytes
* Maximum file size: 256 terabytes
* Maximum number of files on disk: 4,294,967,295
* Maximum number of files in a single folder: 4,294,967,295
Daca bagi baza de date in fisiere, se va misca si mai incet, gandeste-te ca la 50.000 useri, cum zici tu, isi acceseaza profilu din astia sa zicem, 5000 la ora de max trafic in acelasi timp. Operatia pe server este de citire, parsare, inchidere fisier. Pai asta iti ia mult mai timp decat o baza de date. O solutie viabila ar fi sa folosesti baza de date in mirror, si sa o imparti pe mai multe servere. Cauta pe net ce inseamana treaba asta si vezi daca e ok pt tine.
Incearca sa pui systemul, baza de date si fisierele cache pe hdd-uri diferite.Citat:
Postat în original de gigipok
Limitarea de viteza este data in primul rand de de accesul la disk si mai rar de puterea de procesare.
Solutia cu servere diferite, in afara de costul serverelor implica si probleme de administrare si securitate urate.
Problema principala e ca iti fragmenteaza foarte tare discul si vei avea timpi mari de access. Ca sa nu mai vorbim ca un backup va dura ore multe. Sunt destul de multe complicatii. Ai incecat de exemplu sa intrii in director sa-l vezi in explorer? Asa-i ca sta 10-20 de min sa-l deschida?
Ar trebui puse in baza de date. SQL Server-ul are el algoritmi destul de tari de cautare (cu niste arbori draguti :)) iar cautarea pe NTFS e liniara. Deci si timpi mai mari.
Daca chiar vrei sa ramana asa treaba ia-ti mai multe harduri in RAID si pui aceasi informatie pe ele. Se mai imparte load-ul dar tot acolo ai ramas.