numar mare de fisiere

[gigipok]

se da un site cu o baza de date de aprox 1.500.000 inregistrari. Pt fiecare inregistrare se intentioneaza sa se faca o pagina cache pt a mai relaxa baza de date. Intrebare.. cam cat e nr maxim de fisiere care pot fi puse intr-un folder pt a fi accesate de acolo..?
P.S. nu se va incerca sa se vada folderul cu toate fisierele.. doar vor fi afisate de acolo dupa nume..

[forapathy]

din cate stiu singurele limite sunt spatiul pe server si cantitatea transferata..

dar chestia asta nu e un raspuns bun la problema ta... daca nu folosesti deja index-uri si limite pe query-uri .. fisierele alea nu cred ca o sa iti rezolve nimic

[gigipok]

folosesc si indexuri.. si limite.. am optimizat si baza de date.. dar site-ul are si cam 50.000 unici pe zi..

[forapathy]

server separat de sql la asa numere.. si daca e si de continut ce consuma banda (imagini, video streaming) trebuie separate serverele de apache si sql.

fisierele alea doar o sa iti mareasca consumul de banda..

daca procesul de sql nu trece de 30% si site-ul se misca tot greu inseamna ca mai trebuie banda de upload... dar daca tie iti sta constant 70 - 90% .. clar server separat..

[gigipok]

site-ul e hostat pe un server dedicat..si tot merge greu.. are uneori load de peste 30.. dar pana acum pe asta s-a bazat.. pe cache.. si se incarca destul de bine cand informatia cautata e in cache..

[IRQ]

site-ul e hostat pe un server dedicat..si tot merge greu.. are uneori load de peste 30.. dar pana acum pe asta s-a bazat.. pe cache.. si se incarca destul de bine cand informatia cautata e in cache..

Incearca sa pui systemul, baza de date si fisierele cache pe hdd-uri diferite.

Limitarea de viteza este data in primul rand de de accesul la disk si mai rar de puterea de procesare.

Solutia cu servere diferite, in afara de costul serverelor implica si probleme de administrare si securitate urate.

[Netul]

Nu cred ca merg atat de multe fisiere intr-un director, si chiar daca ar merge, performantele ar scade dramatic. Iti recomand sa imparti directorul in mai multe subdirectoare, in fiecare subdirector sa pui maxim cateva sunte (sau cateva mii) de fisiere.
Eu m-am lovit de problema asta facand un script de anunturi auto... m-am gandit ca daca se inregistreaza 5000 de useri, fiecare cu cateva poze, ar trebui zeci de mii de fisiere intr-un director, lucru imposibil, asa ca m-am gandit ca, atunci cand un user se inregistreaza, sa se creeze automat un director doar pt acel user, unde se stocheaza fisierele doar acelui user.
Bineinteles pot fii si alte criterii de impartire a directoarelor...

din cate stiu singurele limite sunt spatiul pe server si cantitatea transferata..

Exista limitari asupra numarului maxim de fisiere in functie de sistemul de operare si de sistemul de gestionare al fisierelor (FAT16, FAT32, NTFS, ...)

[IRQ]

Am un folder cu peste 500.000 de fisiere si le citeste fara probleme.
Nu este afectata performanta incat sa pot observa.

[Bruzli]

in prima faza cel mai simplu ar fi sa faci un server separat pentru mysql

[forapathy]

am gasit ceva despre limite de fisiere.. ca tot m-ati facut curios

FAT32 was introduced to overcome some of the limitations of FAT16.
* Maximum disk size: 2 terabytes
* Maximum file size: 4 gigabytes
* Maximum number of files on disk: 268,435,437
* Maximum number of files in a single folder: 65,534

NTFS, or "New Technology File System" introduced with Windows NT, is a completely redesigned file system.

* Maximum disk size: 256 terabytes
* Maximum file size: 256 terabytes
* Maximum number of files on disk: 4,294,967,295
* Maximum number of files in a single folder: 4,294,967,295