Datacenter/Cloud pentru stocare fisiere in cantitati mari? (o gramada de TB) - Idei?

[kleampa]

mi se pare slab gandita arhitectura daca trebuie sa pastrezi direct in DB atata informatie. spui ca nu ai nevoie de gb de ram dar ca sa ai un query time bun in atata informatie tot trebuie sa ai cel putin 32gb

[emm]

mi se pare slab gandita arhitectura daca trebuie sa pastrezi direct in DB atata informatie. spui ca nu ai nevoie de gb de ram dar ca sa ai un query time bun in atata informatie tot trebuie sa ai cel putin 32gb

Putin probabil, dar o sa testam inainte de a achizitiona vreun rack. Ma indoiesc ca trebuiasca mai mult de 8G.

Cert este ca face doar write banal la fisiere destul de mari, fiecare record e un BLOB mai marisor. Nu se consuma mare RAM, conteaza mai mult I/O. Iar la select-uri, chiar nu este problema. Este o arhiva, rar ai nevoie de ea dar e important sa fie. Am ales stocarea in DB pentru ca e mai usor de accesat, iar spatiul consumat pe disc nu este cu mult mai mare decat la stocarea directa de fisiere. In schimb avem usor la meta date, iar criptarea si replicarea este foarte simpla.

Ce spui tu e valabil, dar pe partea de business logic. Acolo folosim intr-adevar si CPU's si RAM la greu.

Edit: Inca ceva, indecsii pe meta-date sunt mici si optimizati (in speta numerici). Se incarca usor in cativa zeci de MB maxim. De aici usage mic de RAM. Iar clientii care vor folosi simultan arhiva sunt putini. Se folosese mai mult la scriere. La citire, din 1000 de useri poate doar 10 vor accesa arhiva intr-o zi. Si se face mai mult write linear.

Repet, in primul rand conteaza I/O - atat pe disc cat si network throughput.