Versiune printabilă
Am deschis acest thread pentru un talk cu specialisti de pe acest forum, prima intrebare suna cam asa, cate pagini web poti sa indexezi pe 1 Terra?(fara backup) ma adresez tuturor care au cunostinta de cauza, celor care au motoare/motorase de cautare si au facut anumite teste si stiu despre ce vorbesc. Astept raspunsurile voastre, stima!
edit//: - indexare ma refer toata pagina (asa cum Gogu o face).
- fara backup
Depinde 99% de ce anume indexezi:
1. link simplu + titlu
sau
2. link, meta, keywords, structura site, date din pagina
Tu intrebi defapt cum se face o baza de date pentru un search engine. Ei defapt TU ar trebui sa ne spui asta ca doar voi aveti un search engine.
Daca pui intrebarea presupun ca nu aveti o arhitectura de db asa ca pun mai jos cate ceva poate va ajuta:
1. odata ce va ganditi ce anume o sa faca siteul vostru elege cuvinetele cheie din descrierea lui:
Yozila va cauta dupa cuvinte cheie in multe siteuri (multilanguage) si bazat pe cat de relevant este cuvantul va intoarce rezultate.
Ok te apuci si scoti cuvintele cheie:
"cuvinte cheie"
"siteuri"
"multilanguage"
"relevanta"
"rezultate"
si le mapezi spre tabele sau campuri:
"cuvinte cheie" - tabela keywords
"siteuri" - tabela urls
"multilanguage" - field in tabela keywords ?
"relevanta" - fielduri meta, descriere, continut,
"rezultate" - tabela cache?
Cand ai o arhitectura facuta haide cu o intrebare inapoi si iti fac eu estimare exacta. De ce spun asta? Atat timp cat nu stii ce anume stochezi nu ai sa stii cat anume ocupa.
Diferenta e ca tu intrebi cate alimente intra in o cutie de plastic? Pai intra 200 de boabe de fasole sau 2 mere.
Si in plus ar trebui sa te gandesti la eficienta.
Daca vrei sa le stochezi in stil barbar ,campuri text fara sa fie nevoie de prea multe joinuri o sa iesi cu spatiu putin stocat dar o sa pierzi la viteza de cautare.
Oricum problema ta ar trebui sa aiba astfel prioritatile:
~cat RAM am nevoie
~cat spatiu de stocare am nevoie
Si la partea de stocare, ar trebui sa te gandesti si la backup deci dintr-un tera deja o sa ai 2....;))
Fiindca ai pus intrebarea despre stocare, presupun ca nici nu v-ati gandit la ce algoritm o sa aplicati pentru afisare,pentru ca tine foarte mult de db si hdd....
Mentionez pentru mmariusel ca noi avem o aproximare facuta, vreau sa aud si alte pareri, chiar asa de grav e sa pui o intrebare? Ma abtin sa-ti dau reply la ce ai scris la Thread-u "Yoozila - banned" pentru ca nu are rost sa ma repet de atatea ori.
Te invit sa raspunzi, odata ai spus ca folositi Google Ai dupa 2 saptamani o ti sus si tare ca nu mai folositi. Pai sau e alba sau e neagra. Nu e vorba de ce spun eu, e vorba de ce ai spus tu.
Legat de intrebarea de mai sus, raspunsul complet tehnic il ai in mesajul meu.
Asa cum a spus si mmariusel, nu exista o cifra exacta ... motivele sunt urmatoarele:
- nu toate paginile au aceeasi dimensiune (o mica paranteza, Google nu stocheaza o singura versiune a unei pagini pe care sa o updateze cand trece botul din nou ci vreo 3 daca am retinut eu bine);
- depinde de tipul bazei tale de date;
- depinde de structura bazei tale de date (cati indexi, cate coloane, cate tabele si cum este stocata informatia);
Daca e sa aruncam niste cifre barbar asa ca sa facem o estimare:
Google zice ca 1 Tb are 1 073 741 824 kilobits (Ia vezi ca Yoozila.com moare la query-ul asta, cea .ro returneaza fericita rezultatele din Google)
Asaa .. estimez barbar 1 HTML la 30 Kb si fac o impartire.
1.073.741.824 / 30 = 35.791.394
Deci asta este raspunsul pe care il cautai ... intr-un Terabit poti sa stochezi 35.791.394 de pagini. Si "the meaning of life" este 42.
Am facut si eu la un moment dat un mic search engine pt. forumuri.
Indexasem cateva milioane de pagini. Din aceasta experienta mai retin printre altle faptul ca: daca scoti din pagini lucruri mai putzin necesare (css, javascript, html, spatii etc atunci ramai cam pe la 3-4-5k per pagina).
Daca folosesti mysql poti sa prinzi curaj si sa folosesti compresie si scade cam la 20%. Inca mergea ok cautarea cu full text search la cateva milioane de pagini in index si pe un server micutz (acum multi au desktopuri mai puternice).
Asta este link-ul live: www.forumsquery.com
Nu va asteptatzi la cine shtie ce pt. ca nu s-a mai ocupat nimeni de el de peste 2 ani.
vreau sa te intreb ce intelegi prin full text search: adica ai un camp varchar in care stochezi html-ul (ma rog...prelucrat sa fie mic) si cauti cu LIKE in el? Sau cum? Te intreb pentru ca trebuie sa fac partea de cautare la un site si imi e frica ca de dracu la LIKE pe campurile de description...Citat:
Postat în original de seo2
@pitagora, foloseste MATCH ... AGAINST
info mai multe ai aici despre full-text mysql search:
http://dev.mysql.com/doc/refman/5.0/...xt-search.html
Mereu cand ai o astfel de intrebare, consulta-te intai cu Manualul (e ultra-cool-util)
Dar o dam deja in offtopic.
apropo de baze de date, ceva interesant: http://www.databaseanswers.org/data_models/index.htm