Yoozila - Intrebare pentru specialisti

[hutzu]

Am deschis acest thread pentru un talk cu specialisti de pe acest forum, prima intrebare suna cam asa, cate pagini web poti sa indexezi pe 1 Terra?(fara backup) ma adresez tuturor care au cunostinta de cauza, celor care au motoare/motorase de cautare si au facut anumite teste si stiu despre ce vorbesc. Astept raspunsurile voastre, stima!

edit//: - indexare ma refer toata pagina (asa cum Gogu o face).
- fara backup

[Marius Mailat]

Depinde 99% de ce anume indexezi:

1. link simplu + titlu
sau
2. link, meta, keywords, structura site, date din pagina

Tu intrebi defapt cum se face o baza de date pentru un search engine. Ei defapt TU ar trebui sa ne spui asta ca doar voi aveti un search engine.

Daca pui intrebarea presupun ca nu aveti o arhitectura de db asa ca pun mai jos cate ceva poate va ajuta:

1. odata ce va ganditi ce anume o sa faca siteul vostru elege cuvinetele cheie din descrierea lui:

Yozila va cauta dupa cuvinte cheie in multe siteuri (multilanguage) si bazat pe cat de relevant este cuvantul va intoarce rezultate.

Ok te apuci si scoti cuvintele cheie:

"cuvinte cheie"
"siteuri"
"multilanguage"
"relevanta"
"rezultate"

si le mapezi spre tabele sau campuri:

"cuvinte cheie" - tabela keywords
"siteuri" - tabela urls
"multilanguage" - field in tabela keywords ?
"relevanta" - fielduri meta, descriere, continut,
"rezultate" - tabela cache?

Cand ai o arhitectura facuta haide cu o intrebare inapoi si iti fac eu estimare exacta. De ce spun asta? Atat timp cat nu stii ce anume stochezi nu ai sa stii cat anume ocupa.

Diferenta e ca tu intrebi cate alimente intra in o cutie de plastic? Pai intra 200 de boabe de fasole sau 2 mere.

[deadworldisee]

Si in plus ar trebui sa te gandesti la eficienta.
Daca vrei sa le stochezi in stil barbar ,campuri text fara sa fie nevoie de prea multe joinuri o sa iesi cu spatiu putin stocat dar o sa pierzi la viteza de cautare.

Oricum problema ta ar trebui sa aiba astfel prioritatile:
~cat RAM am nevoie
~cat spatiu de stocare am nevoie

Si la partea de stocare, ar trebui sa te gandesti si la backup deci dintr-un tera deja o sa ai 2....)

Fiindca ai pus intrebarea despre stocare, presupun ca nici nu v-ati gandit la ce algoritm o sa aplicati pentru afisare,pentru ca tine foarte mult de db si hdd....

[hutzu]

Mentionez pentru mmariusel ca noi avem o aproximare facuta, vreau sa aud si alte pareri, chiar asa de grav e sa pui o intrebare? Ma abtin sa-ti dau reply la ce ai scris la Thread-u "Yoozila - banned" pentru ca nu are rost sa ma repet de atatea ori.

[Marius Mailat]

Te invit sa raspunzi, odata ai spus ca folositi Google Ai dupa 2 saptamani o ti sus si tare ca nu mai folositi. Pai sau e alba sau e neagra. Nu e vorba de ce spun eu, e vorba de ce ai spus tu.

Legat de intrebarea de mai sus, raspunsul complet tehnic il ai in mesajul meu.

[Dever]

Asa cum a spus si mmariusel, nu exista o cifra exacta ... motivele sunt urmatoarele:

- nu toate paginile au aceeasi dimensiune (o mica paranteza, Google nu stocheaza o singura versiune a unei pagini pe care sa o updateze cand trece botul din nou ci vreo 3 daca am retinut eu bine);
- depinde de tipul bazei tale de date;
- depinde de structura bazei tale de date (cati indexi, cate coloane, cate tabele si cum este stocata informatia);

Daca e sa aruncam niste cifre barbar asa ca sa facem o estimare:

Google zice ca 1 Tb are 1 073 741 824 kilobits (Ia vezi ca Yoozila.com moare la query-ul asta, cea .ro returneaza fericita rezultatele din Google)

Asaa .. estimez barbar 1 HTML la 30 Kb si fac o impartire.

1.073.741.824 / 30 = 35.791.394

Deci asta este raspunsul pe care il cautai ... intr-un Terabit poti sa stochezi 35.791.394 de pagini. Si "the meaning of life" este 42.

[dorin.georgescu]

Am facut si eu la un moment dat un mic search engine pt. forumuri.

Indexasem cateva milioane de pagini. Din aceasta experienta mai retin printre altle faptul ca: daca scoti din pagini lucruri mai putzin necesare (css, javascript, html, spatii etc atunci ramai cam pe la 3-4-5k per pagina).

Daca folosesti mysql poti sa prinzi curaj si sa folosesti compresie si scade cam la 20%. Inca mergea ok cautarea cu full text search la cateva milioane de pagini in index si pe un server micutz (acum multi au desktopuri mai puternice).

Asta este link-ul live: www.forumsquery.com

Nu va asteptatzi la cine shtie ce pt. ca nu s-a mai ocupat nimeni de el de peste 2 ani.

[pitagora]

Am facut si eu la un moment dat un mic search engine pt. forumuri.

Indexasem cateva milioane de pagini. Din aceasta experienta mai retin printre altle faptul ca: daca scoti din pagini lucruri mai putzin necesare (css, javascript, html, spatii etc atunci ramai cam pe la 3-4-5k per pagina).

Daca folosesti mysql poti sa prinzi curaj si sa folosesti compresie si scade cam la 20%. Inca mergea ok cautarea cu full text search la cateva milioane de pagini in index si pe un server micutz (acum multi au desktopuri mai puternice).

Asta este link-ul live: www.forumsquery.com

Nu va asteptatzi la cine shtie ce pt. ca nu s-a mai ocupat nimeni de el de peste 2 ani.

vreau sa te intreb ce intelegi prin full text search: adica ai un camp varchar in care stochezi html-ul (ma rog...prelucrat sa fie mic) si cauti cu LIKE in el? Sau cum? Te intreb pentru ca trebuie sa fac partea de cautare la un site si imi e frica ca de dracu la LIKE pe campurile de description...

[lunatique]

@pitagora, foloseste MATCH ... AGAINST

info mai multe ai aici despre full-text mysql search:
http://dev.mysql.com/doc/refman/5.0/...xt-search.html

Mereu cand ai o astfel de intrebare, consulta-te intai cu Manualul (e ultra-cool-util)

Dar o dam deja in offtopic.

[Federals]

apropo de baze de date, ceva interesant: http://www.databaseanswers.org/data_models/index.htm