Proiect triplu (motor de cautare si nu numai)

Aduc aici in discutie un anumit concept la care lucrez de ceva timp.

Baza este un soft spider/indexer perfectionat in timp, optimizat in prezent pentru gasirea paginilor cu continut romanesc, folosind numai date publice. Caracteristicile sale sunt, deocamdata:
- compatibilitate robots.txt
- detectarea automata a limbii (deocamdata salvez continut ro cat si ceva continut si in principalele 5 limbi europene, en fr de, prezente pe situri ro).
- indexeaza atat domeniile .ro cat so .com, net org etc atata vreme cat continutul este in limba romana; poate fi portat (fireste) pe orice TLD;
- protectie de overload a siturilor la spidering, indexare dispersa
- control al adancimii de crawl si al numarului de pagini indexate per site cat si al linkurilor externe, eliminarea efectelor siturilor scraper asupra indexului
- compatibilitate nofollow/dofollow
- navigare frames, iframes, url redirects etc

Softul detine in prezent la o rulare test de cateva zile, aproximativ 100.000 domenii ro indexate si 5 mil url-uri in baza de date.

Nota: acest proiect nu a fost gandit pentru a fi un motor de cautare, desi poate fi si asta.

Ce pot genera cu acest sistem (si cer pareri privind utilitatea)

1. Un nou motor de cautare romanesc alternativ (colateral, importanta: nivel 3) .

Sistemul este scalabil ca si volum de date, este gandit sa poata indexa o cantitate relativ mare de date (suficienta pentru ro), desi ii lipseste o functie de clustering deocamdata. Ca si relevanta si ranking, procesarea va folosi o combinatie de full text search, combinata si post-filtrata(si re-sortata) cu analiza factorilor in-page(title, description, alt, bold text, images etc), un sistem de calcul al autoritatii gen pagerank si variabile suplimentare de ridicare in SERP bazata pe link-urile inbound cu cuvinte relevante pe nisa sitului/venind din siturile de nisa.

Problema pe care o vad: Nu stiu cat de mare nevoie este de un astfel de motor de cautare nou, sau care ar fi functiile care ar putea ajuta la utilitatea lui.

2. Un sistem de analiza SEO a web-ului romanesc (colateral si acesta, importanta: nivel 2).

Sistemul va genera rezultate care cred ca ar putea fi importante pentru cei pasionati de SEO, cum ar fi autoritatea fiecarei pagini, liste cu link-urile inbound (pagini si domenii/count), autoritatea fiecarui link inbound, un factor de relevanta procentuala comparativ cu nisa sitului, word count si alte gadgeturi; combinata cu unele functii existente uzual in softuri de SEO gen LinkAssistant, de exemplu comparatia factorilor in-page cu cele ale siturilor concurente, analiza comparativa a densitatilor, sugestii de optimizare si eventual puncte critice detectate in site/pagina.

3. Un sistem de analiza de nisa (principal - nivel 1) si data mining.

Punctele 1 si 2 sunt publice/free. Partea comerciala a ideii consta in analiza de nisa. Se selecteaza o anumita nisa, se face o analiza contextuala (keywords, fraze, se analizeaza subsetul de url-uri relevante etc). Se ruleaza un filtru preliminar pe baza de date master, ca o sursa de indicii privind locatiile de cautat, dupa care se face un spidering restrans pe domeniul/nisa ingusta aleasa, si la urma datele sunt analizate.

Ca un exemplu, pentru un site al unui producator de (exemplu) termopane, sistemul ar putea genera informatii gen:
- care sunt siturile din romania care vand termopane, cate au liste de situri de acest gen, si cate fac referiri la astfel de produse (cu date suplimentare despre prezenta web, situri si pagini, optimizari seo folosite etc)
- care sunt firmele care sunt atasate acestei nise/ informatii gen registrul comertului, finante, sortare dupa marime/prezenta web, etc
- informatii specifice, gen: cate din aceste situri au magazin virtual sau site de prezentare, cate au preturi afisate sau nu, liste de preturi colectate pentru un set de produse sau servicii cautate, cate din firmele respective se gasesc in judetul Harghita, cate comercializeaza acelasi model de produs ca "al meu", etc etc
- informatii valoroase gen: cuvinte cheie related (seo hints), dar si descoperirea de noi nise sau sub-nise
- alte interogari personalitate functie de necesitatile clientului.

Proiectul este 100% intern deocamdata, va fi folosit pentru analiza pe o singura nisa comerciala ingusta. Insa poate fi folosit practic pe aproape orice nisa. Ma intreb insa ce succes ar putea avea un astfel de sistem si daca poate avea valoare comerciala/poate fi vandut ca si serviciu/exista cerere potentiala pentru asa ceva.

Astept pareri, multumesc.

mie cea mai profitabila mi se pare varianta 3

Eu zic ca variantele 2 si 3 pot avea suces, nu stiu cat de mare, petnru ca cererea in RO petnru asa ceva este destul de mica, sunt putini oameni care stiu valoarea acestor informatii si stiu sa le foloseasca

si eu merg pe varianta 3... BTW, o intrebare... crawlerul tau merge si distribuit?:D nu de alta, dar ma gandesc ca sa ruleze pe un singur calculator e destul de greu. si eu am facut cu niste colegi un crawler web distribuit in C# pt un proiect la facultate

Si eu as merge to pe varianta 3, dar te invit sa iti instalezi versiunea demo de la market samurai si sa mai furi de acolo idei. :)

Ce ai zice de un motor de căutare care îți arată domeniile expirate cu linkuri, PR, etc? Le-ai putea inregistra tu sau diverși clienți pe site-ul tău. Un registrar, mai exact.

Citat:

---

Postat în original de lovelife

Eu zic ca variantele 2 si 3 pot avea suces, nu stiu cat de mare, petnru ca cererea in RO petnru asa ceva este destul de mica, sunt putini oameni care stiu valoarea acestor informatii si stiu sa le foloseasca

---

Asta este tocmai esenta intrebarii pe care mi-o pun. Daca poate fi un succes comercial, tocmai avand in vedere aceasta temere, daca o pot numi asa.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Citat:

---

Postat în original de tymbark

si eu merg pe varianta 3... BTW, o intrebare... crawlerul tau merge si distribuit?:D nu de alta, dar ma gandesc ca sa ruleze pe un singur calculator e destul de greu. si eu am facut cu niste colegi un crawler web distribuit in C# pt un proiect la facultate

---

Crawlerul merge pe o singura masina deocamdata. Fireste ca poate fi distribuit, dar nu este necesar.

Pentru curiozitate tehnica, celor care o au, momentan lucreaza pe o masina Intel Core i7-2600K @ 3.40GHz, 8GB RAM, 2x1TB HDD, SSD de 64GB. SSD-ul nu este utilizat inca (va fi folosit in curand pentru interogarile SQL mai dificile). Pentru moment are o incarcare de 10-20% CPU si utilizeaza 2.5GB RAM din cei 8. Este loc de crestere inca foarte mult pentru rulajul pe o singura masina. In plus, procesarea lingvistica si contextuala este optimizata doar partial deocamdata.

Am monitorizat performantele pe masura ce indexul creste, si scaderea de performanta este deocamdata zero. Majoritatea interogarilor se executa sub 0.1 ms. Repet, softul este gandit din start sa fie scalabil (utilizeaza buffere RAM personalizate in locul indecsilor clasici SQL, hash-uri si tehnici avansate de optimizare a interogarilor unde e necesar). Am lucrat in domeniul performantei pe baze de date foarte mari cu ani in urma - incarcam, filtram si sortam cativa GB de date complexe, in cateva secunde pe o masina chioara P3. Cu calculatoarele moderne, nu sunt probleme de performanta la un astfel de proiect, daca stii sa scrii soft.

Oricum intrebarile pe care mi le pun sunt mai curand de viabilitate a proiectelor si de succesul pe care l-ar putea avea.

Pot sa gandesc si altfel. Personal dispun de suficient in domeniul financiar, nu am nevoie neaparat sa scot bani la modul asta. Acest proiect triplu este mai mult o chestiune interesanta in domeniul web, sa zicem ca un hobby, ca un proiect personal in stadiu deja avansat, si am unele idei originale pe care le voi implementa in aceste 3 sub-proiecte. Daca ar putea fi un succes pe domeniul free, probabil ca il pot transforma in asa ceva. Ma gandesc insa ca punctul 3, facut public, ar putea crea destule controverse, pentru ca ar putea oferi puterea analizei de business, si date de sinteza pe practic orice nisa, oricarei persoane care ar dori sa afle asa ceva. Mi se pare cumva echivalent cu a da oricarui om permis de port arma, tradus in zona de afaceri....

De fapt, ideea e de orientare a proiectului pe propria nisa, si nu neaparat de monetizare. Ma intereseaza sa dau valoare unor idei, atata tot.

Bogdan Ungureanu: Ideea cu registrarul nu e rea deloc. Poate voi face si ceva de gen, daca nu te-ar deranja faptul ca as utiliza o idee care nu-mi apartine. Imi place sa realizez lucruri diferite, si se mai creeaza si locuri de munca, pe un proiect interesant, care ar putea fi dezvoltat si international. De altfel intregul soft si proiect poate fi portat international.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Citat:

---

Postat în original de Mihai C

Si eu as merge to pe varianta 3, dar te invit sa iti instalezi versiunea demo de la market samurai si sa mai furi de acolo idei. :)

---

Am deja unele softuri in genul market samurai, deci n-as duce lipsa de surse de idei. Dar o sa-l instalez si pe acesta. Iar daca e bun, poate mai tarziu iau si o licenta (folosesc tot felul de softuri de gen, pe proiecte comerciale ne-legate de subiectul acestui thread).

Daca te axezi doar pe .ro nu cred ca poti sa scoti profit, dar pe .com eu zic ca poti face treaba,

Daca tot ai capacitatea de a trimite spideri in tot internetul romanesc nu uita sa bagi si o functie ce arata back linkurile ( IBL-urile ). Nu de alta dar personal chiar as plati pentru asa ceva.

Citat:

---

Postat în original de lovelife

Daca te axezi doar pe .ro nu cred ca poti sa scoti profit, dar pe .com eu zic ca poti face treaba,

---

Banuiesc ca te referi la varianta 3. Intr-adevar, ar putea fi. Depinde si pe ro - daca reusesti sa prinzi clienti importanti, poti scoate sume semnificative din asa ceva. Aici rezultatul tine totusi mai mult de vanzari si marketing.

Insa problema pe .com este ca este deja o alta tehnologie, mult mai puternica, si cred ca deja trebuie sa contractezi ceva putere semnificativa intr-un cloud. Cantitatea de informatie de indexat pentru a putea avea o idee despre o nisa de piata pe .com este mult mai mare.

Citat:

---

Postat în original de RoManiac

Daca tot ai capacitatea de a trimite spideri in tot internetul romanesc nu uita sa bagi si o functie ce arata back linkurile ( IBL-urile ). Nu de alta dar personal chiar as plati pentru asa ceva.

---

Functia asta e deja inclusa in 2. Citeste ce am scris mai sus in post-ul original. Nu numai ca va arata IBL-urile, dar si valoarea fiecaruia, respectiv autoritatea primita (echivalent Pagerank) si relevanta (apropierea fata de nisa sitului, cuvinte similare etc).

Insa nu as fi de acord ca acest serviciu sa fie platit (informatii despre IBL), o consider o functie care trebuie sa fie gratuita.

Sunt promitator, bafta cu proiectul.

Citat:

---

Postat în original de dumars

Sunt promitator, bafta cu proiectul.

---

Multumesc. Nu este ceva foarte usor de facut, mai ales daca vrei sa-l faci cum trebuie, dar cred ca pot iesi lucruri bune de aici.

Bravo, ce pot sa spun...
astept cu nerabdare sa lansezi proiectul, asta daca nu l-ai lansat deja :)

Cred ca e prea devreme pentru un astfel de proiect in RO, sper sa ma insel si sa nu se dovedeasca faptul ca dezvolti asa ceva in timpurile de acum. Sincer suna foarte bine ceea ce doresti sa faci si abia astept sa iau parte si cu un succes pentru tine!

As merge pe prima varianta, motor de cautare. Dar nu incerca sa-l detronezi pe Google pt ca ai sa mori incercand, incearca sa gasesti o nisa pe care el nu o domina, de exemplu un motor de cautare safe pt copii.

Din pacate proiectul a fost oprit o perioada cam lunga, in care am dezvoltat alte lucruri. Mi-am dat seama ca trebuie o echipa in spate, pentru a-l realiza asa cum trebuie. Dar am revenit la plansa de lucru. In plus trebuie sa mai achizitionez si niste hardware suplimentar destul de scump (SSD-uri rapide de mare capacitate, de exemplu).

Codul exista deja, testat, si nu este departe de o versiune beta. In prezent pregatesc o mica echipa de IT pentru diverse proiecte din zona web/software, si o sa aloc si acest proiect spre finalizare. Sper sa iasa un succes.

Daca mai sunt sugestii, le voi urmari cu interes.

Multumesc pentru incurajari!

Ideea numarul 2 este super atractiva,insa de ce nu incerci sa faci pentru eng?

Citat:

---

Postat în original de stefan_hellzone

Ideea numarul 2 este super atractiva,insa de ce nu incerci sa faci pentru eng?

---

Din 2 motive:

1. Pe eng exista deja destui care fac ceva similar (gen OSE). M-am gandit mai mult la un sistem nisat (RO) care sa ofere rezultate mai precise pe zona.
2. Un sistem international e deja alta poveste. Una este sa te descurci cu 1 TB de date, alta este sa ai nevoie de 1.000 sau 10.000 TB. Cluster, banda, investitie majora, etc.

Update:

Crawlerul este acum deja in faza beta. Pentru moment sunt foarte multumit de el.

Probabil cam intr-o luna, maxim doua o sa fie gata si algoritmii de indexare si partea de search, si prin urmare as putea pune primele rezultate live.

Daca sunt persoane interesate de testare in faza beta cand se lanseaza, rog PM sau chiar postare aici. Imi doresc sa iasa ceva interesant, asa ca voi asculta orice pareri.

Salut, sunt curios sa vad versiunea beta cand va fi gata :)

Citat:

---

Postat în original de PhoeniXman

Salut, sunt curios sa vad versiunea beta cand va fi gata :)

---

Salut, te voi anunta prin PM cand este gata (si pe toti cei care si-au aratat interesul in thread). Multumesc - este incurajator sa vad oameni interesati.

Salut, vreau si eu un PM sa vad varianta BEATA, multumesc.

Citat:

---

Postat în original de felix

Salut, vreau si eu un PM sa vad varianta BEATA, multumesc.

---

Sa speram ca nu va fi chiar beata, ci doar mahmura.

Mi-ar place placere sa testez si eu proiectul. Daca am asentimentul tau lasa-mi si mie un pm cand va fi cazul.

Scuze, am tastat de pe mobil, fiind ecranul mic mi-a scapat, as vrea sa testez si eu varianta BETA daca se poate, mersi mult.

M-am gandit sa postez un mic update despre proiect, intrucat multi s-au aratat interesati.

Deocamdata s-a incheiat cu succes prima faza, cea mai dificila, si anume spiderul. Aici au fost probleme zdravene de optimizare, din mai multe motive:

- Softul este gandit deocamdata sa ruleze single server, nu in cluster (asta va fi poate pe viitor)
- Cantitatea de date procesata este evident mare, si o viteza de procesare decenta cat si spatiul de stocare, impun optimizare "la sange"
- Cu cresterea bazei de date, pot aparea probleme mari de scalare. Sper din tot sufletul, ca aceste probleme sunt acum rezolvate.

Nota importanta: Deocamdata NU se poate testa nimic, intrucat ceea ce este acum disponibil sunt niste fisiere binare, intr-o baza de date, care n-ar spune nimic nimanui.

Acum urmeaza inca 2 etape (din fericire mult mai scurte):

- indexerul - este un alt serviciu, care proceseaza datele stocate si genereaza factorii de ranking. Din motive de performanta, ruleaza independent de spider (ritmul lor de lucru este foarte diferit).
- partea de front-end pentru search engine (interfata), care face si selectia si sortarea propriu-zisa a datelor, si afiseaza practic ceea ce vede utilizatorul, cand face o cautare.

Pot spune ca greul a trecut; indexerul si front-endul sunt mai mult distractie pentru un coder.

Dupa ce aceste 2 module sunt gata, voi putea lansa prima parte a proiectului, care este evident free, si anume motorul de cautare. Nu ma astept sa fie chiar un succes comercial, sau sa-l inlocuiasca pe Google. Sper insa ca va oferi o alternativa de cautare informatii relevante, si ca se va dovedi util in acest mod.

Partea de front-end are si ea un task chiar greu: relevanta search-ului, si suportul lingvistic. Aici dau chix mai toate motoarele de cautare. Varianta initiala a proiectului va avea suport mai limitat pentru diacritice (rezultatele cu/fara diacritice vor fi identice). Mai problematice sunt flexiunile; inca nu am o solutie perfecta pentru asta. Probabil prima varianta beta va folosi mai mult exact match si suport pentru "flexiuni posibile", dar e posibil sa intoarca si unele rezultate nu tocmai precise.

Urmatorul pas ar fi partea a doua, cea care va oferi informatii de tip webmaster utilizatorilor, care va fi mult mai interesanta pentru membrii de pe forum.

Aici, este loc de o multime de lucruri, dar idei inca trebuiesc adunate. Deocamdata prima idee este furnizarea de informatii privind link structure, link-urile inbound, outbound, rank intern, "PR" transmis de fiecare site, nofollow si dofollow, statistici site etc.

Ulterior sper sa pot oferi si alte informatii avansate. Nu voi vorbi inca despre ele, dar sper sa fie o surpriza placuta. Sunt ceva idei interesante pe rol, sa vedem daca voi gasi si solutiile tehnice de implementare.

Nota: la partea de avansate va fi foarte mult de munca; nu stiu daca nu cumva va trebui sa existe si o versiune paid a proiectului. Intentia mea este sa fie pe cat posibil un proiect free, dar s-ar putea ca partea de avansate sa necesite o echipa de dezvoltare, caz in care costurile vor trebui suportate cumva. Dar chiar si in acest caz, probabil va exista un acces free si la informatiile avansate, cu limita de utilizare, pentru ca fiecare sa-si dea seama daca chiar ii este util sau nu).

Sper ca aceste 2 sub-proiecte (search engine si webmaster/seo info) sa fie live, in faze beta, in termen de 1-2 luni maxim.

Pentru ultimul proiect, si anume analiza de nisa, nu am inca un termen. Aici va trebui sa asamblez o echipa de coderi care sa-mi continue munca. Nu mai e o treaba pentru un singur dezvoltator.

Citat:

---

Postat în original de emm

Sper insa ca va oferi o alternativa de cautare informatii relevante

---

informatii relevante = cuvantul magic :)
Toti suntem intersati de asa ceva si la o adica si investitorii.
Daca te ajuta la ceva, am inceput sa numar paginile indexate la statistici retele sociale.

Ulterior m-am gandit ca e interesanta o comparatie cu yahoo, bing sau actualele motoare de cautare romanesti.
Daca am timp data viitoare...

Ca idee continua si asteptam vesti bune.

Citat:

---

Postat în original de 1nesco

informatii relevante = cuvantul magic :)
Toti suntem intersati de asa ceva si la o adica si investitorii.
Daca te ajuta la ceva, am inceput sa numar paginile indexate la statistici retele sociale.

Ulterior m-am gandit ca e interesanta o comparatie cu yahoo, bing sau actualele motoare de cautare romanesti.
Daca am timp data viitoare...

Ca idee continua si asteptam vesti bune.

---

Multumesc, 1nesco!

Dealtfel, orice idee de functie utila, primita in acest thread, pentru care gasesc solutie tehnica, voi cauta sa o implementez.

De remarcat insa ca pentru mine, partea de search engine este un proiect secundar (celelalte 2 sunt mai importante din punctul meu de vedere). E pur si simplu o rezultanta logica a utilizarii datelor. Nu voi sta sa fac foarte mari investitii in relevanta, ci doar sa o aduc la un nivel decent... pe cat posibil.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Asta pentru ca este destul de greu sa ii iei painea de la gura lui Google (mult trambitata relevanta).

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Si un comentariu despre relevanta si spam:

Google are probleme cu spam-ul, dupa parerea mea, tocmai pentru ca spam-filtering-ul se face mai ales automatic. De aici, probleme mari cu relevanta, intrucat algoritmii lor sunt din ce in ce mai orientati pe trust si mai putin pe relevanta. Practic spammerii castiga teren, in lupta cu G. De aici, faptul ca rezultatele relevante sunt de multe ori pe pozitia 462.

Acest motor de cautare este mult mai mic ca domeniu (pagini ro). Daca va fi suficient de bun din punct de vedere comercial, va avea o echipa full-option de manual ban, si dezvoltatori care sa implementeze filtre conform tentativelor de spam detectate. Poate sortarea nu va fi perfecta (ranking-ul), dar macar sper sa nu apara rezultate complet anapoda in index.

Lucru care imi da oarecari sperante cu relevanta. Dar, fireste, e devreme sa stiu sigur.

Ba cred ca poti concura cu google.
Personal, cand chiar ma intereseaza ceva, utilizez MetaCrawler

Citat:

---

Postat în original de emm

Probabil prima varianta beta va folosi mai mult exact match si suport pentru "flexiuni posibile", dar e posibil sa intoarca si unele rezultate nu tocmai precise.

.

---

foloseste Levenshtein distance - Wikipedia, the free encyclopedia pentru similaritatea cuvintelor Reusable Code: Levenshtein distance

Citat:

---

Postat în original de avram

foloseste Levenshtein distance - Wikipedia, the free encyclopedia pentru similaritatea cuvintelor Reusable Code: Levenshtein distance

---

Multumesc mult, este util. Totusi implementarea nu va fi atat de simpla. Dar este un punct bun de start.

Iti dau si un exemplu: cuvantul "roata" si flexiunea "roti". Distanta Levenshtein este 3, totusi cuvintele sunt extrem de aproape unele de altele.
Daca as accepta Levenshtein <=3 ca principiu, ar aparea o gramada de garbage in search results.

Probabil ca va trebui sa folosesc o combinatie de Levenshtein si date statistice pe dictionarul master... si asta de obicei inseamna o gramada de consum CPU.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Ca si contraexemplu care arata ce spun: cuvantul "Roma" are distanta 2 fata de "roti", deci mai mic decat "roata", si totusi nu are nicio legatura cu acesta.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Nu stiu cum face Google, dar el intoarce totusi rezultate foarte diferite intre cele 2 cuvinte.

Probabil ca o solutie simpla este sa las userul sa decida.... exact match sau distanta = 1, 2, 3.

Formele de plural (ex. roti pentru roata) sunt probabil usor de implementat ca sa tii cont de ele. Ideea este daca le poti gasi undeva pe toate, ca sa faci implementarea automat. Parca era o baza de date pentru DEX pe care poti sa arunci o privire sa vezi daca structura ei iti permite sa poti prelua aceasta informatie, adica forma de plural.

O problema similara probabil ca exista la familiile de cuvinte (cuvinte care au o radacina comuna, insa prefixe si/sau sufixe diferite). Poate ca dexul te va ajuta si in aceasta privinta. Bafta!

Citat:

---

Postat în original de c_n_m

Formele de plural (ex. roti pentru roata) sunt probabil usor de implementat ca sa tii cont de ele. Ideea este daca le poti gasi undeva pe toate, ca sa faci implementarea automat. Parca era o baza de date pentru DEX pe care poti sa arunci o privire sa vezi daca structura ei iti permite sa poti prelua aceasta informatie, adica forma de plural.

O problema similara probabil ca exista la familiile de cuvinte (cuvinte care au o radacina comuna, insa prefixe si/sau sufixe diferite). Poate ca dexul te va ajuta si in aceasta privinta. Bafta!

---

Multumesc. Nu sunt un expert in lingvistica/gramatica, dar incerc sa ma descurc.

Din pacate, intentionez sa folosesc platforma ulterior si pentru alte tari/limbi. Implementarea custom a acestei chestiuni in n limbi, folosind o lista preluata de undeva, este destul de dificila, si nu o vad ca fiind cea mai buna solutie.

Voi incerca sa folosesc un instrument automat pentru generarea familiei de cuvinte, folosind o combinatie de factori, de exemplu distanta Levenshtein + densitatea cuvintelor in paginile care contin cuvantul radacina. Analiza statistica ar trebui sa rezolve problema.

Update:

Partea de calcul intern PR este acum gata (o prima versiune). Urmeaza indexul lingvistic... si partea de interfata search engine.

(Nota: In timp ce scriu, tocmai imi nenoroceste temporar laptopul care sta cu CPU 100% si frige.)

Revenind la subiect, ceva interesant:

Am dat accidental peste o confirmare a faptului ca domeniile sunt mai valoroase decat subdomeniile in ce priveste rezultatele in motoarele de cautare, asta in timp ce aplicam propriul algoritm gen PR.

In principiu, toate domeniile au un PR unitar by default (sa zicem PR=1 unit, atentie ma refer la PR-ul intern nu la cel de Google toolbar); acest default se foloseste in calculul total al PR-ului unei pagini, se divide la numarul de link-uri din pagina si se imprastie ca link juice in intregul sistem. (La care se adauga juice-ul extern primit.)

Acest PR=1 unit default, nu se poate aplica si pentru subdomenii, pentru ca atunci ai putea face 1000 de subdomenii linking back catre domeniu, si ai avea 1000x1 unit = 1000 PR units trimise catre domeniu (ca si cum ai avea 1000 domenii linking in). Din acest motiv, subdomeniile nu primesc acel PR=1 unit default.

In schimb, subdomeniile primesc o fractiune de PR de la domeniu, conform regulii pagerank (PR-ul paginii / numarul de link-uri din pagina), plus cele externe. Si evident transmit inapoi o parte din juice-ul primit din link-uri externe.

(Nota: Sper ca e cat de cat inteligibil ce am scris mai sus.)

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

Ma uitam intr-un chunk de date, si urmaream siturile sortate dupa PR.

Wow. Chestia asta (proiectul) pare sa iasa ceva destul de tare la final, in special subproiectul de webmaster/seo info.

Citat:

---

Am dat accidental peste o confirmare a faptului ca domeniile sunt mai valoroase decat subdomeniile in ce priveste rezultatele in motoarele de cautare,

---

Valabil poate pentru motorul tau, dar nu [putem sti cum gandeste google

Si un update ceva mai dezamagitor:

Abia acum cand proiectul este intr-o faza apropiata de final, am reusit sa-mi dau seama de performante... si ce implica.

Problema este ritmul de indexare si dimensiunea web-ului romanesc, fata de puterile unui singur PC, fie el si unul performant.

Pentru proiectul 1 (motor de cautare) si 2 (analiza seo) ar trebui indexate toate domeniile romanesti + cel putin 2-3 nivele de sub-pagini. Adica undeva peste 100 milioane pagini efectiv indexate, si probabil de filtrat cateva miliarde url-uri. Am calculat, pe un singur server, ar trebui intre 250 si 500 de zile pentru un refresh al intregului web ro.

Singura solutie ar fi probabil un cluster cu vreo 50 de servere, ruland in paralel (cloud...), cu latime de banda serioasa, etc. Numai ca... investitia asta nu e rentabila oricum ai da-o, pentru un proiect gandit sa fie mai mult free.

Ca atare:

- pentru 1 (motor de cautare complet) nu am solutie momentan (si nu vreau sa lansez un "ceva" aproximativ, cum au tot fost lansate)

- pentru 2, analiza seo, as putea incerca un refresh pe nivele. Adica domeniile si subdomeniile (home page) sa fie indexate frecvent, iar paginile secundare mult mai lent (functie si de PR). Proiectul ar putea furniza informatii utile, insa cu siguranta nu si complete. O actualizare completa care sa includa si cele mai obscure pagini, ar putea dura cateva luni.

Ramane insa in picioare, proiectul 3 - analiza de nisa (care insa imi solicita sa adun o echipa, asa ca inca ma mai gandesc la partea de fezabilitate).

Astept pareri, daca sunt, eventual pentru punctul 2.

--- Later Edit --- (ca mi-a fost lene sa apas "Edit")

... Cu toate acestea, incep sa cred ca motorul de cautare va fi util, chiar daca nu va fi atat de complet, cel putin in prima varianta. Va oferi cu siguranta o selectie alternativa de rezultate utile, si in principiu, majoritatea siturilor importante pe un anumit domeniu pot fi cuprinse.

Am facut cateva teste de moment si rezultatele sunt interesante. Sper sa pot lansa un beta cat de curand, moment in care voi anunta pe toti cei interesati de rezultatele proiectului, sa il poata testa.

Ai mai evoluat cu proiectul?

Da si nu. De ce?

Ca sa-ti raspund mai pe indelete totusi:

Nu, in sensul ca am abandonat ideea originala, nu din motive tehnice, ci din motive de viabilitate financiara (proiectie). Imi trebuia un soi de critical mass/momentum mai greu de obtinut, pentru acel proiect.
Codul exista si poate fi reluat oricand, dar nu mai lucrez la proiect in formatul original. Am luat decizia sa nu continui fara o idee cu adevarat originala, unica, si care sa creeze diferenta ceruta de piata. Aici e buba de obicei.

Da, in sensul ca am acum o astfel de idee, dar inca nu m-am decis sa misc un deget, ci doar mai gandesc la asta. Investitia e mare, riscurile mari, dar ideea mea poate fi un game-changer, ar putea deveni viral, dezvoltat pe plan global... insa mai studiez, nu ma arunc in asa ceva. O idee noua in search nu apare asa usor si nici nu este usor de impus (n-am avut una timp de 15 ani). Dar lucrez la alte proiecte momentan, complet diferite ca nisa.

Oricum -- n-are nicio legatura cu ce faci tu cu centro.ro, am aruncat un ochi, dar atat.