Cautare pentru magazine online

Cred ca este clar pentru toti cei care citim aceasta sectiune ca una din marile provocari ale unui magazin online este motorul de cautare.

In momentul de fata lucrez la un engine, destept zic eu, si care functioneaza destul de diferit fata de ce am vazut la solutiile existente pe piata (ro si afara).
Sincer sa fiu e foarte diferit de cum functioneaza multe magazine mari.
Exista deasemenea magazine online de top de la care, bineinteles, am invatat destul de multe.

Ca sa va spun in mare despre ce este vorba: este un motor de cautare care e bazat pe releventa (custom made, algoritm propriu) si pe studiu al comportamentului utilizatorului. Deasemenea, are componente care au capacitate de self learning. Deasemenea, relevante rezultatelor unei cautari este dependenta de cine face cautarea.

Cum stateam eu azi si ma gandeam la aceste functionalitati mi-a venit o idee: poate sunt si alti oameni care se gandesc la alte functionalitati de genul acesta sau sunt si altii interesati de acest concept si am concluzionat ca ar fi bine sa imi share-uiesc ideile si chiar codul sursa.

In consecinta as vrea sa initiem o discutie generala despre practici in cautare pe magazine online si, intr-un grup mai restrans, sa facem sharing de idei si chiar cod.

De ce as fi dispus sa fac asta?
1. Pentru ca astept reciprocitate si sunt intotdeauna deschis la dezbateri provocatoare.
2. Pentru ca eu nu vand solutii de ecommerce (deci oricum nu as fi afectat) ci vand consultanta.

So, ce ziceti, se baga cineva?

Mi-ar place un "chat" cu tine despre magazinele online dar probabil ar fi dezavantajos pentru tine (la nivel de cunostinte) :)

Nu neaparat ... va veni un moment cand probabil voi avea nevoie de help si ma vei putea ajuta.

Va stau oricand la dispozitie.

Oricum, legat de search, as fii curios sa stiu daca a fost ceva pe vreun site vazut de voi care v-a impresionat in mod deosebit (evident, in materie de search pe un magazin online).

Cred ca este un modul al magazinelor ignorat in mare parte de developeri. Nici eu nu ii dau mare atentie, atata timp cat gaseste cuvinte simple prin toata bd nu vad unde trebuie

Citat:

---

releventa (custom made, algoritm propriu) si pe studiu al comportamentului utilizatorului. Deasemenea, are componente care au capacitate de self learning.

---

?
Si eu poate as lucra la proiecte din astea daca as avea timp liber, dar un search engine asa complex cred ca trebuie doar la magazine cu cateva sute de mii de produse, din foarte multe categorii.
Bine exista si magazine (romanesti ca pe restul nu am umblat) in care nu iti gaseste produsul nici dupa un longtail din titlul produsului.

Tocmai asta e problema, ca de cele mai multe ori cautand dupa ceva care pentru tine are relevanta sa nu gasesti nimic sau sa primesti rezultate eronate sau ordinea de afisare sa fie total aiurea.
In cazul asta conversia cumparator - vizitator se face mult mai greu.

De Kaboo ce parere aveti ? NU merge ?

In primul rand Kaboo este cu totul altceva.
In al doilea rand: sunt probleme cu algoritmul de cautare. Cauta de exemplu bluza adidas si primele rezultate vor contine doar cuvantul bluza sau doar cuvantul adidas si abia apoi apar si rezultatele in care apar ambele cuvinte. In concluzie nu putem vorbi de un algoritm prea destept de calculare a relevantei.

Ce este in spate la kaboo? Cumva price tapestry?

Stai un pic... Vorbim de un motor de cautare ce ar putea fi implementat - ca modul sa zicem - pe orice magazin online? sau vorbesti de un motor de cautare de sine statator, dar dedicat ecommerce-ului romanesc?

ps am postat amandoi in acelasi timp cred...

Mda, buna intrebare ca eu am inteles ceea ce se vede ca am inteles...

El a creat un modul pentru magazinele online, nu de sine statator, cu toate ca daca are o baza de date de la 100 de magazine tot isi face treaba cu niste modificari, zic eu.
Si eu as avea nevoie de un search engine care sa arate in ordinea relevantei (intai "bluza adidas" apoi cele cu "bluza" apoi "adidas", deocamdata am doar ultimele doua ) m-am blocat pentru ca nu am stat sa gasesc un algoritm care sa nu gaseasca acelasi produs de 2 ori, am facut doar un query simplu.

Sorry ca nu am mai urmarit thread-ul acesta in ultimul timp.

Eu ma refer la un algoritm de cautare in cadrul unui magazin existent.
Cautarea trebuie sa fie cat mai human like ( = ca si cum ai vorbi cu un om de la magazin de la raionul X).

@B3aT: poti sa rezolvi foarte simplu cu view-uri. In view faci mai multe selecturi si recordsetul returnat catre script e unul singur in ordinea unei relative relevante. Asta este un prim pas.

In discutie aici sunt, pe de o parte, modurile de stabilire a relevantei si optimizarea ordonarii dupa relevanta.

O alta solutie ar fi sa iti definesti keywords (tags) pe fiecare produs si pe fiecare user x produs, bineinteles avand si un scoring al asocierii.

Dupa ce pui asta la punct poti sa mergi mai departe si sa implementezi suport pentru stop words, exclusion words, etc.

Si drumul nu se opreste aici :)

Problema relevantei inteleg cum se rezolva dar daca ai pute sami dai un exemplu cu view-uri as fi recunsocator.

Alta problema ar fi la cautarea de keyworduri longtail, nestiind bine mysql am rezolvat-o prin generarea queryului in functie de cuvinte (ex titlu = %key1% OR titlu = %key2% ). Nu stiu cat de proasta e solutia dar alta nu mia venit in minte.

Hai sa iti dau un exemplu clar si apoi iti fac transpunere in algoritm.

Userul face o cautare dupa "cuvant1 cuvant2".
Ce trebuie sa ai tu inainte de a face cautarea:
- un sistem in care sa tii o lista de keywords si o asociere intre keywords si produse si un scoring de asociere
Cautare se face asa:
- iei o lista de produse unde se gaseste si cuvant1 si cuvant2 | lista 1
- iei o lista de produse unde se gaseste cuvant1 | lista 2
- iei o lista de produse unde se gaseste cuvant2 | lista 3
- DACA numarul de rezultate este mai mic decat X (X il definesti tu in functie de numarul de produse din site, de specific, etc) atunci incerci sa faci o cautare dupa eventuale cuvinte scrise gresit (descriu mai jos)
- in urma cautarii rezulta lista 4
- unifici listele
- le ordonezi dupa scoring (in cazul listei 1 scoringul este suma scoringurilor pe cele 2 keyworduri)
- afisezi rezultatele

In unele cazuri, sa faci o astfel de procedura in PHP iti mananca ceva resurse deci se recomanda, numai daca este nevoie, sa folosesti proceduri storate (stored procedures) si sa muti tot ce am descris eu mai sus in SQL.

Cuvinte scrise gresit: orice cuvant are asociata logic si o lista de posibile greseli. Gasesti o groaza de documentatie pe net.
Un exemplu de modalitate de calculare a posibilelor cuvinte gresite este:
- se da cuvantul abcdef
- se considera regula de baza ca nu vom avea mai mult de 30% din litere gresite, in cazul nostru maxim 2 in acelasi timp de unde rezulta ca pentru abcdef noi putem avea 21 de variante (sper ca am calculat ok ;) )
- pt fiecare varianta faci variatii in functie de litera de replacement si aici se iau in considerare tastele adiacente.

Exemplu:
cuvant initial: abcdef
ex1: luam litera a, taste adiacente sunt qwsz deci greseli pot fi qbcdef, wbcdef si tot asa

Mai departe:
consideram ca abcdef este asociat cu produsul X cu un scoring de 100.
toate misspellurile lui abcdef vor fi asociate cu keywordul abcdef

In consecinta: atunci cand faci cautare dupa qbcdef si nu se returneaza suficiente rezultate se vor face cautari si dupa abcdef.

Te las sa digeri informatia si daca mai sunt intrebari nu ezita sa scrii aici.


Regards,