Proiect: Motor de cautare pentru site, Hosted

Salut,

Revin cu alta idee de proiect la care lucrez in prezent.

Intentionez sa ofer pe parcursul anului viitor, un sistem de hosted search (utilizand ceva soft de la un proiect mai vechi). Cu alte cuvinte, introduci un code snippet pe situl tau, si voila - ai propriul tau motor de cautare, customizabil.

Bineinteles, un astfel de proiect trebuie sa fie feature rich, si orientat catre dorintele webmasterilor. Exista cateva astfel de sisteme, unele mai vechi, dar au fiecare ups and downs. Inclusiv Google ofera unul. Iar proiectul nu este foarte usor, nu e easy cheesy, mai ales daca vrei sa-l faci la modul serios. Proiectul va avea 2 variante, una free (ad-supported) si una platita (varianta de intrare va fi de cel mult 5$ pe luna). Intentionez sa il ofer si in Romania, dar mai ales afara.


As supune aceasta idee de proiect membrilor, cer pareri pentru 2 intrebari:

1) Ati utiliza o astfel de varianta free? Varianta free va permite indexarea a aproximativ 2000-4000 pagini din site, si va contine text ads in rezultate.
Referitor la cum vor aparea aceste ads, vor fi 2-3 randuri de text maxim, care vor fi identificate diferit si colorate, "sponsored", urmand ca restul sa fie marcate "results from the site".

Toate variantele free existente pe care le-am gasit, folosesc aceasta metoda, pentru a-si acoperi costurile evidente de rulaj. (nota: un astfel de sistem genereaza consum de trafic si cpu destul de semnificative, in afara de costurile de development, deci nu ma mira acest aspect.)

2) Ce features v-ati dori/ar fi bine sa aiba? Ceva ce poate nu aveti in prezent, si v-ar folosi. Incerc sa vin cat mai aproape de dorintele celor care il vor utiliza.

Avantajul, odata lansat, va fi ca poate fi testat oricand gratuit, printr-un cont free, dupa care se poate pastra daca corespunde cerintelor sau nu.

Multumesc anticipat pentru orice pareri.

Vreau sa-ti pun eu o intrebare in primul rand. Ce oferi in plus fata de Google CSE ?

Cred ca sunt zeci sau sute de lucruri care se pot oferi in plus fata de ceea ce ofer Google CSE. Nu am dubii ca va exista un edge (sau mai multe).

Iti dau doar un prim exemplu simplu: Indexing. CSE ofera un control extrem de limitat asupra indexarii. "Index now?..."

Sau un al doilea: capacitatea de a face search pe clustere de situri, dar pe topics (un subtopic, cautare pe un site sau pe un cluster). CSE ofera un url filter, dar nu ajuta intotdeauna. Vei putea marca diferite zone in site functie de topic. Sau, probabil, va exista inclusiv un autodetect in acest sens.

Sau un al treilea: Acces direct la date pentru conturile paid, in care caz va exista si exemple de de implementare (plugin-uri wordpress, cod php samd) pentru userii avansati, incat sa poti introduce search-ul direct in site, cu posibilitate de customizare 100%.

Am dat doar vreo 3, dar pot povesti pana dimineata.

Pot oferi repet, zeci sau sute de lucruri pe care nu le ofera CSE. Inclusiv un pret considerabil mai mic. As fi interesat insa sa aud ce vor utilizatorii.

Offtopic: ca sa intelegi de unde pornesc,

Search-ul a fost mereu o zona in care m-a tentat sa dezvolt ceva.

Prin '1997 sau 98, aveam primul search engine facut, folosea Windows NT si ASP varianta old, pus pe un calculator la capatul unei linii inchiriate de 33k. Numai linia inchiriata aia (sarma + net) ma costa vreo 550$ pe luna la vremea aia, o suma enorma pentru ca dolarul avea cu totul alta valoare. Stiu ca am mai dat cam 900$ (2x450) pe doua modem-uri USR care sa stie protocolul.

In ultimii 10 ani am lucrat mereu la proiecte de search, inclusiv o tentativa de a lansa un motor de cautare alternativ pe RO. Nu am renuntat inca la acea idee, desi momentan ideea curenta e mai tentanta.

Daca este ceva ce sa merite prin facilitati suplimentare, eu as si plati.
Ma gandesc sa implementez in unul din site-urile mele un crawler care sa scaneze doar anumite site-uri si sa ofere rezultate din acestea
Varianta cu ads nu as pune, prefer google si sa pun adurile mele

Sigur, e bine de stiut ca sunt si oameni interesati de varianta platita. Desi sunt convins ca vor fi destui care sa vrea si varianta free.

Oricum, costurile vor fi rezonabile pentru paid - de genul cativa $ pe luna, oricum nu mai scumpe decat alte variante disponibile online. Incerc sa ofer ceva competitiv.

Citat:

---

Postat în original de lovelife

Daca este ceva ce sa merite prin facilitati suplimentare, eu as si plati.
Ma gandesc sa implementez in unul din site-urile mele un crawler care sa scaneze doar anumite site-uri si sa ofere rezultate din acestea
Varianta cu ads nu as pune, prefer google si sa pun adurile mele

---

1. nu as folosi un astfel de sistem care livreaza third-party ads;
daca as folosi (asta e alta discutie) as prefera sa platesc pentru o varianta clean;

personal, as vedea modelul de business mai aproape de cel al mailchimp: free pt volum limitat ca sa te atraga in sistem si paid imediat ce ai un volum suficient incat sa iti permiti;

2. nu pot raspunde (nu sunt in nisa)

suplimentar: in ro cel putin userul nu prea e obisnuit sa caute in site cu searchul siteului (pentru ca de cele mai multe ori nu merge sau merge prea incet sau returneaza pagini aiurea); inclusiv aici pe forum lumea cauta cu google si nu cu searchul intern;
apoi, exista solutii open-source pentru hosted search care pot sa fie integrate cu un site (care chiar are nevoie de asa ceva);
daca as incerca sa construiesc ceva avantaje serviciului meu de search.. as cauta sa ma adresez cumva si celor din situatiile de mai sus;

Citat:

---

Postat în original de lovelife

Daca este ceva ce sa merite prin facilitati suplimentare, eu as si plati.
Ma gandesc sa implementez in unul din site-urile mele un crawler care sa scaneze doar anumite site-uri si sa ofere rezultate din acestea
Varianta cu ads nu as pune, prefer google si sa pun adurile mele

---

Exact asta face Google CSE :)

Referitor la intrebarea principala, daca as avea nevoie de un feature pe care sa nu-l gasesc free ( de ex. la Google CSE), as folosi Lucene care e portat pe majoritatea platformelor si cu care pot face ce vreau eu. Nu cred ca e cineva care are nevoie de custom search si nu-si permite cateva sute de euro pentru o solutie custom cu Lucene sau cu altceva.

Citat:

---

Postat în original de Ciprian.Olaru

1. nu as folosi un astfel de sistem care livreaza third-party ads;
daca as folosi (asta e alta discutie) as prefera sa platesc pentru o varianta clean;

personal, as vedea modelul de business mai aproape de cel al mailchimp: free pt volum limitat ca sa te atraga in sistem si paid imediat ce ai un volum suficient incat sa iti permiti;

2. nu pot raspunde (nu sunt in nisa)

suplimentar: in ro cel putin userul nu prea e obisnuit sa caute in site cu searchul siteului (pentru ca de cele mai multe ori nu merge sau merge prea incet sau returneaza pagini aiurea); inclusiv aici pe forum lumea cauta cu google si nu cu searchul intern;
apoi, exista solutii open-source pentru hosted search care pot sa fie integrate cu un site (care chiar are nevoie de asa ceva);
daca as incerca sa construiesc ceva avantaje serviciului meu de search.. as cauta sa ma adresez cumva si celor din situatiile de mai sus;

---

Multumesc pentru sugestii.
Voi lua in considerare si modelul free ca principiu, inteleg perfect avantajele la care te referi, desi cel ad-supported mi se pare mult mai potrivit pentru acest produs (nu e deloc acelasi gen de produs ca mailchimp).

Trebuie inteles insa ceva aici. Proiectul asta il gandesc sa ofere, lucruri dincolo de strict avantajul de a putea face o cautare decenta pe site.

In general, oamenii care produc ceva bani cu situl vor opta pentru varianta paid, mai ales ca vor fi costuri mici. Tinta principala vor fi totusi clientii platitori; iar felul in care vor fi atrasi este ca sistemul va oferi features la care nu te-ai gandi, features care, pentru un site care face ceva efectiv, va produce si va economisi bani in loc sa coste. In felul acesta, search-ul se va plati singur, practic va fi free, prin restul avantajelor oferite. Vor fi features care vin la bundle, care vor aduce astfel de avantaje. Asa gandesc sistemul.

Varianta ad supported va permite celor care vor sa testeze sistemul, sa il poata testa integral, dupa care isi vor da singuri seama daca merita sau nu. Am cateva solutii care sa mareasca atractivitatea acestei versiuni.

Despre open source search, desigur ca poti utiliza, dar implementarea va fi mult mai usoara cu sistemul pe care il ofer. In plus, vor fi features unice pe care acele sisteme nu le ofera.

Cand voi lansa proiectul, voi deschide un thread cu ocazia lansarii, in care vor fi prezentate avantajele, si sunt convins ca vor fi primite cu interes. Eu unul, personal, voi beneficia (pentru alte activitati pe care le am) de avantajele sistemului, in care voi implementa unele chestii care momentan le utilizez doar in-house, si pe care nu le-am gasit in alta parte.

Citat:

---

Postat în original de filip.camara

Exact asta face Google CSE :)

Referitor la intrebarea principala, daca as avea nevoie de un feature pe care sa nu-l gasesc free ( de ex. la Google CSE), as folosi Lucene care e portat pe majoritatea platformelor si cu care pot face ce vreau eu. Nu cred ca e cineva care are nevoie de custom search si nu-si permite cateva sute de euro pentru o solutie custom cu Lucene sau cu altceva.

---

Sigur ca nu toata lumea va vedea avantajele acestui sistem, cel putin nu din start. Unii poate nu il vor prefera niciodata, din motivul 459. Altii vor prefera ce ai spus tu. Nu toata lumea prefera bananele.

Totusi, daca esti creativ si ai experienta in domeniu, poti oferi features care sa iti garanteze o buna felie de clienti.

Doar ti-am spus parerea mea, asa cum ai cerut in primul post, nu trebuie sa-mi dai contra argumente, este strict decizia ta. Am un prieten care ofera deja asa ceva (Opensolr.com), si daca te hotarasti sa pornesti acest proiect si vrei, pot sa te pun in legatura cu el sa-ti dea mai multe detalii despre cum merge piata pe acesta nisa.

Citat:

---

Postat în original de emm

desi cel ad-supported mi se pare mult mai potrivit pentru acest produs

---

asa cum am spus.. nu sunt in targhet, deci e posibil sa nu inteleg prea bine serviciul;
insa ca principiu (pt cam orice serviciu / produs pt siteul meu).. gasesc greu de testat cu versiunea ad-supported pt ca asta presupune sa livrez acele aduri (asupra carora nu am prea mare control) vizitatorilor mei;
evident, ca sa fac un test trebuie sa am useri reali (altfel nu ar fi relevant), deci versiunea de mai sus ar fi o piedica;
insa as putea sa directionez o mica parte din useri catre respectivul serviciu (daca ar fi clean, dar cu volum limitat), sa ajung la niste concluzii si apoi sa decid daca il cumpar sau nu;
iar daca siteul e mic.. probabil ca nu am nevoie / nu imi permit serviciul / efortul de implementare e mai mare decat beneficiul, deci riscul de abuz nu e prea mare;

in ceea ce priveste featureruri mai mult decat search.. am si aici doua variante:
- daca mi se ofera ceva despre care nu stiam ca ar exista.. probabil nu am nevoie de el;
- daca e ceva ce am nevoie.. e probabil sa existe si o varianta de rezolvare in-house;
de asta am spus ca as pleca de la niste nevoi reale cand m-as gandi ce features sa dezvolt (e greu sa creezi o nevoie si daca nu esti apple e probabil ca daca totusi reusesti sa o creezi sa apara si un competitor suficient de puternic care sa iti fure beneficiile);

sper sa te ajute raspunsul meu, desi nu e foarte concret

duplicat

Citat:

---

Postat în original de filip.camara

Doar ti-am spus parerea mea, asa cum ai cerut in primul post, nu trebuie sa-mi dai contra argumente, este strict decizia ta. Am un prieten care ofera deja asa ceva (Opensolr.com), si daca te hotarasti sa pornesti acest proiect si vrei, pot sa te pun in legatura cu el sa-ti dea mai multe detalii despre cum merge piata pe acesta nisa.

---

Cred ca m-ai inteles gresit. Nu am dat contra argumente.
Dimpotriva, am aratat ca vor fi si persoane care gandesc altfel, si doresc alt gen de solutie, asa cum e si cazul tau. E ok sa fie asa.

Citat:

---

Postat în original de Ciprian.Olaru

asa cum am spus.. nu sunt in targhet, deci e posibil sa nu inteleg prea bine serviciul;
insa ca principiu (pt cam orice serviciu / produs pt siteul meu).. gasesc greu de testat cu versiunea ad-supported pt ca asta presupune sa livrez acele aduri (asupra carora nu am prea mare control) vizitatorilor mei;
evident, ca sa fac un test trebuie sa am useri reali (altfel nu ar fi relevant), deci versiunea de mai sus ar fi o piedica;
insa as putea sa directionez o mica parte din useri catre respectivul serviciu (daca ar fi clean, dar cu volum limitat), sa ajung la niste concluzii si apoi sa decid daca il cumpar sau nu;
iar daca siteul e mic.. probabil ca nu am nevoie / nu imi permit serviciul / efortul de implementare e mai mare decat beneficiul, deci riscul de abuz nu e prea mare;

in ceea ce priveste featureruri mai mult decat search.. am si aici doua variante:
- daca mi se ofera ceva despre care nu stiam ca ar exista.. probabil nu am nevoie de el;
- daca e ceva ce am nevoie.. e probabil sa existe si o varianta de rezolvare in-house;
de asta am spus ca as pleca de la niste nevoi reale cand m-as gandi ce features sa dezvolt (e greu sa creezi o nevoie si daca nu esti apple e probabil ca daca totusi reusesti sa o creezi sa apara si un competitor suficient de puternic care sa iti fure beneficiile);

sper sa te ajute raspunsul meu, desi nu e foarte concret

---

Oricum e o parere care ajuta. Multumesc.

Este posibil sa fie si o varianta clean free, limitata ca volum. Oricum o variant ad-based trebuie gandita bine. Daca userii nu o vor accepta suficient de bine, se poate trece la eliminarea ei definitiva ulterior, pe modelul Mailchimp daca vrei.

O alta idee va fi de existenta unei perioade trial, in care sa nu fie servite ads, dupa care poti decide daca vrei si de care vrei.

Revin cu un status update:

Proiectul a fost startat deja, se lucreaza intens - si progresele sunt bune. O parte din softul necesar exista deja de cativa ani, restul se creeaza acum. Am facut niste pre-testari de performanta si sunt foarte bune.

Am tinut cont de parerea membrilor, si cred ca este o idee buna sa existe si o varianta 100% free (fara ads), cu anumite limitari evident - dar suficient de tentanta totusi.

Pana pe la sfarsitul lunii ianuarie, este posibil sa am o versiune alpha, live. Din acel moment voi avea nevoie cativa utilizatori de pe forum, care sa ma ajute sa testez sistemul in perioada urmatoare. Nu trebuie decat sa introduca codul pe situl lor si sa ofere feedback. Voi oferi drept recompensa, abonamente gratis pentru conturi paid. In plus, voi tine cont de sugestiile lor si voi implementa exact acele features pe care le solicita, in masura in care este tehnic posibil. In primele luni ale anului viitor este posibil sa apara new features in sistem, aproape in fiecare zi.

Estimez ca undeva in perioada martie - mai anul viitor, sistemul sa fie lansat, intr-o prima versiune (beta) cu inscriere libera pentru public. In acel moment voi face un announcement pe forum.
Va fi atat in romana, cat si in engleza (ulterior va fi disponibil si in franceza, germana, spaniola si italiana). Nota, timeframe-ul este o estimare, nu este precis - dat fiind nivelul ridicat de factori necunoscuti inca. Request-urile europene vor fi servite din Romania, iar cele americane din US, pentru timp de raspuns cat mai mic.

Multumesc din suflet pentru sfaturile deja primite, care m-au ajutat sa ma decid sa fac acest proiect.

@emm a mai evoluat vreun pic proiectul?

Citat:

---

Postat în original de Stelian

@emm a mai evoluat vreun pic proiectul?

---

Proiectul a fost oprit, nu din motive tehnice (nu era departe de un beta, codul exista, ar putea fi reluat oricand) ci pentru ca nu am gasit o varianta optima de promovare si monetizare.

Costurile de operare cam la cât se ridică (pe lună/an)?