am pus un mesaj despre un programel,
nu a ajuns s-au l-a sters cineva?
Versiune printabilă
am pus un mesaj despre un programel,
nu a ajuns s-au l-a sters cineva?
E un mesaj vechi? E un mesaj nou?
Nu cred ca s-a sters ceva.
;)
azi l-am scrsi, oricum, am dat search dupa si am descoperit ca se mai discutase despre asta :D
era vorba de programelul softplus gsite crawler
i-am dat drumul de aseara si nici acum nu aterminat de facut harta , oare ce dureaza asa mult?
Despre ce site vorbesti? Nu de alta dar gsc merge foarte bine.
fac harta siteului meu, www.crap.ro,Citat:
Postat în original de miromulus @ Dec 8 2005, 03:25 PM
i-am dat aseara sa o faca si tot mai lucreza si acum la ea
Ai bagat cumva si forumul in sitemap? Nu de alta dar:
si s-ar putea sa dureze ceva timpCitat:
Utilizatorii nostri au scris un numar de 26697 articole
Avem 1124 utilizatori inregistrati
da, am bagat si forumul,
nu trebuia?
Nu am zis ca nu trebuie ci doar ca din cauza lui va dura mai mult. Chiar ai o multime de linkuri din forum catre prima pagina.
Si inca ceva: am vazut ca ai robots.txt dar e gol. Pune si tu in el
User-agent: *
Disallow:
aha, pun acum, multumesc.
Cum arata un robots.txt care sa permita "tot" ? :D
Citat:
Postat în original de just_me @ Dec 8 2005, 05:42 PM
Adica? Exact cele doua randuri de mai sus permit acces complet tuturor "agentilor" cu exceptia cazului in care inaintea lor nu se precizeaza altceva. Apropo, robots.txt e verificat de sus in jos si, daca dupa o astfel de linie vei incerca sa interzici accesul cuiva va fi prea tarziu. :D
Va place sa va complicati... :)) Daca nu ai nimica de restrictionat, de ce sa mai faci un robots.txt?
Orice crawler are ca si default crawl all ( tot ce prinde ):D...
Nu-i neaparat de dragul complicatiei. Multi crawleri cand intra pe un site prima oara il cauta. Ii ajuti sa treaca la treaba mai repede si arati ca ai un site cat de cat pregatit pentru ei. Nu e o chestie foarte importanta dar am citit in cateva locuri ca rezultatele au aparut mai rapid cu un robots.txt decat fara.
Si in definitiv ce sa restrictionezi? keyword stuffing-ul din pagini de intrare ascunse? poze cu vecina? Trebuie doar sa puna cineva un link catre ele ca s-a terminat cu restrictionarea ta.
The Web Robots FAQ...
Pentru simplul fapt ca nu imi trebuie, nu se mai foloseste si nu e "util"..ar trebui sa ne dezvatam a face unele lucruri cum trebuie.
Nu cumva SEO se bazeaza pe niste "actiuni" pe care noi trebuie sa le facem? Cu ce scop?Citat:
Search engines will look in your root domain for a special file named "robots.txt". The file tells the robot (spider) which files it may spider (download). This system is called, The Robots Exclusion Standard.
Search robots
Deci nu e nevoie de robots.txt!Citat:
The robots.txt file
When a Robot visits a Web site, say http://www.foobar.com/, it firsts checks for http://www.foobar.com/robots.txt. If it can find this document, it will analyze its contents to see if it is allowed to retrieve the document. You can customize the robots.txt file to apply only to specific robots, and to disallow access to specific directories or files.
Here is a sample robots.txt file that prevents all robots from visiting the entire site
User-agent: * # applies to all robots
Disallow: / # disallow indexing of all pages
No offense.
;)
Dar macar "pentru ca spun altii" ar trebui sa facem lucrurile astea, nu ptr ca ne trebuie.
Daca tot a venit vorba de robots.txt: http://www.google.com/robots.txt
Din robots.txt-ul de la Google iti poti da seama multe lucruri. Cam ce au ei de gand si ce proiecte au in plan. Sau modul in care ei dau importanta acestui fisier.
Spre examplu Yahoo! si MSN nu au asa ceva.
Yahoo! si MSN prezinta informatii doar despre modul de indexare.
;)
Salut.
Cu robots.txt-ul asta:
- este clar necesar pentru ce?
- nu trece bot-ul peste tot daca nu il ai? cum asa?
- daca ai, sigur trece? si trece mai...usor, sau cum? ce inseamna mai usor?
- este clar necesar daca nu vrei sa pui anumite restrictii?
- este necesar de ce, in cazul in care ai meta robots?
- instructiuni de a vizita ceva anume nu sunt folosite (sa zicem de Google) si din sitemap?
Si...topic-ul nu s-a transformat in "robots.txt" ? :)
Este deja un topic cu numele asta. O sa il schimbam sub alt titlu asemanator.
Daca o sa citesti pe link-urile deja puse o sa gasesti raspunsuri.
Ideea e ca standardele date de catre W3.org si multi altii din diferite domenii, dar care tin de SEO, sugereaza folosirea lor. Nu numai ca sugereaza, dar sint dintre ei care tin cont de ele.
A pune un robots.txt, a pune meta tag-uri, alt-uri, title si alte elemente Html pe un site, nu cred ca dureaza asa de mult si nu cred ca vor "dauna" vreodata unui site. Dimpotriva, poate chiar lipsa lor poate aduce rezultate slabe.
Exista pe forum un articol (sper sa il gasesc) ce explica modul in care motoarele de cautare tin cont de validare unui site si de modul in care este conceput.
E ca si cum ai face un design al unui site.."dupa ureche". Fara a avea notiuni despre design, dar ochiul tau "needucat" iti spune ca e bine.
Nu prea inteleg cum, oameni care "lucreaza" SEO nu au cunostinte despre asa ceva si mai ales...nu inteleg cum de nu in prealabil nu se cauta informatii pe motoarele de cautare.
Exista informatii "gramada" pe net. Trebuie doar sa cautati. Gasint aceste informatii veti fi siguri de ceea ce faceti.
:rolleyes:
W3C Valid Code & Google.
Articolul despre care vorbeam.
Citisem articolul ala, Krumel.
Si, ducandu-ma pe link-ul pus de Cristian, http://forum.seopedia.ro/showthread.php?t=817 ,
am citit ca:
"Daca nu pui nimic care sa blocheze accesul spideri-lor ei vor indexa paginile si vor urma link-urile din ele." :blink:
Well....Robots.txt-ul, in cazul in care nu il pui, iti va indexa tot ce ai pe site: panoul de admin, fotografii, alte fisiere de pe domeniul respectiv.
Cu Robots.txt poti restrictiona acest lucru.
E deja vanatoare de vrajitoare.
:blink:
Well..., ok! :D
Si de ce nu spui asa de la inceput ?
Pt. multi nu e cazul sa restrictioneze ceva, ca oricum au mai pustiu pe domeniu (ceva pagini acolo si 3 lulele de gif-uri...).
So..., thanks!
Intr-adevar tind sa cred ca "mi-am batut gura" degeaba.
Concluzie: robots.txt nu e neaparat sa il pui (mai ales ca nu e obligatoriu).Citat:
Pt. multi nu e cazul sa restrictioneze ceva, ca oricum au mai pustiu pe domeniu (ceva pagini acolo si 3 lulele de gif-uri...).
Doar in cazul in care ai nevoie sa nu iti indexeze ceea ce ai pe domeniu: poze, mp3..etc.
;)
Have it your way. :lol:
Evident ca robots.txt nu e obligatoriu dar cat dureaza sa faci un fisier text si sa pui cele 2 linii in el, chiar daca nu vrei sa restrictionezi nimic? Din moment ce e primul lucru pe care il cauta un crawler nu-i frumos sa i-l oferi? :)
baieti, nu va certati pentru nimic,
asa este, ce te costa sa-l pui?
eu l-am pus si gata, am pus si cele 2 linii sugerate de colegu' si din discutiile voastre inteleg ca oricum, nimic rau nu se poate intampla.
:D :D
multumesc tuturor
(dar nu ati scapat, mai am intrebari ;) )
daca am robots.txt mai am nevoie si de meta tag robots in pagina?
HTML Author's Guide to the Robots META tag.
Citat:
The Robots META tag is a simple mechanism to indicate to visiting Web Robots if a page should be indexed, or links on the page should be followed.
Salut Iskander,
Nu ai nevoie de meta-ul robots in pagina daca folosesti robots.txt, decat in cazurile unor pagini care vrei sa faca exceptie de la regulile generale.
asa ma gandeam si eu.
mai am o intrebare
daca accesez http://www.insoft.ro/robots.txt pot observa structura directoarelor care webmasterul le considera importante
teoretic reprezinta un risc pentru securitatea site-ului oferind informatii suplimentare.
s-ar putea face intr-un fel ca acest fisier sa fie accesat doar de spiderul motoarelor de cautare?
Adika ce sa intelegem ca google stie ca nu trebuie sa indexe acele directoare de administrare a sitului ?
Bun am citit pe acolo .. dar ar trebui sa spunem noi pe forum mai in cuvinte romanesti asa ca este destinat si celor .. care nu prea au experienta ... :)
Ion e cioban. Intr-o seara dupa 5 sticle de palinca i-a venit ideia sa isi numeasca turma de oi "miorita.com". Ion, evident.. are si un caine, pe care tot in noapte cu palinca l-a numit "robots.txt", nici el nu stie de ce.
In mijlocul padurii intunecate sta "lupul cel mare si rau" care isi trimite periodic lupii aia mai mici sa caute turmele de oi, sa le numere, sa vada cat de grase sunt oile, le catalogheaza, le da "pagerank", etc. sa vada daca pot fi de vre-un folos "lupului cel mare si rau".
Ion se supara si zice "ba, nu mai arunca nici un lup un ochi in ograda mea" si il pune pe "robots.txt" sa pazeasca.
In continuare, restul e poveste... "robots.txt" intampina frumos lupul care vine sa faca statistica, ii arata de foarte aproape un pumn pe care scrie mare "disallow", lupul se intoarce dezorientat si gata.
Toti au trait fericiti pana la adanci batraneti.
Tare rau faza!!! :)) )))))))))))))) Nice thinking necropsique.
The Robots Exclusion Protocol
Citat:
2/22/2007 01:14:00 PM
Posted by Dan Crow, Product Manager
This is the second in a short series of posts about the Robots Exclusion Protocol, the standard for controlling how web pages on your site are indexed. This post provides more details and examples of mechanisms to control access and indexing of your website by Google.
In the first post in this series, I introduced robots.txt and robots META tags, giving an overview of when to use them. In this post, I'll look at some examples of the power of the protocol. These examples illustrate the detailed and fine-grain control online publishers have over how their websites are indexed.
eu care ignorasem robots.txt ... am intrat in google cu majoriatea paginilor : acces interzis, necesita cont.
totusi, cum cineva a mentionat anterior, daca incluzi in robots.txt directoarele "sensibile" nu reprezinta cumva un factor de risc ?
poti restrictiona cumva accesul la robots.txt doar clientilor care se autentifica drept crawlere ? din apache, din php, de oriunde...
thnx!
Salutare prieteni ,
Hehe treaba complicata cu robots.txt Incerc in aceasta perioada sa fac si eu un fisier robots si binenteles sa-l supun aprobarii voastre.
Florin
Bafta... sper ca nu ai reinviat acest topic doar ca sa te lauzi ;)
Daca nu ai nicio pagina pe care nu doresti sa ti-o indexeze google, nu ar trebui sa pui prea mare aspect pe robots.txt