Membru SeoPedia
Postat în original de just_me @ Dec 8 2005, 05:42 PM
Cum arata un robots.txt care sa permita "tot" ?
Adica? Exact cele doua randuri de mai sus permit acces complet tuturor "agentilor" cu exceptia cazului in care inaintea lor nu se precizeaza altceva. Apropo, robots.txt e verificat de sus in jos si, daca dupa o astfel de linie vei incerca sa interzici accesul cuiva va fi prea tarziu.
Ultima modificare făcută de Krumel; 1st June 2006 la 06:20.
Ambasador
Va place sa va complicati...Daca nu ai nimica de restrictionat, de ce sa mai faci un robots.txt?
Orice crawler are ca si default crawl all ( tot ce prinde )
Boingeanu Ben
Membru SeoPedia
Nu-i neaparat de dragul complicatiei. Multi crawleri cand intra pe un site prima oara il cauta. Ii ajuti sa treaca la treaba mai repede si arati ca ai un site cat de cat pregatit pentru ei. Nu e o chestie foarte importanta dar am citit in cateva locuri ca rezultatele au aparut mai rapid cu un robots.txt decat fara.
Si in definitiv ce sa restrictionezi? keyword stuffing-ul din pagini de intrare ascunse? poze cu vecina? Trebuie doar sa puna cineva un link catre ele ca s-a terminat cu restrictionarea ta.
Ambasador
The Web Robots FAQ...
Pentru simplul fapt ca nu imi trebuie, nu se mai foloseste si nu e "util"..ar trebui sa ne dezvatam a face unele lucruri cum trebuie.
Nu cumva SEO se bazeaza pe niste "actiuni" pe care noi trebuie sa le facem? Cu ce scop?Search engines will look in your root domain for a special file named "robots.txt". The file tells the robot (spider) which files it may spider (download). This system is called, The Robots Exclusion Standard.
Search robots
Deci nu e nevoie de robots.txt!The robots.txt file
When a Robot visits a Web site, say http://www.foobar.com/, it firsts checks for http://www.foobar.com/robots.txt. If it can find this document, it will analyze its contents to see if it is allowed to retrieve the document. You can customize the robots.txt file to apply only to specific robots, and to disallow access to specific directories or files.
Here is a sample robots.txt file that prevents all robots from visiting the entire site
User-agent: * # applies to all robots
Disallow: / # disallow indexing of all pages
No offense.
Dar macar "pentru ca spun altii" ar trebui sa facem lucrurile astea, nu ptr ca ne trebuie.
Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.
Membru SeoPedia
Ambasador
Din robots.txt-ul de la Google iti poti da seama multe lucruri. Cam ce au ei de gand si ce proiecte au in plan. Sau modul in care ei dau importanta acestui fisier.
Spre examplu Yahoo! si MSN nu au asa ceva.
Yahoo! si MSN prezinta informatii doar despre modul de indexare.
Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.
Banned
Salut.
Cu robots.txt-ul asta:
- este clar necesar pentru ce?
- nu trece bot-ul peste tot daca nu il ai? cum asa?
- daca ai, sigur trece? si trece mai...usor, sau cum? ce inseamna mai usor?
- este clar necesar daca nu vrei sa pui anumite restrictii?
- este necesar de ce, in cazul in care ai meta robots?
- instructiuni de a vizita ceva anume nu sunt folosite (sa zicem de Google) si din sitemap?
Si...topic-ul nu s-a transformat in "robots.txt" ?
Ambasador
Este deja un topic cu numele asta. O sa il schimbam sub alt titlu asemanator.
Daca o sa citesti pe link-urile deja puse o sa gasesti raspunsuri.
Ideea e ca standardele date de catre W3.org si multi altii din diferite domenii, dar care tin de SEO, sugereaza folosirea lor. Nu numai ca sugereaza, dar sint dintre ei care tin cont de ele.
A pune un robots.txt, a pune meta tag-uri, alt-uri, title si alte elemente Html pe un site, nu cred ca dureaza asa de mult si nu cred ca vor "dauna" vreodata unui site. Dimpotriva, poate chiar lipsa lor poate aduce rezultate slabe.
Exista pe forum un articol (sper sa il gasesc) ce explica modul in care motoarele de cautare tin cont de validare unui site si de modul in care este conceput.
E ca si cum ai face un design al unui site.."dupa ureche". Fara a avea notiuni despre design, dar ochiul tau "needucat" iti spune ca e bine.
Nu prea inteleg cum, oameni care "lucreaza" SEO nu au cunostinte despre asa ceva si mai ales...nu inteleg cum de nu in prealabil nu se cauta informatii pe motoarele de cautare.
Exista informatii "gramada" pe net. Trebuie doar sa cautati. Gasint aceste informatii veti fi siguri de ceea ce faceti.
Ultima modificare făcută de Krumel; 1st June 2006 la 06:32.
Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.
Administrator
Ultima modificare făcută de Krumel; 1st June 2006 la 06:36.
Co-founder of Deepstash. Tech lover. Dinosaur. Dad. Chef.
Ambasador
W3C Valid Code & Google.
Articolul despre care vorbeam.
Ultima modificare făcută de Krumel; 1st June 2006 la 06:34.
Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.
Momentan este/sunt 1 utilizator(i) care navighează în acest subiect. (0 membrii și 1 vizitatori)
Permisiuni postare
Răspunde cu citat