Pagina 2 din 7 PrimulPrimul 1234 ... UltimulUltimul
Rezultate 11 la 20 din 64

Subiect: Despre Robots.txt

  1. #11
    Avatarul lui Ioan Margineanu
    Ioan Margineanu este deconectat Membru SeoPedia
    Reputatie:
    29
    Data înscrierii
    16th May 2005
    Locaţie
    Bucuresti
    Vârstă
    39
    Posturi
    1.098
    Putere Rep
    29


    Implicit

    Citat Postat în original de just_me @ Dec 8 2005, 05:42 PM
    Cum arata un robots.txt care sa permita "tot" ?

    Adica? Exact cele doua randuri de mai sus permit acces complet tuturor "agentilor" cu exceptia cazului in care inaintea lor nu se precizeaza altceva. Apropo, robots.txt e verificat de sus in jos si, daca dupa o astfel de linie vei incerca sa interzici accesul cuiva va fi prea tarziu.
    Ultima modificare făcută de Krumel; 1st June 2006 la 05:20.

  2. #12
    Avatarul lui Ben Boingeanu
    Ben Boingeanu este deconectat Ambasador
    Reputatie:
    34
    Data înscrierii
    12th July 2004
    Locaţie
    Suceava
    Posturi
    1.722
    Putere Rep
    34


    Implicit

    Va place sa va complicati... Daca nu ai nimica de restrictionat, de ce sa mai faci un robots.txt?

    Orice crawler are ca si default crawl all ( tot ce prinde )...
    Boingeanu Ben

  3. #13
    Avatarul lui Ioan Margineanu
    Ioan Margineanu este deconectat Membru SeoPedia
    Reputatie:
    29
    Data înscrierii
    16th May 2005
    Locaţie
    Bucuresti
    Vârstă
    39
    Posturi
    1.098
    Putere Rep
    29


    Implicit

    Nu-i neaparat de dragul complicatiei. Multi crawleri cand intra pe un site prima oara il cauta. Ii ajuti sa treaca la treaba mai repede si arati ca ai un site cat de cat pregatit pentru ei. Nu e o chestie foarte importanta dar am citit in cateva locuri ca rezultatele au aparut mai rapid cu un robots.txt decat fara.

    Si in definitiv ce sa restrictionezi? keyword stuffing-ul din pagini de intrare ascunse? poze cu vecina? Trebuie doar sa puna cineva un link catre ele ca s-a terminat cu restrictionarea ta.

  4. #14
    Avatarul lui Krumel
    Krumel este deconectat Ambasador
    Reputatie:
    60
    Data înscrierii
    15th November 2004
    Locaţie
    Iasi
    Vârstă
    42
    Posturi
    6.261
    Putere Rep
    60


    Implicit

    The Web Robots FAQ...
    Pentru simplul fapt ca nu imi trebuie, nu se mai foloseste si nu e "util"..ar trebui sa ne dezvatam a face unele lucruri cum trebuie.
    Search engines will look in your root domain for a special file named "robots.txt". The file tells the robot (spider) which files it may spider (download). This system is called, The Robots Exclusion Standard.
    Nu cumva SEO se bazeaza pe niste "actiuni" pe care noi trebuie sa le facem? Cu ce scop?
    Search robots
    The robots.txt file

    When a Robot visits a Web site, say http://www.foobar.com/, it firsts checks for http://www.foobar.com/robots.txt. If it can find this document, it will analyze its contents to see if it is allowed to retrieve the document. You can customize the robots.txt file to apply only to specific robots, and to disallow access to specific directories or files.

    Here is a sample robots.txt file that prevents all robots from visiting the entire site

    User-agent: * # applies to all robots
    Disallow: / # disallow indexing of all pages
    Deci nu e nevoie de robots.txt!
    No offense.

    Dar macar "pentru ca spun altii" ar trebui sa facem lucrurile astea, nu ptr ca ne trebuie.
    Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.

  5. #15
    Avatarul lui Ioan Margineanu
    Ioan Margineanu este deconectat Membru SeoPedia
    Reputatie:
    29
    Data înscrierii
    16th May 2005
    Locaţie
    Bucuresti
    Vârstă
    39
    Posturi
    1.098
    Putere Rep
    29


    Implicit

    Daca tot a venit vorba de robots.txt: http://www.google.com/robots.txt

  6. #16
    Avatarul lui Krumel
    Krumel este deconectat Ambasador
    Reputatie:
    60
    Data înscrierii
    15th November 2004
    Locaţie
    Iasi
    Vârstă
    42
    Posturi
    6.261
    Putere Rep
    60


    Implicit

    Din robots.txt-ul de la Google iti poti da seama multe lucruri. Cam ce au ei de gand si ce proiecte au in plan. Sau modul in care ei dau importanta acestui fisier.
    Spre examplu Yahoo! si MSN nu au asa ceva.
    Yahoo! si MSN prezinta informatii doar despre modul de indexare.
    Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.

  7. #17
    Avatarul lui too_night
    too_night este deconectat Banned
    Reputatie:
    0
    Data înscrierii
    28th November 2005
    Locaţie
    Bucuresti
    Posturi
    704
    Putere Rep
    0


    Implicit

    Salut.

    Cu robots.txt-ul asta:

    - este clar necesar pentru ce?
    - nu trece bot-ul peste tot daca nu il ai? cum asa?
    - daca ai, sigur trece? si trece mai...usor, sau cum? ce inseamna mai usor?
    - este clar necesar daca nu vrei sa pui anumite restrictii?
    - este necesar de ce, in cazul in care ai meta robots?
    - instructiuni de a vizita ceva anume nu sunt folosite (sa zicem de Google) si din sitemap?

    Si...topic-ul nu s-a transformat in "robots.txt" ?

  8. #18
    Avatarul lui Krumel
    Krumel este deconectat Ambasador
    Reputatie:
    60
    Data înscrierii
    15th November 2004
    Locaţie
    Iasi
    Vârstă
    42
    Posturi
    6.261
    Putere Rep
    60


    Implicit

    Este deja un topic cu numele asta. O sa il schimbam sub alt titlu asemanator.
    Daca o sa citesti pe link-urile deja puse o sa gasesti raspunsuri.
    Ideea e ca standardele date de catre W3.org si multi altii din diferite domenii, dar care tin de SEO, sugereaza folosirea lor. Nu numai ca sugereaza, dar sint dintre ei care tin cont de ele.
    A pune un robots.txt, a pune meta tag-uri, alt-uri, title si alte elemente Html pe un site, nu cred ca dureaza asa de mult si nu cred ca vor "dauna" vreodata unui site. Dimpotriva, poate chiar lipsa lor poate aduce rezultate slabe.

    Exista pe forum un articol (sper sa il gasesc) ce explica modul in care motoarele de cautare tin cont de validare unui site si de modul in care este conceput.

    E ca si cum ai face un design al unui site.."dupa ureche". Fara a avea notiuni despre design, dar ochiul tau "needucat" iti spune ca e bine.

    Nu prea inteleg cum, oameni care "lucreaza" SEO nu au cunostinte despre asa ceva si mai ales...nu inteleg cum de nu in prealabil nu se cauta informatii pe motoarele de cautare.
    Exista informatii "gramada" pe net. Trebuie doar sa cautati. Gasint aceste informatii veti fi siguri de ceea ce faceti.
    Ultima modificare făcută de Krumel; 1st June 2006 la 05:32.
    Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.

  9. #19
    Avatarul lui Cristian Mezei
    Cristian Mezei este deconectat Administrator
    Reputatie:
    53
    Data înscrierii
    20th February 2005
    Locaţie
    Everywhere
    Posturi
    6.973
    Putere Rep
    53


    Implicit

    Ultima modificare făcută de Krumel; 1st June 2006 la 05:36.
    Founder. Tech lover. Dinosaur. Dad. Chef.

  10. #20
    Avatarul lui Krumel
    Krumel este deconectat Ambasador
    Reputatie:
    60
    Data înscrierii
    15th November 2004
    Locaţie
    Iasi
    Vârstă
    42
    Posturi
    6.261
    Putere Rep
    60


    Implicit

    W3C Valid Code & Google.
    Articolul despre care vorbeam.
    Ultima modificare făcută de Krumel; 1st June 2006 la 05:34.
    Krumel - apeleaza la serviciile oferite de mine prin formularul de pe blog.

Pagina 2 din 7 PrimulPrimul 1234 ... UltimulUltimul

Informații subiect

Utilizatori care navighează în acest subiect

Momentan este/sunt 1 utilizator(i) care navighează în acest subiect. (0 membrii și 1 vizitatori)

Thread-uri Similare

  1. Google si robots.txt
    De NetraKID în forumul Google
    Răspunsuri: 1
    Ultimul Post: 6th February 2008, 19:42
  2. robots.txt unreachable
    De alecs în forumul Google
    Răspunsuri: 0
    Ultimul Post: 3rd October 2007, 02:02
  3. robots.txt
    De cris în forumul Discutii generale privind optimizarea si motoarele de cautare
    Răspunsuri: 1
    Ultimul Post: 5th August 2007, 20:08
  4. meta name= robots
    De prodan_13 în forumul Client side
    Răspunsuri: 2
    Ultimul Post: 19th January 2007, 11:03
  5. robots.txt
    De brahma în forumul Discutii generale privind optimizarea si motoarele de cautare
    Răspunsuri: 2
    Ultimul Post: 31st July 2005, 00:25

Permisiuni postare

  • Nu puteţi posta subiecte noi.
  • Nu puteţi răspunde la subiecte
  • Nu puteţi adăuga ataşamente
  • Nu puteţi modifica posturile proprii
  •