Rezultate 1 la 5 din 5

Subiect: robots.txt problema msnbot

  1. #1
    Avatarul lui serban
    serban este deconectat Membru SeoPedia
    Reputatie:
    25
    Data înscrierii
    17th February 2006
    Locaţie
    Bucharest
    Posturi
    133
    Putere Rep
    25


    Post robots.txt problema msnbot

    http://forums.digitalpoint.com/showthread.php?t=279230

    citez de pe digital point (nu mi-a raspuns nimeni momentan acolo)

    Cod:
    here's my problem:
    
    http://www.itpromo.net/robots.txt
    
    -----snip------
    User-agent: *
    [...]
    Disallow: /*pdf$
    Disallow: /*xls$
    Disallow: /*html$
    Disallow: /*zip$
    Disallow: /*RON
    Disallow: /*EUR
    Disallow: /*USD
    Disallow: /*NONE
    Disallow: /*ASC
    Disallow: /*DESC
    -----snip------
    
    this should block all the urls containing the words after *, and the ones ending with them ($)
    
    Googlebot and Slurp recognize this, but Teoma and MSNbot don't:
    
    -----log snip-----
    "msnbot/1.0 (+http://search.msn.com/msnbot.htm)" www.itpromo.net GET /memory/a_data/1/NONE/DESC/NONE HTTP/1.0 41345 200 0 [26/Mar/2007:14:03:14 +0300]
    "msnbot/1.0 (+http://search.msn.com/msnbot.htm)" www.itpromo.net GET /memory/a_data/1/xls HTTP/1.0 13207 200 0 [26/Mar/2007:14:03:35 +0300]
    -----log snip-----
    
    what are my options to block all the bots from reaching this pages, they make a lot of traffic and i want this sections to be ignored, also i have rel="nofollow" to all the internal links pointing to this kind of URLs
    
    i've written the detailed problem on my blog also: http://www.ghita.ro/article/23/web_robots_and_dynamic_content_issues.html (scroll down to Problems).
    
    
    thanks!
    ori am gresit robots.txt-ul ori msnbot inca nu le are cu standardele
    Serban Ghita - my website

  2. #2
    Avatarul lui serban
    serban este deconectat Membru SeoPedia
    Reputatie:
    25
    Data înscrierii
    17th February 2006
    Locaţie
    Bucharest
    Posturi
    133
    Putere Rep
    25


    Post re

    http://www.ghita.ro/article/23/web_r...html#solutions

    totusi msn nu aplica standardele dupa parerea mea
    Serban Ghita - my website

  3. #3
    Avatarul lui adriana
    adriana este deconectat Membru SeoPedia
    Reputatie:
    24
    Data înscrierii
    21st November 2006
    Locaţie
    Bucuresti
    Posturi
    94
    Putere Rep
    24


    Implicit

    msn nu aplica intradevar anumite standarde


    iar in alta ordine de idei , ptr ca msnbot sa citeasca descrierea din situl tau si nu din dmoz fol urm meta: <META NAME="msnbot" CONTENT="NOODP">
    Ultima modificare făcută de adriana; 18th April 2007 la 22:00.
    just...leave me alone

  4. #4
    Avatarul lui too_night
    too_night este deconectat Banned
    Reputatie:
    0
    Data înscrierii
    28th November 2005
    Locaţie
    Bucuresti
    Posturi
    704
    Putere Rep
    0


    Implicit

    MSN inseamna (cel putin pe content in romana, la mine), max. 0,4 - 0,5 % din trafic. Merita efortul?

  5. #5
    Avatarul lui serban
    serban este deconectat Membru SeoPedia
    Reputatie:
    25
    Data înscrierii
    17th February 2006
    Locaţie
    Bucharest
    Posturi
    133
    Putere Rep
    25


    Smile re

    merita atunci cand iti face trafic mare pe site atat msnbot cat si msnmedia, si nu poti sa-l blochezi

    pe mine ma interesa raspunsul oficial microsoft cu legatura la standardul robots.txt, si modalitatea de interpretare a * (stelutei)
    Serban Ghita - my website

Informații subiect

Utilizatori care navighează în acest subiect

Momentan este/sunt 1 utilizator(i) care navighează în acest subiect. (0 membrii și 1 vizitatori)

Thread-uri Similare

  1. intrebare robots.txt
    De giovanni12345 în forumul Discutii generale privind optimizarea si motoarele de cautare
    Răspunsuri: 3
    Ultimul Post: 2nd September 2009, 11:40
  2. Google si robots.txt
    De NetraKID în forumul Google
    Răspunsuri: 1
    Ultimul Post: 6th February 2008, 19:42
  3. robots.txt unreachable
    De alecs în forumul Google
    Răspunsuri: 0
    Ultimul Post: 3rd October 2007, 02:02
  4. robots.txt
    De cris în forumul Discutii generale privind optimizarea si motoarele de cautare
    Răspunsuri: 1
    Ultimul Post: 5th August 2007, 20:08
  5. robots.txt
    De brahma în forumul Discutii generale privind optimizarea si motoarele de cautare
    Răspunsuri: 2
    Ultimul Post: 31st July 2005, 00:25

Permisiuni postare

  • Nu puteţi posta subiecte noi.
  • Nu puteţi răspunde la subiecte
  • Nu puteţi adăuga ataşamente
  • Nu puteţi modifica posturile proprii
  •