Probleme tehnice cu google.

[SorelMihai]

Eu îmi am site-urile înscrise în google webmaster. Cu majoritatea nu am probleme, crawler-ul merge normal.

Am două însă (pe hosturi diferite) la care tot primesc probleme. Unul a fost pe hostgator şi timp de vreo lună vedeam zilnic cum creşte numărul de pagini în "Unreachable URLs",multe cu "robots.txt unreachable".

Am şters robots.txt să văd dacă situaţia se schimbă şi chiar în lipsa lui tot "robots.txt unreachable" primeam.

Am mutat de curând site-ul pe un alt host, românesc, poate poate. Degeaba, l-am mutat înainte de 1 octombrie şi am erori şi din 5, şi din 6. Aceleaşi erori în "Unreachable URLs", sub acelaşi pretext "Robots.txt unreachable", deşi nu am robots.txt la site.

Dacă aţi mai păţit careva aşa ceva, dacă ştiţi cum se tratează, aş fi etern recunoscător.
(& Eu am căutat după alte topicuri aici, n-am găsit, dacă s-a mai discutat scuzele mele)

[Bruzli]

Pai daca robots.txt nu e acolo, ala e mesajul coret: 'robots.txt unreachable'

[SorelMihai]

Nu chiar. Din explicaţia dată de ei:

Before we crawled the pages of your site, we tried to check your robots.txt file to ensure we didn't crawl any pages that you had roboted out. However, your robots.txt file was unreachable. To make sure we didn't crawl any pages listed in that file, we postponed our crawl. When this happens, we return to your site later and crawl it once we can reach your robots.txt file. Note that this is different from a 404 response when looking for a robots.txt file. If we receive a 404, we assume that a robots.txt file does not exist and we continue the crawl.

Şi eroarea o primeam şi când aveam robots.txt.

[alecs]

Aceeasi problema o am si eu. IDENTICA
Google mi-a scos 3 situri din index pentru asta. Am inceput sa le imprastii in datacentere diferite dar nu am observat nici o imbunatatire. Sa fie o problema de la ei?

[kevinro]

S-ar putea sa spun prostii, dar vezi ca intr-o vreme parca aparuse un zvon ca niste cretini de hosteri blocau googlebot-ul ca sa nu li se mai incarce serverul. Mi se pare ca Mezei a scris despre asta, iarasi nu bag mana in foc ca nu e prostie ce zic acum. Cam in urma cu un an... asa ceva. Daca hosterul vechi ti-a facut bucuria asta, atunci o sa astepti nitel pana te reindexeaza.

Sau baga un Xenu Link Sleuth si vezi daca nu cumva chiar ai probleme pe site.

[SorelMihai]

Era vorba de dreamhost, din ce-mi amintesc ei sfătuiau asta. Hostgator sunt destul de lăudaţi şi cum spuneam, am încercat pe două hosturi..

[Krumel]

Am DreamHost...ptr ca am renuntat la Hostgator.
La Hostgator am avut multe probleme....ptr niste lucruri simple...pe care acum DreamHost le rezolva. Nu am patit niciodata faza cu blocatul googlebot-ului, desi altii au patit-o.

Dar pe de alta parte....platesti putin, primesti putin.

[laufer]

Eu am la Hostgator de la inceputul anului si nu am avut nici o problema. Momentan sunt multumit de ei, si este doar un cont share de 10$.

[barosanu]

nu are legatura cu hostul ...e o problema cu sitemapul
eventual cuprinde niste URL blocate din robots.txt
eu am rezolvat aceeasi problema verificand url din sitemap cu ce am pe site
incercati sa stergeti sitemapul din webmaster tools si va fi indexat din nou

[alecs]

nu are legatura cu hostul ...e o problema cu sitemapul
eventual cuprinde niste URL blocate din robots.txt
eu am rezolvat aceeasi problema verificand url din sitemap cu ce am pe site
incercati sa stergeti sitemapul din webmaster tools si va fi indexat din nou

Eu nu am sitemap la site-ul respectiv. Sigur nu e din cauza asta.

Am atasat un screenshot din webmaster tools: