-
intrebare robots.txt
Salut,
Este ok daca am in robots.txt urmatoarele linii:
Cod HTML:
Sitemap: http://pctroubleshooting.ro/indexsitemap.xml
User-agent: Slurp
User-agent: MSNBot
User-agent: Yeti
Crawl-delay: 10
?
Sau, ar fi mai bine sa am:
Cod HTML:
Sitemap: http://pctroubleshooting.ro/indexsitemap.xml
Sitemap: http://pctroubleshooting.ro/forumsitemap-1.xml
Sitemap: http://pctroubleshooting.ro/topicsitemap-1.xml
Sitemap: http://pctroubleshooting.ro/userssitemap-1.xml
Sitemap: http://pctroubleshooting.ro/helpsitemap-1.xml
Sitemap: http://pctroubleshooting.ro/eventsitemap-1.xml
User-agent: Slurp
User-agent: MSNBot
User-agent: Yeti
Crawl-delay: 10
Multumesc !
-
Prima versiune. Ii spui unde este index-ul de sitemap-uri si robotelul vine si parseaza acel fisier, apoi afla unde sunt restul.
Nu inteleg de ce ai partea cu "delay" insa. Chiar atat de multa banda iti fura Yahoo, MSNBOT si altii ? 10s pentru fiecare reuqest, este ENORM de mult, din punctul meu de vedere.
-
Multumesc pentru raspuns.
Partea cu delay nu este implementata inca, ci era o recomandare. Nu o voi aplica.
-
Din punctul meu de vedere, singurul robot la care ar fi logic sa faci throttling, ar fi GoogleBot. Si pentru el, poti face asta foarte simplu din Webmaster Tools. Ai un slider acolo, si il muti mai mult sau mai putin, in functie de cat de des sau de rar vrei sa te viziteze.
-
Am inteles. Multumesc mult.
-
De acum poti folosi sistemul de "multumire" pe care il gasesti in dreapta oricarui post :)