Googlebot imi face overload pe server foarte mare

[deadworldisee]

Atat de mare incat.... uitati-va in screen shot.
Serverul de mysql e foarte bine optimizat si nu provoaca overload.

Am incercat sa micsorez din webmaster tools nivelul crawlerului insa nu sa simtit niciun efect de ieri pana azi....tot ca nebunu imi sugruma serverul.
Nu imi permit sa ii dau ban la googlebot fiindca totusi e vorba de seo....

Aveti careva vreo idee?

[tis]

Incearca sa implementezi un cache in site ca sa se proceseze cat mai putina informatie, chiar un cache mic de cateva ore. Eventual, daca sunt site-uri putine, instaleaza si un opcode cache. Eu folosesc eAccelerator si se simte.

Spui ca MySQL e bine optimizat. Ai putea sa postezi my.cnf sa vad cum arata? Poate se mai poate "stoarce" ceva randament si de acolo.

[Mihai Gianu]

nu cred ca e de la google, nu am vazut asa ceva in 2 ani de cand ma ocup de www-e, cel putin nu din cauza la google.

verifica cu server-status, sau cel putin uitate in loguri

[deadworldisee]

cam asta ar fi
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

bind-address = 127.0.0.1
skip-name-resolve
safe-show-database

wait_timeout=6
connect_timeout=5
interactive_timeout=6
max_connections = 1000
max_user_connections = 1000

join_buffer_size=1M
sort_buffer_size=1M
read_buffer_size=1M
read_rnd_buffer_size=1M
table_cache=256M
max_allowed_packet=4M

key_buffer=256M
key_buffer_size=256M
thread_cache=256M
thread_concurrency=2
thread_cache_size=40
thread_stack=128K

concurrent_insert=2

skip-innodb


log_slow_queries= /var/log/mysql/mysql-slow.log
long_query_time=1

[mysql.server]
user=mysql
basedir=/var/lib

[safe_mysqld]
err-log=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
insa nu mysqlu e problema,ci apachu
prea multe conexiuni deodata.Am facut un sistem de cache,dar problema e ca sunt cateva milioane de pagini de cachuit si nu imi ajunge un hdd de 350 GB pt ele....

Se poate raporta pe undeva googlebotu asta), sa trimit un mail care sa fie citit repede?

[deadworldisee]

Este Google sigur,l-am verificat.Si vine pe paginile pe care le am inserate in sitemapuri.

Nu e prima data cand patesc, insa e prima data cand ma stoarce in halu asta.

[deadworldisee]

Problem solved.....
Era un rusnac.......

[superbus]

ce server ai de la server.lu ?
si cum se misca?

[deadworldisee]

merge perfect

[Mihai Gianu]

Problem solved.....
Era un rusnac.......

ti-am zis ca nu e de la google, cel mai bine vezi requesturile pe apache cu mod_status, care face scandal dai ban