O recomandare, va rog

[Mishu]

Se pare ca sunt nevoit sa fac ceva miscari in cazul unui cont de gazduire.

Sa va explic despre ce e vorba:
Am pe un pachet de gazduire (RAID si baza de date SSD) 4 site-uri, toate la un loc avand in medie mai putin de 800 unici pe zi. In ultima vreme am ovservat ca a crescut loadul, inclusiv pe perioada cand nu am vizitatori.
Am luat legatura cu cei de la gazduire pentru a mai achizitiona un pachet pe care sa mut doua dintre site-uri.

Dupa ce le-am spus cati vizitatori am au spus ca pana la 1000 pe zi ar trebui sa merga bine cu pachetul pe care il am, indiferent de numarul de site-uri, si sa fac un ticket sa verifice ce nu este in regula, posibil sa fi fost compromisa securitatea.
Dupa ce am facut ticket-ul mi-au dat dreptate si au spus ca: "Acest consum poate fi dat si de indexarea continua a siteurilor de catre motoarele de cautare , iar fiecare accesare foloseste cpu si un loc in accesarile simultane ."
Bineinteles mi-a fost recomandat un pachet business, pentru ca are resurse "duble"...

Oricum voiam sa impart site-urile pe IP-uri diferite asa ca este exclus un pachet business si 2 IP-uri, vreau sa ma incadrez intr-un buget mai mic.

Cei care aveti experienta, credeti ca este corect ce mi-au spus sau sunt anumite deficiente hardware, servere prea aglomerate, etc?
Intreb asta pentru ca luna viitoare imi expira contractul si nu stiu daca sa merg mai departe cu ei sau sa optez pentru o alta firma.
xServers am vazut ca au preturi mai accesibile, sau poate imi recomandati voi ceva.

[dascalescu]

Te-ai uitat pe loguri sa vezi mai exact ce motoare de cautare te indexeaza asa intensiv ? Verifica si tu sa nu fie chinezarii. Sau scrapere de continut.
Recomand o blocare atat din robots.txt cat si din htaccess a tuturor acestor lipitori sugatoare de resurse de server.
Mai jos ai solutia mea tehnica :

Pentru robots.txt:

User-agent: BecomeBot
User-agent: Nutch
User-agent: Jetbot/1.0
User-agent: Jetbot
User-agent: Teoma
User-agent: WebVac
User-agent: Stanford
User-agent: Stanford CompSciClub
User-agent: Stanford CompClub
User-agent: Stanford Spiderboys
User-agent: scooter
User-agent: naver
User-agent: dumbot
User-agent: Hatena Antenna
User-agent: grub-client
User-agent: grub
User-agent: looksmart
User-agent: WebZip
User-agent: larbin
User-agent: b2w/0.1
User-agent: Copernic
User-agent: psbot
User-agent: Python-urllib
User-agent: NetMechanic
User-agent: URL_Spider_Pro
User-agent: CherryPicker
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: WebBandit
User-agent: EmailWolf
User-agent: ExtractorPro
User-agent: CopyRightCheck
User-agent: Crescent
User-agent: SiteSnagger
User-agent: ProWebWalker
User-agent: CheeseBot
User-agent: LNSpiderguy
User-agent: Mozilla
User-agent: mozilla
User-agent: mozilla/3
User-agent: mozilla/4
User-agent: mozilla/5
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows NT)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 95)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 98)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows XP)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 2000)
User-agent: ia_archiver
User-agent: ia_archiver/1.6
User-agent: Alexibot
User-agent: Teleport
User-agent: TeleportPro
User-agent: Stanford Comp Sci
User-agent: MIIxpc
User-agent: Telesoft
User-agent: Website Quester
User-agent: moget/2.1
User-agent: WebZip/4.0
User-agent: WebStripper
User-agent: WebSauger
User-agent: WebCopier
User-agent: NetAnts
User-agent: Mister PiX
User-agent: WebAuto
User-agent: TheNomad
User-agent: WWW-Collector-E
User-agent: RMA
User-agent: libWeb/clsHTTP
User-agent: asterias
User-agent: httplib
User-agent: turingos
User-agent: spanner
User-agent: InfoNaviRobot
User-agent: Harvest/1.5
User-agent: Bullseye/1.0
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: CherryPickerSE/1.0
User-agent: CherryPickerElite/1.0
User-agent: WebBandit/3.50
User-agent: NICErsPRO
User-agent: Microsoft URL Control - 5.01.4511
User-agent: DittoSpyder
User-agent: Foobot
User-agent: WebmasterWorldForumBot
User-agent: SpankBot
User-agent: BotALot
User-agent: lwp-trivial/1.34
User-agent: lwp-trivial
User-agent: http://www.WebmasterWorld.com bot
User-agent: BunnySlippers
User-agent: Microsoft URL Control - 6.00.8169
User-agent: URLy Warning
User-agent: Wget/1.6
User-agent: Wget/1.5.3
User-agent: Wget
User-agent: LinkWalker
User-agent: cosmos
User-agent: moget
User-agent: hloader
User-agent: humanlinks
User-agent: LinkextractorPro
User-agent: Offline Explorer
User-agent: Mata Hari
User-agent: LexiBot
User-agent: Web Image Collector
User-agent: The Intraformant
User-agent: True_Robot/1.0
User-agent: True_Robot
User-agent: BlowFish/1.0
User-agent: http://www.SearchEngineWorld.com bot
User-agent: JennyBot
User-agent: MIIxpc/4.2
User-agent: BuiltBotTough
User-agent: ProPowerBot/2.14
User-agent: BackDoorBot/1.0
User-agent: toCrawl/UrlDispatcher
User-agent: WebEnhancer
User-agent: suzuran
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: VCI
User-agent: Szukacz/1.4 
User-agent: QueryN Metasearch
User-agent: Openfind data gathere
User-agent: Openfind 
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Xenu's
User-agent: Zeus
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RepoMonkey
User-agent: Microsoft URL Control
User-agent: Openbot
User-agent: URL Control
User-agent: Zeus Link Scout
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-agent: Webster Pro
User-agent: EroCrawler
User-agent: LinkScan/8.1a Unix
User-agent: Keyword Density/0.9
User-agent: Kenjin Spider
User-agent: Iron33/1.0.2
User-agent: Bookmark search tool
User-agent: GetRight/4.2
User-agent: FairAd Client
User-agent: Gaisbot
User-agent: Aqua_Products
User-agent: Radiation Retriever 1.1
User-agent: WebmasterWorld Extractor
User-agent: Flaming AttackBot
User-agent: Oracle Ultra Search
User-agent: MSIECrawler
User-agent: PerMan
User-agent: searchpreview
User-agent: sootle
User-agent: es
User-agent: Enterprise_Search/1.0
User-agent: Enterprise_Search
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: rogerbot
User-agent: exabot
User-agent: dotbot
User-agent: gigabot
User-agent: BlekkoBot
Disallow: /

Pentru htaccess:

SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
SetEnvIfNoCase User-Agent .*BLEXbot.* bad_bot
SetEnvIfNoCase User-Agent .*Blekkobot.* bad_bot
SetEnvIfNoCase User-Agent .*SEOkicks-Robot.* bad_bot
SetEnvIfNoCase User-Agent .*BotALot.* bad_bot
SetEnvIfNoCase User-Agent .*Alexibot.* bad_bot
SetEnvIfNoCase User-Agent .*BecomeBot.* bad_bot
SetEnvIfNoCase User-Agent .*BunnySlippers.* bad_bot
SetEnvIfNoCase User-Agent .*CheeseBot.* bad_bot
SetEnvIfNoCase User-Agent .*Foobot.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*grub.* bad_bot
SetEnvIfNoCase User-Agent .*grub-client.* bad_bot
SetEnvIfNoCase User-Agent .*hloader.* bad_bot
SetEnvIfNoCase User-Agent .*httplib.* bad_bot
SetEnvIfNoCase User-Agent .*humanlinks.* bad_bot
SetEnvIfNoCase User-Agent .*InfoNaviRobot.* bad_bot
SetEnvIfNoCase User-Agent .*JennyBot.* bad_bot
SetEnvIfNoCase User-Agent .*Jetbot.* bad_bot
SetEnvIfNoCase User-Agent .*larbin.* bad_bot
SetEnvIfNoCase User-Agent .*LexiBot.* bad_bot
SetEnvIfNoCase User-Agent .*LinkextractorPro.* bad_bot
SetEnvIfNoCase User-Agent .*LinkWalker.* bad_bot
SetEnvIfNoCase User-Agent .*LNSpiderguy.* bad_bot
SetEnvIfNoCase User-Agent .*moget.* bad_bot
SetEnvIfNoCase User-Agent .*MSIECrawler.* bad_bot
SetEnvIfNoCase User-Agent .*naver.* bad_bot
SetEnvIfNoCase User-Agent .*NetAnts.* bad_bot
SetEnvIfNoCase User-Agent .*NetMechanic.* bad_bot
SetEnvIfNoCase User-Agent .*NICErsPRO.* bad_bot
SetEnvIfNoCase User-Agent .*Nutch.* bad_bot
SetEnvIfNoCase User-Agent .*Openbot.* bad_bot
SetEnvIfNoCase User-Agent .*Openfind.* bad_bot
SetEnvIfNoCase User-Agent .*psbot.* bad_bot
SetEnvIfNoCase User-Agent .*ProWebWalker.* bad_bot
SetEnvIfNoCase User-Agent .*RepoMonkey.* bad_bot
SetEnvIfNoCase User-Agent .*scooter.* bad_bot
SetEnvIfNoCase User-Agent .*SEMRushBot.* bad_bot
SetEnvIfNoCase User-Agent .*Stanford.* bad_bot
SetEnvIfNoCase User-Agent .*SpankBot.* bad_bot
SetEnvIfNoCase User-Agent .*SiteSnagger.* bad_bot
SetEnvIfNoCase User-Agent .*suzuran.* bad_bot
SetEnvIfNoCase User-Agent .*Teleport.* bad_bot
SetEnvIfNoCase User-Agent .*WebBandit.* bad_bot
SetEnvIfNoCase User-Agent .*WebCopier.* bad_bot
SetEnvIfNoCase User-Agent .*Xenu.* bad_bot
SetEnvIfNoCase User-Agent .*Zeus.* bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

[Rapsodia]

Dascalescu asta ar fi problema si la mine? Sau nu ma uit unde trebuie? Nu exista o metoda mai scurta de genul google, ala si ala good restul acces interzis?

[dascalescu]

Da, asta pare sa fie problema ta.
Metoda mai scurta propusa de tine nu e adecvata fiind prea restrictiva.
Ideal este sa blochezi doar ce stii ca-ti face rau.
Foloseste cele 2 fisiere robots si htaccess si nu o sa mai fii nevoit sa-ti schimbi hostingul, cel putin nu acum.

[Dan]

Mishu, in prima faza poti verifica si webmaster tools.
Uneori, daca schimbi structura unui site sau daca dai spre indexare multe pagini, google poate face serverul sa planga.
Din webmaster tools poti afla daca google o face si poti limita viteza cu care indexeaza.

Vezi aici cum arat graficele:

[Mishu]

Te-ai uitat pe loguri sa vezi mai exact ce motoare de cautare te indexeaza asa intensiv ? Verifica si tu sa nu fie chinezarii. Sau scrapere de continut.
Recomand o blocare atat din robots.txt cat si din htaccess a tuturor acestor lipitori sugatoare de resurse de server.
...............................

Sunt interesat numai de vizitatorii RO. In htacces am avut pana acum:

RewriteEngine on
RewriteCond %{HTTP:Accept-Language} (ja|pt|tw|vi|zh|cn|jp|vn) [NC]
RewriteRule .* - [F]

si

RewriteCond %{HTTP_USER_AGENT} "MSIE 7" [or]
RewriteCond %{HTTP_USER_AGENT} "MSIE 6" [or]
RewriteCond %{HTTP_USER_AGENT} "MSIE 5" [or]
RewriteCond %{HTTP_USER_AGENT} "MSIE 4" [or]
RewriteCond %{HTTP_USER_AGENT} "MSIE 3" [or]
RewriteCond %{HTTP_USER_AGENT} "MSIE 2" [or]
RewriteCond %{HTTP_USER_AGENT} "MSIE 1"
RewriteRule .* - [F]

Astia ii descoperisem eu ca fiind prea insistenti.
Multumesc, o sa introduc acele restrictii sa vad cum evolueaza.

Mishu, in prima faza poti verifica si webmaster tools.
Uneori, daca schimbi structura unui site sau daca dai spre indexare multe pagini, google poate face serverul sa planga.
Din webmaster tools poti afla daca google o face si poti limita viteza cu care indexeaza.
....

Pare sa fie o problema....
Unul dintre site-uri are pe 22.10.2014 30.497 accesari.
E vorba de un site cu numai 138 de pagini indexate...
Accesare-Google.jpg
celelalte au o medie unul la 120 si celalalt la 300 accesari pe zi...
Ma tem ca daca ii limitez accesul vor ramane tocmai paginile noi neindexate.
Vad ca il pot sata la un minim de 100 de secunde intre solicitari....

LE
Stiu ce imi genereaza acel trafic, sunt niste filtre pe continut. Chiar daca reduc rata de acces pentru Google vor fi ceilalti boti care isi vor face de cap.
Voi pune noindex tot ce nu ma intereseaza.

LLE
Deci sa inteleg ca imi recomandati sa merg cu actuala gazduire daca am fost multumit cu colaborarea pe care am avut-o pana acum cu ei.
Multumesc!

[Mishu]

Iata si rezultatul:
CPU.JPG

Este totusi un load mare dar sunt mult mai frecvente incarcarile mici.
Inca odata va multumesc!

[dascalescu]

Foarte bine ca ai facut putina curatenie , ma bucur ca am putut sa iti fiu de ajutor!

[Mishu]

Inca n-am scapat de probleme....

Aveti idee ce ar putea fi si cum (daca) pot scapa de el?

"Unknown robot (identified by 'bot' followed by a space or one of the following characters _+:,.;/\-)"
Hits-154,757+238 Bandwidth-1.16 GB Ultima accesare-13 Nov 2014 - 01:01

comparativ cu

Googlebot
Hits-25,223+94 Bandwidth-193.54 MB Ultima accesare-13 Nov 2014 - 01:01

Nu am convingerea ca asta este adevarata problema, adica botii care indexeaza site-ul, ar putea fi si o breza de securitate.

"CPU resources were limited for your site
You have reached entry processes (number of simultaneously running php and cgi scripts, as well as cron jobs and shell sessions) limit 4 times"
Si chiar sunt intr-o perioada cu trafic scazut...

[Mishu]

Pentru a rezolva problema am gasit de cuvinta sa mut incepand cu luna Noiembrie doua dintre cele patru site-uri, pe cele mai mici. La recomandarile insistente ale unui prieten am ales xServers. Cele doua site-uri sunt departe de a avea 300 unici pe zi, dar se pare ca tot e prea mult. Altfel spus, dezastru!

Am vazut aici pareri pro si contra, cred ca sunt buni profesionisti, dar la gazduirea shared sunt varza comparativ cu altii.

Bineinteles e vina mea, cica am site-urile prea stufoase. Va dati seama, sa ai site WP cu 60-70 de pagini si cateva module si sa vrei sa stai pe shared? Pentru asta trebuie cel putin VPS!