Versiune printabilă
Salutare
vreau sa aflu urmatorul lucru:
Daca am un site care este pe serverul A se conecteaza la baza de date mysql care este pe serverul B, care server proceseaza informatiile legate de query mysql?
Serverul B? Este solicitat si serverul A in vre-un fel la interogarile mysql?
Serverul B proceseaza queryurile. Serverul A primeste doar rezultatul queryului.
Salut, cum spune si colegul puthre, serverul B pe care este hostat mysql proceseaza query-uri, iar serverul A trimite requestul si primeste un response de la serverul B. Ce incerci sa faci daniweb?
mersi baieti
@bampiru - nu mai fac, incerc sa desfac :) , am un server care este suprasolicitat si ma gandesc sa mut baza de date pe al doilea server
and: ce solutie e cea mai buna in urmatorul caz:
Serverul A are acum situl complet. Baza de date este accesata foarte mult. Periodic (la cateva minute) ruleaza niste scripturi care proceseaza informatiile din baza de date, dintr-o tabela mare (TEMP) si informatia procesata o salveaza in alte tabele.
In momentul cand se fac aceste procesari serverul se ingreuneaza f tare, chiar pica situl pt 30-60 sec.
Eu m-am gandit sa mut baza de date cu totul pe al doilea server, dar ma mai gandesc si la varianta sa mut pe al doilea server doar unele table din baza de date .
inainte sa muti baza de date pe alt server, verifica (eventual consulta pe cineva) daca e bine configurata pe primul server.
Mai bine spus ambele servere sunt solicitate in general in cazurile reale.Important este cum este facuta legatura si cum este facut clientul de pe serverul A.
De exemplu , php este un interpretor sincron si asteapta sa primeasca un calback de la o functie precedenta pana sa treaca la urmatoarea linie de cod, astfel daca B are un bottleneck si returneaza sa zicem un query in 500ms, serverul A(clientul unde s-a facut interogarea) intra intr-un "hangs out" adica o sa ramana si el blocat 500ms .
Pe langa asta apar probleme mai importante, gen overloadul de retea(adica legatura dintre cele 2 servere) si in general pe cablu utp intre 2 servere care trec printr-un switch , latency-ul creste cu minim 7-10ms(asta in cel mai bun caz).Oricum acest capitol este prea complicat si nu are rost sa te azexi pe asa ceva.....
Daca intrebarea ta are ca scop , o solutie de a optimiza cat mai bine viteza interogarilor, axeazate mai degraba pe felul cum sunt facute interogarile la mysql(sa le poti optimiza bine,indexii in speta), folosirea folderului /tmp ca un lynk symbolic catre /dev/shm (adica ramul) si baza de date stocata pe un ssd/ .
Doar daca faci chestia asta cu ssd-ul si /tmp o sa ai viteze mai mari ale interogarilor cu minim 30%, oricat de bine optimizate ar fi ele.
Din experienta proprie iti zic ca daca procesul pt mysql nu utilizeaza mai mult de 50-60% din CPU nu e cazul sa te gandesti la "desprinderea serv-ulul mysql" de serverul principal.
mersi @deadworldisee
configuratia serverului este un e3-1230v2 cu un ssd 256mb si 32gb ram. Totul este pe ssd. In 5 min se aduna f multa informatie care trebuie procesata. Interogarile mysql sunt bine optimizate, tabelele au indexi unde trebuie. Partea cu /tmp nu am link catre ram.
Ce arhitectura imi recomanzi daca presupunem ca o sa crape serverul?
E innodb sau myisam?
innodb
Conteaza ce resurse momentan sunt folosite cel mai putin din serverul tau.CPU, ramul?
Nu stiu ce fel de interogari faci (in mare parte copiere si creare alte tabele? sau selecturi robuste). si cat te des faci cele mai intense interogari.Fiindca problema ta se poate rezolva adaugand mai multi GB de ram, pentru ai folosi ca punte de mutare a tabelelor mysql si procesare, insa procesorul tau e3-1230v2 nu suporta mai mult de 32gb. Daca ai probleme cu spatiul pe ssd si ramul se cam umple foloseste pack pe indexii de la mysql si comprima tabelele daca faci doar selecturi, insa va consuma de 2x CPU, insa v-a fi mai rapid.
Conteaza care tabele le accesezi cel mai des.
Da mai multe detalii despre interogari, tabele, indexi(daca folosesti joinuri multiple, hashuri,etc) si ce ar trebui sa faca.Cat de des se fac si intervalul orar cand se fac.CPU-ul momentan la cat% este si cat ram in medie este ocupat deobicei, cat spatiu mai ai pe ssd.
Daca intr-un final ar crapa serverul as opta pe dual xenon , 256 gb ssd si maxim 96GB ram. si in rest ar fi problema doar de softuri si configuratie si ai putea tine pe el si un site cu 100 000 conexiuni simultan
Cat ai setat innodb_buffer_pool_size ?Citat:
Postat în original de daniweb
Valeu fratica, da ce baza de date ai tu de ai asemenea stres? Sigur nu se rezolva cu niste rami in plus? Si pe deasupra, daca e proiectata aiurea, poti sa iei si 10 servere, tot nu scapi.
Citat:
Postat în original de puthre
innodb_buffer_pool_size este 8388608
nu l-am setat in my.cnf
Pai atunci de aia e varza. Seteaza-l cel putin 24GBCitat:
Postat în original de daniweb
am setat innodb_buffer_pool_size=24G
si a scazut load de la 0.50 la 0.15 in cateva secunde.
ce ar mai fi de setat in my.cnf, daca nu cer prea mult?
asta am acuma:
[mysqld]
innodb_file_per_table=1
innodb_buffer_pool_size=24G
#skip-locking
#safe-show-database
#old_passwords=1
long_query_time=2
#log-slow-queries=/var/log/mysql-slow-queries.log
query_cache_limit=1M
query_cache_size=1G
query_cache_type=1
max_user_connections=1000
max_connections=1200
thread_cache_size=256
table_cache=8192
table_definition_cache=1280
key_buffer=256M
max_connect_errors=20
max_allowed_packet=128M
join_buffer=16M
#record_buffer=1M
sort_buffer_size=2M
read_buffer_size=2M
read_rnd_buffer_size=1M
thread_concurrency=4
myisam_sort_buffer_size=64M
local-infile=0
concurrent_insert=2
max_heap_table_size=3G
tmp_table_size=3G
join_buffer_size=4M
open_files_limit=3584
Pai in primul rand inteleg ca ai 4 coreuri, deci pune thread_concurrency=8
apoi conteaza ce fel de date tii si cat de tare conteaza integritatea la crash, ca sa decizi cand faci commiturile (innodb_flush_log_at_trx_commit) si cum se fac flushurile (poti incerca innodb_flush_method=O_DIRECT dar asta depinde de mediul de stocare) .
Apoi e important ce fel de queryuri se fac, daca scrii mult poate ai nevoie de un raid stripping eventual cu baterie de backup, etc.
integritatea datelor e f importanta iar cele mai multe queryuri sunt de scriere
o sa il mai monitorizez o zi cu setarile facute acuma si o sa revin daca mai face figuri
multumesc de ajutor
Pai daca integritatea datelor e importanta, banuiesc ca ai pus SSD-urile in raid mirror cu baterie de backup. Right?Citat:
Postat în original de daniweb