IBM N 6040 problemos KTU ITD Nerijus Kislauskas

IBM N 6040 problemos KTU ITD Nerijus Kislauskas 2016

Keistenybės: • Išauga VM write latency prie nepakitusių VM srautų. • Išauga VM write latency prie nepakitusių ESX hostų write srautų. • VM write latency padidėjimas sutampa su padidėjusiomis sc-esx 15 serverio Read operacijomis.

Kitos keistenybės: • sc-esx 15 hosto atliekamų Read operacijų laikas sutampa su kitų ESX hostų padidėjusiu Device latency Galimos problemos: • SAN tinkluose • N 6040 duomenų masyve

Kodėl problema ne SAN tinkle? • Serveris su serveriu per SAN tinklus nebendrauja. HP C 7000 #1 šasio viduje problemos ieškoti nereikia. • HP C 7000 #1 SAN išorės portų error counteriai švarūs. • IBM N 6040 SAN portų error counteriai švarūs. • SAN switchuose išvalytos klaidos: > portstatsclear –i 0 -21 Klaidos nesirenka ir error counteriai nedidėja. Problema tikrai yra IBM N 6040 masyve.

IBM N 6040 darbas su write operacijomis (1 iš 3)

IBM N 6040 darbas su write operacijomis (2 iš 3)

IBM N 6040 darbas su write operacijomis (3 iš 3)

NVRAM • Yra riboto dydžio (256 MB per kontrolerį HA režime) • 25 MB/s write rate NVRAM užpildytų per 10, 24 sekundes • 50 MB/s write rate NVRAM užpildytų per 5, 12 sekundes • 100 MB/s write rate NVRAM užpildytų per 2, 56 sekundes • NVRAM reikia atlaisvinti naujiems rašymams.

Modifikuotų duomenų blokų įrašymas į diską ir NVRAM valymas (1 iš 2)

Modifikuotų duomenų blokų įrašymas į diską ir NVRAM valymas (2 iš 2)

Consistency Point (CP) • Sistemos atmintyje esančių modifikuotų duomenų įrašymo į diską veiksmas vadinamas Consistency Point. • CP gali įvykti dėl kelių priežasčių: • • • Suėjo NVRAM duomenų senaties terminas – 10 sekundžių (T) Sistemos atmintis turi pakankamai daug modifikuotų duomenų (H) Maksimaliai užsipildė NVLog, NVRAM sync buferis (F) Užsipildo NVRAM. Vienas CP generuoja kitą CP (B) Duomenų įrašoma daugiau nei spėjama išvalyti (b) Only CP‘s of type ‘B’ or ‘b’ will affect write latency.

05. 27 penktadienis apie 15: 30

65% read 35% write

77% read 23% write

Kas vyko 2016 -05 -26 apie 4 val. ryto? • Veeam Backup job “SC-VC 1_General_VMs” • Start Time: 2016 -05 -26 03: 00: 01 AM • End Time: 2016 -05 -26 04: 12: 38 PM (14: 12: 38) • Total time: 13 hours 12 minutes • Processed size: 12, 1 TB • 89 of 89 VMs processed • Load: Source 98% > Proxy 15% > Network 4% > Target 0% • Primary bottleneck: Source • Processing rate: 60 MB/s

Controller. A SAS portų būsenos (1 iš 3) 0, 00018% 0, 00014% 0, 00011% 0, 084%

Controller. B SAS portų būsenos (2 iš 3) 0, 00013% 0, 129% 0, 05% 0, 00009%

Controller. A SAS portų būsenos (3 iš 3) PHY[36/ V 99/D]: 3. 0 Gb/s, Virtual SAS Device 50050 cc 10237277 e (2 b. 03. 99) PHY[36/ V 99/D]: 3. 0 Gb/s, Virtual SAS Device 50050 cc 1023754 fe (2 b. 04. 99) PHY[36/ V 99/D]: 3. 0 Gb/s, Virtual SAS Device 50050 cc 103 affb 7 e (2 b. 05. 99) PHY[36/ V 99/D]: 3. 0 Gb/s, Virtual SAS Device 50050 cc 104 a 7 da 7 e (2 b. 06. 99) Controller. B: 2 b. 03. 11 2. 587 G 1. 624 K 19. 24 G 51. 17 G 8 1 0 0 0 4 2 367 0 2 0 0 0

Išvados • N 6040 NVRAM yra per mažas generuojamam write srautui ir valomas per dažnai (ypač ant Controller. B). • SATA diskai yra tiesiog per lėti generuojamam suminiam read ir write srautui palaikyti (ypač backup atveju). Jei backup vyksta dieną, turim performanco problemą. • Bendru atveju, skaitymas iš masyvo trukdo rašymui į masyvą, todėl išauga write latency. Tai gali nutikti bet kuriuo paros metu. • Bendras suminis srautas, su kuriuo masyvas dar pajėgia susitvarkyti: • Controller. A – iki 150 -200 MB/s prie 70/30 • Controller. B – iki 100 MB/s prie 70/30

Ką galima padaryti? • Sutikrinti, ar virtualūs disko blokai sulygiuoti su fizinių diskų blokais. Jei yra nesulygiuotų. vmdk, juos sulygiuoti. • Performanco išlošimas būtų minimalus. • PAM II (Performance Accelerator Module). • Investuoti į IBM N 6040 neapsimoka. • Kraustytis į kitą masyvą, pvz. IBM Storwize V 7000. • Visiems neužteks vietos • Galima panaudoti kompresijos akseleratorių, bet vistiek greičiausiai visiems neužteks vietos. • Šiuo metu nėra galimybės naudoti NFS (FC only). • Išbalansuoti srautus per visus turimus masyvus.

EMC Unity

Klausimai?