Praxisbericht RAC Einfhrung Andreas Ellerhoff DBA www messe
Praxisbericht RAC Einführung Andreas Ellerhoff, DBA www. messe. de
Übersicht 1. 2. 3. 4. 5. 6. Situation vor RAC Datenbank Cluster Phasen von der Planung bis zur Installation Erläuterungen zur aktuellen Infrastruktur Probleme während der Installation Erläuterungen zur RAC Architektur Ausblick 2
Infrastruktur vorher 3
Entscheidungsphase (KW 31 -KW 36, 5 Wo) • Postgres. QL • • stabil günstig Loggingmechanismen läuft auf Solaris • Oracle RAC • kann alles, was Postgres. QL kann … • und kann noch mehr … (Backup, • • • Ausfallsicherheit…) Clustern / Sizing der Hardware / HA Support Know How im Haus • SLES 10 • Solaris 10 • EMC • Oracle ASM • SRDF Spiegelung • integrierte Automatik 4
Planungsphase (KW 37 -KW 39, 4 Wo) • LUNs vorbereiten (EMC), damit geshare `ter Zugriff möglich wird (10 Tage, beide Storage-Türme der EMC müssen Speicher liefern) • Hardware muß beschafft werden (FSC-Prime. Power 2 x 450/2 x 250) • Netzwerkanforderungen müssen umgesetzt werden (Public. Net, Private. Net, Storage. Net) • (vorinstallierte) Betriebssysteme müssen gepatched werden (aktuelle Patch-CD) • zusätzlicher NFS- mount für 3. voting (Sicherungs- RZ) • Vorbereitungen für die Installation der Oracle Software (Konferenzschaltung 2 d , Anpassungen, Tests auf den LUNs, cluvfy …) 5
Installationsphase ( 2 Tage + Patchday ) • LUNs partitionieren, formatieren, in Solaris einhängen (format, mknode, …) • Betriebssystem mit Oracle konformen Parametern/Usern/Rechten einstellen • • (preconfigure) und patchen Oracle Clusterware Oracle Datenbank VIP Konfiguration Oracle ASM Patchsets (OC / DB) installieren Clusterdatenbank Instanz Clusterdatenbank Service Oracle Agent – gridcontrol (run. Installer) (vipca) (run. Installer, OPatch) (dbca) (netca) (run. Installer) • (Zu jeder Phase kann das tool cluvfy Prüfungen vornehmen) 6
Infrastruktur nachher 7
Übersicht 1. 2. 3. 4. 5. 6. Situation vor RAC Datenbank Cluster Phasen von der Planung bis zur Installation Erläuterungen zur aktuellen Infrastruktur Probleme während der Installation Erläuterungen zur RAC Architektur Ausblick 8
Probleme+Lösungen während der Installation extended distance RAC (fast MAA) • • EMC Speicherkonfiguration Betriebssystem Solaris 10 -64 Bit Oracle Clusterware + ASM Oracle Datenbank Installation Einbinden des OEM Grid. Control Backup&Recovery Connectivity 9
extended distance RAC (fast MAA) 1. EMC Speicherkonfiguration Probleme und Lösungen • LUN mit maximaler Performence (Bandbreite über alle verfügbaren Plattenresourcen, 8 disk parallel im Zugriff) • ASM host based mirroring kein EMC SRDF (Spiegel im Storage. Net) • welche LUN in welchem Rechenzentrum (analysieren, markieren, prüfen) • cluvfy für EMC-Speichersystem unbrauchbar 10
Platten der emc in RZ 1 und RZ 2 sethos 1/root : inq --------------------------------------DEVICE : VEND : PROD : REV : SER NUM : CAP(kb) --------------------------------------/dev/rdsk/c 0 t 0 d 0 s 2 : FUJITSU : MAW 3147 NC : 3701 : DAF 4 P 770 : 143566219 /dev/rdsk/c 0 t 1 d 0 s 2 : FUJITSU : MAW 3147 NC : 3701 : DAF 4 P 770 : 143566219 /dev/rdsk/c 1 t 0 d 0 s 2 : FUJITSU : MAW 3147 NC : 3701 : DAF 4 P 770 : 143566219 /dev/rdsk/c 1 t 1 d 0 s 2 : FUJITSU : MAW 3147 NC : 3701 : DAF 4 P 740 : 143566219 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 A 1 d 0 s 2: ACCESS DENIED /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 A 1 d 6 s 2: EMC : SYMMETRIX : 5670: 142 EC 000: 176780159 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 E 1 d 0 s 2: ACCESS DENIED /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 E 1 d 6 s 2: EMC : SYMMETRIX : 5670: 152 EC 000: 176780159 sethos 2/root : inq --------------------------------------DEVICE : VEND : PROD : REV : SER NUM : CAP(kb) --------------------------------------/dev/rdsk/c 0 t 0 d 0 s 2 : FUJITSU : MAW 3147 NC : 3701 : DAF 4 P 770 : 143566219 /dev/rdsk/c 0 t 1 d 0 s 2 : FUJITSU : MAW 3147 NC : 3701 : DAF 4 P 770 : 143566219 /dev/rdsk/c 1 t 0 d 0 s 2 : FUJITSU : MAW 3147 NC : 3701 : DAF 4 P 770 : 143566219 /dev/rdsk/c 1 t 1 d 0 s 2 : FUJITSU : MAW 3147 NC : 3701 : DAF 4 P 760 : 143566219 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 0 s 2: ACCESS DENIED /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 2: EMC : SYMMETRIX : 5670: 152 EC 000: 176780159 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 18 Ed 0 s 2: ACCESS DENIED /dev/rdsk/c 3 t 5006048 C 4 A 85 B 18 Ed 6 s 2: EMC : SYMMETRIX : 5670: 142 EC 000: 176780159 11
LUNs: Aufteilung der emc-Platte für den Shared Disk-Bereich partition> pri Current partition table (unnamed): Total disk cylinders available: 65533 + 2 (reserved cylinders) Part Tag Flag Cylinders Size Blocks 0 root wm 0 49 130. 37 MB (50/0/0) 267000 1 swap wu 50 99 130. 37 MB (50/0/0) 267000 2 backup wu 0 - 65532 166. 87 GB (65533/0/0) 349946220 3 unassigned wu 100 198 258. 13 MB (99/0/0) 528660 4 unassigned wu 199 297 258. 13 MB (99/0/0) 528660 5 unassigned wu 298 - 19934 50. 00 GB (19637/0/0) 104861580 6 unassigned wu 19935 - 39571 50. 00 GB (19637/0/0) 104861580 7 unassigned wu 39572 - 59208 50. 00 GB (19637/0/0) 104861580 12
LUNs: Aufteilung der emc-Platte für den Shared Disk-Bereich • • • • • • Sethos 2/root : mkdir clusterdisks Sethos 2/root : cd clusterdisks Sethos 2/root : ls -l. L /dev/rdsk/c 3 t 5*CEd 6* crw-r----- 1 root sys 118, 16 Sep 27 11: 37 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 0 crw-r----- 1 root sys 118, 17 Sep 27 11: 37 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 1 crw-r----- 1 root sys 118, 18 Sep 27 11: 37 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 2 crw-r----- 1 root sys 118, 19 Sep 27 11: 37 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 3 crw-r----- 1 root sys 118, 20 Sep 27 11: 37 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 4 crw-r----- 1 root sys 118, 21 Sep 27 11: 37 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 5 crw-r----- 1 root sys 118, 22 Sep 27 11: 37 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 6 crw-r----- 1 root sys 118, 23 Sep 27 11: 37 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 7 Sethos 2/root : mknod ocr 15 c 118 19 Sethos 2/root : mknod voting 15 c 118 20 Sethos 2/root : chown root: dba ocr 15 Sethos 2/root : chmod 640 ocr 15 Sethos 2/root : chown oracle: dba voting 15 Sethos 2/root : chmod 644 voting 15 Sethos 2/root : chown root: dba /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 3 Sethos 2/root : chmod 640 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 3 Sethos 2/root : chown oracle: dba /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 4 Sethos 2/root : chmod 644 /dev/rdsk/c 3 t 5006048 C 4 A 85 B 1 CEd 6 s 4 13
ocr + voting # ls -al Gesamt 40 drwxr-xr-x 2 drwxr-xr-x 37 crw-r----1 -rw-r--r-1 crw-r--r-1 # pwd /clusterdisks # root root oracle einrichten root dba 512 1536 118, 19 118, 27 16472 118, 20 118, 28 14 Okt Nov 1 10 19 19 14: 40 14: 50 15: 42 14: 40 15: 43 . . . ocr 14 ocr 15 t. t voting 14 voting 15
extended distance RAC (fast MAA) 2. Betriebssystem Solaris 10 -64 Bit Probleme und Lösungen • • • Prüfung der Parameter und Einstellungen über Oracle Konferenzschaltung Hostname mit kleinen! Buchstaben unbedingt beachten (2 h) Netzwerkkarte muß dynamisch von Oracle ansteuerbar sein (vip - ipconfig) IP/VIP-Nummer müssen im gleichen Netzsegment liegen (0. 5 d Vorwoche) name+domain beim Zugriff angeben beinhalten, sonst sind sporadische Verbindungsfehler möglich hosts. equiv nicht vergessen. 15
extended distance RAC (fast MAA) 3. Clusterware und ASM Probleme und Lösungen • ONS Service (nur ein Knoten) ließ sich erst • nach Patchday korrekt starten ASM Plattenresourcen wurden immer 1 zu 1 zugeordnet, da sonst unakzeptable ca. 30% Resourcenverluste. (LUN 15 ->LUN 14) (1 h) 16
Clusterware 10 g Viele neue Werkzeuge. . . -srvctl (Managment der Clusterknoten/Clusterdatenbank/Services, vieles aus sqlplus) - crsctl (stop/start Clusterware, Votingdisks abfragen) - crs_stat (Statusabfrage der ocr-Services) - ocrconfig (Spiegel für ocr aufbauen) - ocrcheck (Prüfung des ocr) - ocrdump (Inhalt des ocr ausgeben) - oifcfg (Netzwerkschnittstellen hinzufügen/löschen) - crs_profile, crs_register, crs_setperm, crs_start, crs_relocate, crs_stop, crs_unregister (CRS framework zum Betreiben von Applikationen in Clusterware mit fail-over-Lösung) 17
srvctl - Tool 18
crsctl - Tool 19
Status des Clusters • • • • • • • 20 sethos 1/oracle: crsstat HA -----ora. bak 1. inst ora. bak 2. inst ora. bak. db ora. obst 1. inst ora. obst 2. inst ora. obstha. cs ora. obstha. obst 1. srv ora. obstha. obst 2. srv ora. sethos 1. ASM 1. asm ora. sethos 1. LISTENER_SETHOS 1. lsnr ora. sethos 1. gsd ora. sethos 1. ons ora. sethos 1. vip ora. sethos 2. ASM 2. asm ora. sethos 2. LISTENER_SETHOS 2. lsnr ora. sethos 2. gsd ora. sethos 2. ons ora. sethos 2. vip ora. wwwt. db ora. wwwt 1. inst ora. wwwt 2. inst ora. wwwtha. cs ora. wwwtha. wwwt 1. srv ora. wwwtha. wwwt 2. srv
Clusterware: application 21
ASM Prozesse • • • • • asm_pmon_+ASM 1 asm_smon_+ASM 1 asm_ckpt_+ASM 1 asm_dbw 0_+ASM 1 asm_lgwr_+ASM 1 asm_lmd 0_+ASM 1 asm_gmon_+ASM 1 asm_rbal_+ASM 1 asm_diag_+ASM 1 asm_lmon_+ASM 1 asm_psp 0_+ASM 1 asm_mman_+ASM 1 asm_lck 0_+ASM 1 asm_lms 0_+ASM 1 asm_o 000_+ASM 1 ora_asmb_bak 1 ora_asmb_obst 1 ora_asmb_wwwt 1 ->dev/null ? 22
extended distance RAC (fast MAA) 4. Datenbank Probleme und Lösungen • Bei Installation von Instanzen darf eine 4 GB Grenze für den dbca nicht überschritten werden. Bei 32 GB Haupspeicher und einem Default für SGA-Parameter von 40% wird diese Grenze leicht überschritten (für 32 Bit Systeme mit bis 1, 6 GB Hauptspeicher OK) • Die Installation ist immer über alle Instanzen hinweg, ob es 2 Knoten oder 100 Knoten sind. Das gilt auch für Patchsets (tolles feature) 23
extended distance RAC (fast MAA) 5. Einbinden in EM gridcontrol Probleme und Lösungen • Die firewall war nicht für den http/https Service • freigeschaltet (interne Abstimmung ist notwendig) Die nachträgliche Installation mit einem eigenen user erforderte bei uns zusätzliche chmod Operationen. ( SR 6531383. 994 ) • Empfehlung: user oracle benutzen und management agent installieren bevor DB-Instanz installiert wird 24
extended distance RAC (fast MAA) 6. Backup & Recovery Probleme und Lösungen • RMAN ist Pflicht da ASM (keine Dateien hat) • Einrichten einer FRA (flash recovery area) • plus flashback. Ein Flashback nach Lasttest konnte die DB in kurzer Zeit wieder neu aufsetzen… Crash Recovery mit RMAN hat gezeigt, daß im RMAN-Skript eine UTF 8 codepage gesetzt sein sollte (Bug seit Oracle 8) 25
extended distance RAC (fast MAA) 7. Connectivity Probleme und Lösungen • JAVA – JDBC Client Anbindung • OCI – JDBC Client Anbindung 26
Connectivity – tnsnames. ora • • • • • OBST = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP) (HOST = sethos-v 1) (PORT = 1521) ) (ADDRESS = (PROTOCOL = TCP) (HOST = sethos-v 2) (PORT = 1521) ) (LOAD_BALANCE = yes) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = obst) ) ) neue Begriffe: -CTF (Connection Time Failover) -TAF (Transparent Application Failover) -FAN (Fast Application Notification) -FCF (Fast Connection Failover) 27
Übersicht 1. 2. 3. 4. 5. 6. Situation vor RAC Datenbank Cluster Phasen von der Planung bis zur Installation Erläuterungen zur aktuellen Infrastruktur Probleme während der Installation Erläuterungen zur RAC Architektur Ausblick 28
Architektur der Instanz -Oracle 7 -Oracle 8 i -Oracle 9 i -Oracle 10 g -Oracle 11 g 29
RAC - Globale Prozesse • LMD 0 (lkmgr daemon 0, aus 8 i) • • in 10 g: global cache service manager LMON (lkmgr monitor, aus 8 i) • in 10 g: global enqueue service monitor LMSx (global cache service process, aus 9 i) • in 10 g: Anzahl der Prozesse verdreifacht. LCK 0 (Instance Enqueue Process) -> GES -> GCS -> GRD zusammen mit GRD (in der SGA) wird die Cache Fusion realisiert. 30
Globale Prozesse (glossary) Global Cache Service (GCS) • Process that implement Cache Fusion. It maintains the block mode for blocks in the global role. It is responsible for block transfers between instances. The Global Cache Service employs various background processes such as the Global Cache Service Processes (LMSn) and Global Enqueue Service Daemon (LMD). Global Cache Service Processes (LMSn) • Processes that manage remote messages. Oracle RAC provides for up to 10 Global Cache Service Processes. The number of LMSn varies depending on the amount of messaging traffic among nodes in the cluster. Global Cache Service (GCS) resources • Global resources that coordinate access to data blocks in the buffer caches of multiple Oracle RAC instances to provide cache coherency. global dynamic performance views (GV$) • Dynamic performance views storing information about all open instances in a Real Application Clusters cluster. (Not only the local instance. ) In contrast, standard dynamic performance views (V$) only store information about the local instance. Global Enqueue Service (GES) • A service that coordinates enqueues that are shared globally. Global Enqueue Service Daemon (LMD) • The resource agent process that manages requests for resources to control access to blocks. The LMD process also handles deadlock detection and remote resource requests. Remote resource requests are requests originating from another instance. Global Enqueue Service Monitor (LMON) • The background LMON process monitors the entire cluster to manage global resources. LMON manages instance deaths and the associated recovery for any failed instance. In particular, LMON handles the part of recovery associated with global resources. LMON-provided services are also known as Cluster Group Services. Global Services Daemon (GSD) • A component that receives requests from SRVCTL to execute administrative job tasks, such as startup or shutdown. The command is executed locally on each node, and the results are returned to SRVCTL. by default. 31
neue globale Prozesse in 11 g … • RMS 0 rac management server (undokumentiert) • GTX 0 -j (global transaction) processes provide transparent support for XA global transactions in an Oracle RAC environment (20 x) 32
RAC Umschaltvorgang am WE 33
Clusterdatenbank im internen Netz 34
Clusterdatenbank in der DMZ - Zone 35
Single Instance Datenbank, internes Netz 36
Ausblick • Weiterer RAC- Knoten wird 12/2007 aufgesetzt • verbesserte HA könnte durch Data. Gard (logical/physical standby) realisiert werden • Oracle 11 g hat performence steigernde Features … die jetzt schon in 11. 1. 0. 6 „gut funktionieren“. 37
JDBC – Fast Connection Failover (FCF) 38
Fast Application Notification (FAN) 39
- Slides: 39