ORACLE10.2.0.1RAC

FOR RedHat Linux AS4 update4

安装操作手册

修改历史

计划

q.KHJnOSV0本次数据库采用10G RAC集群，由于10G提供了Oracle集群文件系统(OCFS)、自动存储管理器(ASM)、原始设备这三种共享磁盘方式用于RAC的安装，因此我们准备计划先采用ASM安装RAC并进行建库。下面的计划主要是针对ASM方式的部署RACDOIT博客#z@-r'ke'ASY

1. 硬件环境描述
1. 节点1与节点2硬件
2. 集群拓扑
2. 前期准备

1. 准备ORACLE的安装配置文件

.bash_profile

D$hlC.K4R0

/etc/sysctl.confDOIT博客Kt/sk
lxm

2. 准备安装数据库+ASM所需要的ASMLIB

   oracleasm-2.6.9-42.ELsmp-2.0.3-1.i686DOIT博客B*Hxh&M,`&x|

   oracleasmlib-2.0.2-1.i386

]Vm3fpXk0

   oracleasm-support-2.0.3-1.i386DOIT博客kj)uZ/T

3. RAC系统规划

1、节点1、节点2规划、注册文件规划(ocr)、表决磁盘规划(VOTING DISK)、

?
\iRQ9n8U0

   2、操作系统安装规划 DOIT博客;pCz
??N

4. 根据规划安装操作系统
1. 在节点1安装操作系统
2. 在节点2安装操作系统
3. 配置时钟同步
5. ORACLE RAC安装环境检查与准备
1. 检查安装ORACLE所需要的操作系统RPM包
2. 创建ORACLE用户与DBA组
3. 修改系统内核参数./etc/sysctl.conf
4. 设置ORACLE用户环境变量（修改ORACLE的.bash_profile）
5. 配置/etc/hosts文件
6. 配置hangcheck_timer内核
7. 配置SSH
8. 根据规划共享存储系统
9. 调整配置错误
6. ASMlib安装与检查
1. 安装ASMlib
2. 配置ASM磁盘
7. 安装Clusterware与ORACLE数据库系统
1. 安装CRS软件
2. 安装ORACLE数据库
8. DBCA以ASM创建数据库
9. 测试RAC
10. 数据库部署
11. 参考文献

具体步骤

若无特别说明，“$”提示符均表示在oracle用户下执行，“#”提示符均表示在root用户下执行

1. 硬件环境描述
1. 硬件说明

2. RAC体系

2. 前期准备
1. 准备ORACLE的安装配置文件

.bash_profileDOIT博客p)wZ-o zo5{ zR

/etc/sysctl.confDOIT博客:kA1C Ey+@5?

2. 准备安装数据库+ASM所需要的ASMLIB,注意这个ASMLIB的版本要跟你操作系统的内核相匹配

   验证内核版本如下命令：

4gB3Ive@!lFIww2[0

   # uname -r

E m8UA8}*Ud$A0

5Gb\D9J5o/OP}0

   我们这里内核是2.6.9-42.ELsmp、i386（32位）

8G @iq w j L`0

   因此下载以下ASMLIB：

M?)oS7jx0

   oracleasm-2.6.9-42.ELsmp-2.0.3-1.i686

@j0r7h8s0

   oracleasmlib-2.0.2-1.i386

B,?TqaP0

   oracleasm-support-2.0.3-1.i386

bH%E/[8\w+\DF@0

   提示：如果是单处理器系统需要下载EL的ASMLIB

9?YvK)j!v
h0

3. RAC系统相关规划

1、操作系统安装规划DOIT博客kdX4`H%}f

2、节点1、节点2上ORACLE安装规划、注册表规划(OCR)、表决磁盘规划(VOTING DISK)、

#NaoK%o,`Ra m0

4. 根据规划安装操作系统，并配置时钟同步
1. 在节点1安装操作系统
2. 在节点2安装操作系统

提示：选择全部安装包方式，这样就不用给系统打那烦人的补丁包了，不过所需要的磁盘空间7G左右

R'U,Wa4B0

3. 配置时钟同步

在一台节点服务器上启动时钟服务器服务，在另外一台节点服务器上使用时钟同步命令如：rdate –s IP，然后在这台节点服务器，通过做调度，来定时同步两台服务器时钟。DOIT博客%}"|)G)Rh%R!QB#j!d^n

提示：建议RAC可以连接到互联网上，以便互联网上的时钟服务器，如果没有接DOIT博客avI;["m%Krc;]"eP

入互联网的条件也可以让其余节点向某一个节点做时钟同步，因为RAC不能容

BQxF7N-x0

忍节点间时钟不同步，否则RAC会Down掉！DOIT博客qCxj*`gyH*v.ACnz

在这里我们如下操作：DOIT博客ho4GCLB dAV)L

A、在125.233.9.101节点上开启时钟服务，“applications(应用程序)”----->“system settings(系统设置)” ----->“server settings(服务设置)” ----->“services(服务)”，如图DOIT博客$z]u*dH{;G.|ud

DOIT博客
S9| U*s9ax@)I

DOIT博客+uWk@/{
] y0^

B、在出来的”service configuration(服务配置)”中，选中“time、time-udp”，然后点击窗口工具栏中的“save(保存)”按钮，如图

ua a-Y:_.s!`4B3@0

DOIT博客-JHe1bq

DOIT博客tu-m6J/nc
nr#yRq+N;R O&Kk0

  C、在135.233.9.102节点上创建一个shell文件，包含如下内容rdate –s135.233.9.101

t(Vt9I*q,cT6m;C0

   # vi /rdateDOIT博客&M~P{0q%Y(f [2m

在vi编辑器中按” i”转换为插入模式，然后输入“rdate –s 135.233.9.101”，再按”esc”键，退出插入模式，最后”shift”+”：”后再输入”wq！”，存盘退出。

k8j'l2Y(x"t(C7S0

   给于这个shell于执行权限

"Dmk|2G9j/]0

   # chmod 755 rdateDOIT博客I8sY`+uY:{8v]

D、在135.233.9.102节点上，把该shell加入到调度中，让系统每6小时向135.233.9.101节点同步时钟，这里可以使用命令”crontab”，也可以使用图形界面在“applications(应用程序)”----->“system tools(系统设置)” ----->“task scheduler(任务计划)”。命令如下DOIT博客"g3m2~*zo?5`U

   # crontab –eDOIT博客%sA?)aTZz1f3J0V{

   同样在编辑器里输入如下（我这里是每两个小时同步一次）

"IcnbT0

   0 1,4,8,13,17,20 * * *  /rdateDOIT博客I*L5b7U
u+fA iO

5. ORACLE RAC安装环境检查与准备
1. 在每个节点上创建ORACLE用户与DBA组
2. groupadd –g 1001 dba
3. groupadd –g 1002 oinstall
4. useradd –u 1001 –g oinstall –G dba oracle
5. passwd oracle

使用图形界面创建DBA组和ORACLE用户，并手工指定他们的ID，注意在这里，每个节点的oracle用户ID，DBA组ID必须一致，其他使用默认值，同时创建完毕后在每个节点执行如下命令

Y5R^'X aAV!~+\0

#chown –R oracle:dba /home/oracle

y:CI4_;E8E~6o w6F,x@,o0

6. 修改每个节点系统内核参数./etc/sysctl.conf，

   #vi /etc/sysctl.confDOIT博客 yqi_e)o6WT

      然后加入如下内容

   kernel.shmall = 2097152DOIT博客~1XgD OPUKm"P

   kernel.shmmax = 2147483648

}^-R6[Eq+Z0y0

   kernel.shmmni = 4096

+j){9\&Yw g0

   kernel.sem = 250 32000 100 128

9I4_%?8qv f0

   fs.file-max = 65536DOIT博客&t+C9[6S [V,D

   net.ipv4.ip_local_port_range = 1024 65000DOIT博客h,gjLK'm

   net.core.rmem_default = 262144DOIT博客B}wO ^%{)X5n

   net.core.rmem_max = 262144DOIT博客
}p.xt
dT'^

   net.core.wmem_default = 262144DOIT博客6\WN1Bx Y

   net.core.wmem_max = 262144DOIT博客7m9iY5XnZ7T

4. 设置每个节点ORACLE用户环境变量（修改ORACLE的.bash_profile），该文件见附件

$vi .bash_profile

+_|!R6].i"}0

然后加入如下内容DOIT博客] N#w2Xg+d@ M#[d+Y9O

   umask=022DOIT博客8^)NiD&[U

   # User specific environment and startup programs

)_8f:E9ggyw ydB0

   export ORACLE_BASE=/home/oracleDOIT博客/|_2x u0P

   export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db

$mWZ2|!l6{$d| Xq0

   export ORA_CRS_HOME=$ORACLE_BASE/product/10.2.0/crsDOIT博客*J2B$OyVcv@ u{

   # Each RAC node must have a unique ORACLE_SID.(i.e. dbserver1, dbserver2,...)DOIT博客!]V.{ }cf/j
j

   export ORACLE_SID=oradb1

DV/]_jZ6w Fu'`0

   export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/binDOIT博客m |&f#KJM(N7\+t'q

   export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

yX0q z"Pi-P8p}Y0

   export ORACLE_TERM=xtermDOIT博客K)gK3{5LQ

   export TNS_ADMIN=$ORACLE_HOME/network/admin

1O3{M6y9s0

   export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data

$@${"?s1f7q;T6H
H0

   export LD_LIBRARY_PATH=$ORACLE_HOME/libDOIT博客
P#^l^ TiI4H9{7A2Xk

   export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/libDOIT博客'\(Ee7z8T&S

   export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

u%n8U5a y"l0

   export CLASSPATH=$ORACLE_HOME/JREDOIT博客epHa3BqC-EY

   export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

A,BaL[X~0

   export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

M$K1{ec$Zr I#H0

   export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

KO,F }XF/l]0

   #export THREADS_FLAG=native

&jK7PTS$RB0

   export TEMP=/tmpDOIT博客6p+H)i+U8@_&F

   export TMPDIR=/tmpDOIT博客3fcUalX[

   注意：在节点dbserver2上，ORACLE_SID应该变为oradb2DOIT博客/lSb,cw)r%_

5. 配置每个节点的/etc/hosts文件

#vi /etc/hostsDOIT博客s?x,thk}h2v

然后修改里面的内容为如下DOIT博客3Hd0v$K9i

   # Do not remove the following line, or various programs

+H-Q@0v-p |0

   # that require network functionality will fail.DOIT博客3X4Chcr3p

   127.0.0.1       localhost.localdomain   localhost DOIT博客8Ikou7yy-F


XkIB}(u(PSn0

   135.233.9.101       dbserver1

1x0o8h9G D
td!t0

   135.233.9.201       db-vip1DOIT博客6| N c,wh)\5ip0v

   135.233.9.102       dbserver2

j9QU+]+J&E0

   135.233.9.202       db-vip2

N*lu)P,\[0

   10.10.10.1          db-priv1DOIT博客H)bIO`

   10.10.10.2          db-priv2DOIT博客N@:j6XB R-xqS

注意：确保在每个节点上/etc/hosts文件的回送地址中不包含节点名（dbserver1或dbserver2）。如果机器名出现在回送地址条目中，如下所示：DOIT博客On#M*R"a

127.0.0.1     JMRAC1 localhost.localdomain localhostDOIT博客Q1a]!x!|AL~

需要将其如下删除：

.P$|5hh.}Wn/y0

127.0.0.1     localhost.localdomain localhost 
H{*vpy]\0 DOIT博客%WW(P7k.ri0Q%L*@6W(o(^f


NS8R(A CT+MC5J0

6. 配置每个节点的hangcheck_timer内核：

      # find /lib/modules -name "hangcheck-timer.ko"

   #vi /etc/modprobe.confDOIT博客Xi [kH/b;bv| i

   加入如下内容DOIT博客6@4}SO)y,]

   modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180DOIT博客(fleWc{a+W7{

   设置为自动启动hangcheck-timer

6p)U\#d&?KCD1r}N0

   /sbin/modprobe hangcheck_timerDOIT博客#e6gIG.U$W.m+mN)I Z

   检查是否成功启动

C?bUZ0

   #grep hangcheck /var/log/messages |tail -2 DOIT博客gB^;qd_


j ZogW0am r"{9k0

7. 配置SSH
   • SSH方式

以oracle用户身份执行，在所有节点上做如下配置以生成SSH密钥。

gd%Nn,ony f0

$ mkdir ~/.sshDOIT博客'lX1q!T^rsG-p

$ chmod 755 ~/.sshDOIT博客 pCOa.ad l3e6i!d

$ /usr/bin/ssh-keygen -t rsa

@%M*_/XZ k/{#X ze0

$ /usr/bin/ssh-keygen -t dsa

9AVu$_ gD0

$ touch ~/.ssh/authorized_keysDOIT博客C5Q g9W"L x5bG nC)E

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

f7X4XL
F!P0

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

#qzM4mg"M0

$ cp ~/.ssh/authorized_keys ~/.ssh/jmrac1.authorized_keysDOIT博客
b+R8T9~}T*G

将dbserver1.authorized_keys复制到dbserver2上DOIT博客cP;_3e rq*h!_

在dbserver2上，将dbserver1.authorized_keys导入authorized_keys

5S9XZ [jF0

$ cat ~/.ssh/dbserver1.authorized_keys >> ~/.ssh/authorized_keysDOIT博客V X2A%DQ~/t9}

$ chmod 644 ~/.ssh/authorized_keys

kO:R/MF0_K0

将上述步骤在节点2上再执行一次，注意将dbserver 1和dbserver 2互换！

/?1onZc)n
{#FY3O0

建立SSH信任关系（请注意，用户等效性仅为当前会话建立。如果您切换到其他会话或注销并重新登录，则必须再次运行ssh-agent和ssh-add才能重新建立用户等效性）

G&B;x&j
IbY0

在每个节点上执行

Z Qo%jBg7d,c v0

   $ exec /usr/bin/ssh-agent $SHELLDOIT博客4X_ CDX b*`(R
Eb*I

   $ /usr/bin/ssh-add

U/Okdf{t @0

      在每个节点上执行如下命令以测试连通性，并建立SSH信任关系 DOIT博客`ii,|/f

}E;dL(hT2x0            $ sshdbserver1 dateDOIT博客G-_0FJ8JN/T4E-r#oY]

vJaf/^OP1n8p0            $ sshdbserver2 dateDOIT博客5kj8G-@)G4h

jqte3Io0            Sun may 27 19:07:19 CDT 2007

DOIT博客'P}7YPqC4yQ!g

测试每个方向上所有服务器的连通性是非常重要的。这样会确保当OUI在CRS和数据库软件安装期间试图复制文件时不会再出现类似以下的消息。该消息只有在远程节点上第一次执行操作时才会出现，因此通过测试连通性，您不仅确保了远程操作的正常运行，还完成了初始的安全密钥交换。

'y)` V"M?;k0

      The authenticity of host 'ds2 (192.168.200.52)' can't be established.

      RSA key fingerprint is 8f:a3:19:76:ca:4f:71:85:42:c2:7a:da:eb:53:76:85.

DOIT博客p9l@ k(iyX

Are you sure you want to continue connecting (yes/no)?yesDOIT博客3k,NJ!{:`}rU

DOIT博客:X1B'Z7CZ1P;Ta

用下述指令在node1上测试ssh互信任配置是否正确

4ML"E P aEI0

2I0]K2C,m0在再每个节点上执行如下命令，应该直接显示相应的时间，而不会提示输入密码

P`Mz3^0

      $ sshdbserver1 dateDOIT博客.H2QS:w SLL1}+Hd

      $ sshdbserver2 date DOIT博客i-vt{ uW@h

8. 根据规划分区共享存储系统

先查看系统分区

+r*T3Y g4o!j0

#fdisk –l /dev/sdb

4X!Y+Cs#u;IM&q0

      发现阵列柜，被加载在/dev/sdb上，在分区先要确保阵列柜上没有被分区，如有分   区，需要删除以前分区，然后在根据前面磁盘分区规划对磁盘阵列柜分区DOIT博客};\|9hD,P

#fdisk /dev/sdb

,Hl-C9xO#y-f s.P#@(W0

      最后分区如下

DOIT博客?"N~j*L9WrN

该分区命令只在一个节点上执行，另外一个节点上执行分区同步命令DOIT博客!f(rGEE?KO|

#partprobeDOIT博客*zrH oD3g
z

提示：关于分区命令fdisk的详细说明，参考其他linux命令手册 DOIT博客7B*}\m2C$m;{6nv'E


[*Pr?/G
mu$N#}0

            由于我们把oracle的OCR(oracle集群注册表)、表决磁盘（voting disk）安装在裸  设备上，对于裸设备要使用它，需要编辑/etc/sysconfig/rawdevices文件，将裸   设备添加到系统中，然后再为裸设备设定属组信息以及权限信息。

把下面的内容添加到/etc/sysconfig/rawdevices文件中 DOIT博客{c7Wz4H
DOIT博客/JL-gj3U

#OCRDOIT博客Fi_Y1TW

/dev/raw/raw1    /dev/sdb1

X4H\7\G ~*k/Ik0

/dev/raw/raw2    /dev/sdb2 DOIT博客:|R,?lW]T)Hry#xp


)D
GeWv+I z)c0

#OCRDOIT博客L"i4O~Fm

/dev/raw/raw5    /dev/sdb5

J!t d
V(D9uS!_p\"` O0

/dev/raw/raw6    /dev/sdb6

"V(IA}S&l#oq~*M0

/dev/raw/raw7    /dev/sdb7 DOIT博客Q7y^/F'o


S-M5Mp)e2R+]:a0

注意：在2.6内核的Red Hat Linux上，当系统重启后，裸设备的属组信息

gu+? _
Ag|"T0

将被还原为系统默认值（root：disk）。为了使得裸设备属组信息可以被保留，你DOIT博客z*pc'H f5i*r

要在/etc/rc.d/rc.local中强制更新裸设备的属组信息，即在文件中加入下述内容： DOIT博客;u(~
L2E n5@)Cs
DOIT博客*gviBs

chown root:dba  /dev/raw/raw1DOIT博客'^EXv.lq)\A,c a:_

chown root:dba  /dev/raw/raw2

)P1o7l?"J {9h0

chmod 660 /dev/raw/raw1DOIT博客3E%ec!B0p7sf

chmod 660 /dev/raw/raw2 DOIT博客 d!xAje~1ou?e0UK
DOIT博客A!`$e E6sj+v

chown oracle:dba    /dev/raw/raw5DOIT博客*~ti(m@h!gC

chown oracle:dba    /dev/raw/raw6

f~,b_-x!a0

chown oracle:dba    /dev/raw/raw7

9[jlN%H5u0

chmod 644 /dev/raw/raw5

E~*T-]:SC0@hI0

chmod 644 /dev/raw/raw6DOIT博客'NI"[6rT'f

chmod 644 /dev/raw/raw7 

F6\9e"GFq8u.B.h:h)l7l&A0