1、1：YUM安装软件[root@node2 Packages]# rpm -qa | grep iscsiiscsi-initiator-utils-6.2.0.873-2.el6.x86_64[root@node2 Packages]# rpm -qa | grep scsiiscsi-initiator-utils-6.2.0.873-2.el6.x86_64scsi-target-utils-1.0.24-2.el6.x86_64[root@node2 Packages]# lsb_release -a 服务器版本LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarchDistributor ID: RedHatEnterpriseServerDescription: Red Hat Enterprise Linux Server release 6.4 (Santiago)Release: 6.4Codename: Santiago因为这台服务器是当RAC 数据库服务器之一的，所以此服务器需要安装客户端工具和服务器端工具。YUM软件安装可以参考我的经验：rhel6.4 yum本地yum源配置http://jingyan.baidu.com/article/59a015e340de67f7948865bc.html
2、2：启动并设置开机自启动[root@node2 Packages]# service tgtd startStarting SCSI target daemon: [ OK ][root@node2 Packages]# chkconfig tgtd on[root@node2 Packages]# chconfig --list | grep tgtd-bash: chconfig: command not found[root@node2 Packages]# chkconfig --list | grep tgtdtgtd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
3、3：确定共享磁盘[root@node2 Packages]# df -hFilesystem Size Used Avail Use% Mounted on/dev/sda5 629G 113G 484G 19% /tmpfs 3.9G 167M 3.7G 5% /dev/shm/dev/sda1 194M 33M 152M 18% /boot/dev/sda3 194M 5.9M 178M 4% /home/dev/sda2 289G 191M 274G 1% /share或者使用DD创建一个大文件ddif=/dev/zeroof=/target_scsi bs=2Mcount=500//使用dd共享出来的设备源可以是DD出来的一个文件，或者是/dev/sda2这样的分区。如果使用/dev/sda2这个分区，那么/share目录将会变成只读模式这里我采用DD出一个文件，因为VOTE表决磁盘200M左右大小。
4、4：编辑配置文件[root@node2 ~]# cat /etc/tgt/targets.confdefault-driver iscsi<target iqn.2015-07.wiscom:wiscom20> <backing-store /targe_scsi> scsi_id wiscom20 lun 1 </backing-store></target>默认所有用户都可以访问编写规范：target iqn.2015-07.wiscom:wiscom20 iqn.年-月.公司名称:scsi_id号 为后期编写多路径规则方便scsi_id wiscom20 自定义 （客户端挂载后wwid）经过试验，我的服务器必须更改scsi_id,否则多路径无法指定别名lun 1 默认为1 注意：如果配置完文件之后，没有重启服务器，只是重启了iscsi服务service tgtd restart 。执行tgt-admin -s 命令查看的时候没有lun 1 设备。最终发现重启服务器才生效
5、5：重启服务器 --至关重要如果是服务器中已经跑了RAC，需要将node2集群关闭再重启服务器。在试验过程中，发现自定义scsi_id无法生效，不管怎么修改都不行。最终重启发现生效。tgt-admin -s 或者tgtadm --lld iscsi --mode target --op show 都可以查看qin号、设备连接信息和scsi_id号
6、6：本机挂载--node2挂载[root@node2 ~]# iscsiadm -m discovery -t sendtargets -p 10.10.10.7:326010.10.10.7:3260,1 iqn.2015-07.wiscom:wiscom20[root@node2 ~]# iscsiadm -m discovery -t sendtargets -p 10.10.11.7:326010.10.11.7:3260,1 iqn.2015-07.wiscom:wiscom20[root@node2 ~]# iscsiadm -m node -T iqn.2015-07.wiscom:wiscom20 -p 10.10.10.7:3260 -lLogging in to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.10.7,3260] (multiple)Login to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.10.7,3260] successful.[root@node2 ~]# iscsiadm -m node -T iqn.2015-07.wiscom:wiscom20 -p 10.10.11.7:3260 -lLogging in to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.11.7,3260] (multiple)Login to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.11.7,3260] successful.扫描并挂载存储如何挂载iscsi存储参考我的经验：rhel 6挂载以及卸载iscsi存储http://jingyan.baidu.com/article/046a7b3edda53bf9c27fa9a2.html
7、7：查看scsi_idscsi_id是设备唯一标识符，类似wwid[root@node2 ~]# scsi_id -g -u -d /dev/adap[root@node2 ~]# scsi_id -g -u -d /dev/sdap1wiscom20[root@node2 ~]# scsi_id -g -u -d /dev/sdaq1wiscom20
8、8：节点2添加磁盘多路径[root@node2 mapper]# vi /etc/multipath.conf[root@node2 mapper]# service multipathd restartokStopping multipathd daemon: [ OK ]Starting multipathd daemon: [ OK ]/etc/multipath.conf 添加如下： multipath { wwid "1wiscom20" alias crsC01 path_grouping_policy multibus uid 1300 gid 1301 mode 666 }在配置之前，一旦挂载就会发现/dev/mapper下已经生成了多路径磁盘mpathm,但是需要在多路径配置文件中添加以上配置生成统一别名。磁盘多路径配置可以参考我的经验：ASM磁盘多路径及udev配置http://jingyan.baidu.com/article/aa6a2c14f89b180d4c19c4d3.html
9、9：节点2 udev修改/dev/mapper/crsC01设备读写权限[root@node2 dev]# vi /etc/udev/rules.d/99-oracle-asmdevices.rules添加以下内容：KERNEL=="dm-20", OWNER="grid", GROUP="asmadmin", MODE="0666"[root@node2 dev]# /sbin/udevadm control --reload-rules[root@node2 dev]# /sbin/start_udevStarting udev: [ OK ]至此，节点2 添加磁盘成功。但是节点1还需要添加磁盘。
10、10：节点1挂载共享iscsi设备节点1挂载：node1[root@node1 nodes]# iscsiadm -m discovery -t sendtargets -p 10.10.10.7:326010.10.10.7:3260,1 iqn.2015-07.wiscom:wiscom20[root@node1 nodes]# iscsiadm -m discovery -t sendtargets -p 10.10.11.7:326010.10.11.7:3260,1 iqn.2015-07.wiscom:wiscom20[root@node1 nodes]# iscsiadm -m node -T iqn.2015-07.wiscom:wiscom20 -p 10.10.10.7:3260 -lLogging in to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.10.7,3260] (multiple)Login to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.10.7,3260] successful.[root@node1 nodes]# iscsiadm -m node -T iqn.2015-07.wiscom:wiscom20 -p 10.10.11.7:3260 -lLogging in to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.11.7,3260] (multiple)Login to [iface: default, target: iqn.2015-07.wiscom:wiscom20, portal: 10.10.11.7,3260] successful.
11、10：节点1添加磁盘多路径和udev修改权限步骤和添加内容和第8步骤、第9步骤一致。
12、11：查看ASM中是否识别到该设备两个节点均需要查看[oracle@node1 ~]$ export ORACLE_SID=+ASM1[oracle@node1 ~]$ export ORACLE_HOME=/u01/app/11.2.0.4/grid/[oracle@node1 ~]$ export PATH=$PATH:$ORACLE_HOME/bin[oracle@node1 ~]$ sqlplus sys as sysasmSQL*Plus: Release 11.2.0.4.0 Production on Tue Jul 28 16:33:01 2015Copyright (c) 1982, 2013, Oracle. All rights reserved.Enter password:Connected to:Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit ProductionWith the Real Application Clusters and Automatic Storage Management optionsSQL>SQL>SQL>SQL> col name for a20SQL> col name for a20col path for a30col mount_status for a10set linesize 300SQL> SQL> SQL>SQL>SQL>SQL>SQL> select name,path,failgroup,mount_status from v$asm_disk order by name;
