blue_prince: Blog

并行度设置为default时可能会导致PDML ora-12805错误

Fri, 01 Aug 2008 03:38:51 GMT

最近在测试ETL迁移，结果有几条SQL语句老是报ora-12805错误，然后没有进一步的信息。隐约记得这个问题以前处理过，不过具体细节却是忘了。早上准备开SR了，wanghai过来提醒了一下，这几张表的并行为default，应该是因为这个原因引起的。猛然想起来去年也碰到这问题，解决办法便是把表的并行度固定住，设置为具体的数字，不再让它为DEFAULT，这样就好了。好记性不如烂笔头，还是需要多做做笔记。

把我的生日改成情人节了

Sun, 27 Jul 2008 06:33:46 GMT

当初入职HR外包人员填信息时不小心把我的身份证号填错了，0124写成0214，当初估计填的时候还在想这小子真会挑日子生，选在情人节这天落地。结果我现在办啥事身份证号出错都得折腾一番。本来这个周末要去取公积金的，临走前突然间想到这事，就打电话查了下，果然公积金帐户的身份证号也搞错了。幸好还没出门，要不这么大热的天白跑一趟我会杀人的。

Linux下如何迁移VG及文件系统

Tue, 22 Jul 2008 03:10:00 GMT

在LINUX下，如果需要将一台主机上的文件系统迁移至另外一台主机上，并且文件系统是基于LVM创建的，那么可以使用VG导入导出功能将VG和LV在不同主机上迁移。

源主机上操作：

首先在源主机上将文件系统umount：

umount /u05

再将LV和VG inactive：

lvchange -an /dev/vg_u05/lv_u05
vgchange -an vg_u05

最后导出VG：

vgexport vg_u05

目标主机上操作：

导入VG：

vgimport vg_u05

激活VG，MOUNT 文件系统：

vgchange -ay vg_u05
mkdir /u05
mount /dev/vg_u05/lv_u05 /u05

如何转换RAC中RDS和UDP互联

Tue, 22 Jul 2008 02:46:26 GMT

配置基于Infiniband RDS内部互联方案的RAC时，需要重新build Oracle library。在操作之前需要先把整个RAC中的ASM实例和数据库实例都停止掉，然后进行BUILD：

$ cd $ORACLE_HOME/rdbms/lib
$ make -f ins_rdbms.mk ipc_rds ioracle

而将RDS切换回普通的UDP协议时，则比较简单：

$ cd $ORACLE_HOME/rdbms/lib
$ make -f ins_rdbms.mk ipc_g ioracle

Solaris安装RAC运行root.sh失败解决一例

Tue, 22 Jul 2008 02:31:38 GMT

前段时间一个朋友在安装Solaris上的RAC时，安装clusterware最后一步运行root.sh总是无法成功，报如下的错：

# ./root.sh WARNING: directory '/oracle/product/10.2' is not owned by root

WARNING: directory '/oracle/product' is not owned by root

WARNING: directory '/oracle' is not owned by root

Checking to see if Oracle CRS stack is already configured

Setting the permissions on OCR backup directory

Setting up NS directories

Failed to upgrade Oracle Cluster Registry configuration r

看了一下crs的alert日志：

2008-07-01 23:51:53.642 [client(2216)]CRS-1006:The OCR location /oracle/OCR_A is inaccessible. Details i n /oracle/product/10.2/cluster/log/db1/client/ocrconfig_2216.log. 2008-07-01 23:51:53.807 [client(2216)]CRS-1001:The OCR was formatted using version 2.

细看/oracle/product/10.2/cluster/log/db1/client/ocrconfig_2216.log：

Oracle Database 10g CRS Release 10.2.0.1.0 Production Copyright 1996, 2005 Oracl e. All rights reserved. 2008-07-01 23:51:53.612: [ OCRCONF][1]ocrconfig starts... 2008-07-01 23:51:53.612: [ OCRCONF][1]Upgrading OCR data 2008-07-01 23:51:53.630: [ OCRRAW][1]propriogid:1: INVALID FORMAT 2008-07-01 23:51:53.631: [ OCRRAW][1]ibctx:1:ERROR: INVALID FORMAT 2008-07-01 23:51:53.631: [ OCRRAW][1]propri

发现在格式化OCR的盘时出错。第一个反应是祼设备权限的问题，折腾几次后发现这个并不存在问题。最终定位到问题是由于ocr和voting disk对应的祼设备用了cylinder 0，而Solaris上祼设备的cylinder 0是要预留给系统使用的，因此才会导致格式化OCR失败。解决办法便是重建OCR和VOTING DISK对应的祼设备，跳过CYLINDER 0。

RAC中如何更改对外网卡和内部互联网卡的IP及VIP

Mon, 21 Jul 2008 14:58:32 GMT

在RAC环境中，有时候由于需要会更改网卡或IP地址，这边简单记录一下操作步骤（参考metalink文档：283684.1）。

1、查看当前PUBLIC网卡和PRIVATE网卡的配置：

test1:/home/oracle>$oifcfg getif
eth1 10.0.100.0 global cluster_interconnect
eth0 172.19.20.0 global public

2、更改PUBLIC网卡或者IP：

比如我们需要将PUBLIC网卡从eth0改为bond0，IP地址由172.19.20.0 改为172.13.20.0 。那么首先必须用oifcfg delif 命令删除原先的PUBLIC网卡设置，然后再用oifcfg setif 命令更改网卡及IP配置，这步只要在任意一个节点执行就可以了。（注意：在更改PUBLIC或者PRIVATE网卡及IP之前都需要将RAC中的资源停止，可以使用crs_stop -all来停止）

test1:/home/oracle>$oifcfg delif -global eth0

test1:/home/oracle>$oifcfg setif -global bond0/172.13.20.0:public

再查看可以看到PUBLIC网卡及IP都更改过来了：

test1:/home/oracle>$oifcfg getif
eth1 10.0.100.0 global cluster_interconnect
bond0 172.19.20.0 global public

3、更改PRIVATE网卡或者IP：

这一步和更改PUBLIC网卡大同小异，比如说我们需要将PRIVATE网卡从eth1改为ib1：

test1:/home/oracle>$oifcfg delif -global eth1

test1:/home/oracle>$oifcfg setif -global ib1/172.13.20.0:cluster_interconnect

4、更改VIP配置：

更改PUBLIC网卡后，那么RAC各个节点的VIP必须重新配置，以便CRS知道VIP对应PUBLIC网卡名称的变更：

test1:/home/oracle>$srvctl modify nodeapps -n test1 -A 172.13.20.1/255.255.255.0/bond0

这样执行完以后，整个更改便完成了。

需要调整一下

Sat, 19 Jul 2008 17:24:12 GMT

凡事不能操之过急。越想得到结果，结局往往适得其反。把每一件事情都处理解决好，那么收获就是水到渠成的。坚信没有解决不了的问题，碰到困境的时候换种思路，不要陷进死胡同。积极对待一切。

RAC:Write-to-Read Transfer

Fri, 13 Jun 2008 06:07:59 GMT

The behavior of the write-to-read transfer is determined by the _FAIRNESS_THRESHOLD parameter,which was introduced in Oracle 8.1.5 and defaults to 4. Prior to the introduction of this parameter,when Instance A held a block in exclusive mode and Instance B requested a read-only copy of that block, Instance A would downgrade its exclusive lock to a shared lock and send the block to Instance B,which would also set a shared lock on the block. However, if Instance A is performing frequent updates
on the block, it will need to reacquire the block and set an exclusive lock again. If this process is repeated frequently, then Instance A will be continually interrupted, as it has to downgrade the exclusive lock to a shared lock and wait until Instance B has finished reading the block before it can convert the shared lock back into an exclusive lock.
The _FAIRNESS_THRESHOLD parameter modifies this behavior. When this parameter is set,Instance A will no longer downgrade the exclusive lock. Instead, it sends a null lock to Instance B,and then it can continue processing. However, if instance B requests the block _FAIRNESS_THRESHOLD times, by default 4, then Instance A will revert to the original behavior—it will downgrade the exclusive lock to a shared lock and ship the block to Instance B, which will also set a shared lock on the block.

From:Pro Database 10g RAC on Linux

RAC建库时报ASM单实例错误的解决办法

Thu, 12 Jun 2008 03:06:08 GMT

安装好RAC后，在用DBCA建库时选择ASM做为存储方案时，有时候会报错说ASM是单实例环境，不是RAC环境，这样就无法继续建库下来，出错信息如下：

The ASM instance configured on the local node is a single-instance ASM.To create a single-instance database using this ASM instance ,restart DBCA and select the single-instance database option ,to create a RAC database using this ASM instance,convert it to RAC ASM first.

这个错误一般是发生在重装clusterware和database后，这样无论怎么样重启DBCA运行都会报同样的错。具体的解决办法便是在/etc/oratab里面的关于ASM的记录：+ASM1:/u01/app/oracle/product/10.2.0/db_1:N这么一行删除掉，再接着建库就可以了。碰到过多次这个错误，记录在这里备忘一下。

杭州两年

Sun, 01 Jun 2008 13:50:02 GMT

两年前的5月31号来到杭州，六一到公司报到。整整两年过去了，一无所成。

使用DBMS_FILE_TRANSFER配置DATA GURAD和克隆数据库

Thu, 15 May 2008 08:36:41 GMT

通常我们配置DATA GUARD，都需要对主库进行备份，再把备份的备份集复制到备库端进行配置。但是当数据库非常大时，尤其是数据库采用ASM作为存储方案时，如果没有足够的空间用于存放备份集，这样显然就无法通过常规的方式来配置STANDBY。利用DBMS_FILE_TRANSFER则可以方便地将主库的数据文件直接传递至备库的ASM磁盘组，这样再也不需要使用中间存储存放备份文件。下面简单介绍一下通过DBMS_FILE_TRANSFER配置基于ASM存储方案的DATA GUARD和克隆数据库的方法。

一、在备用数据库端创建好ASM磁盘组和一个中间数据库。
首先必须要在备用数据库端配置好ASM实例，创建好ASM磁盘组，并且ASM磁盘组的名字最好是和主库一样的。当然，名字不一样也可以，那就需要一些额外的设置。另外由于DBMS_FILE_TRANSFER远程传输是基于DB LINK的，因此需要在备用库端创建一个中间数据库，这个中间数据库的主要作用便是用于DB LINK传输数据文件。假定我们创建的ASM磁盘组叫DATA，中间数据库名字叫transfer。
二、在备用库的中间数据库上创建一个到主库的DB LINK。做之前需要配置好到主库的TNS。

SQL>create database link lnk_pri connect to system identified by password using ‘primary’;

三、在主库端创建到数据文件目录的directory。

SQL> create or replace directory pri_dir as ‘+DATA/TEST/datafile’;

四、在备库端创建好备库的相应目录，比如bdump，udump等目录，另外在备库的ASM实例中创建备库的数据文件、控制文件等目录。

SQL> alter diskgroup DATA add directory ‘+DATA/TEST/’;
SQL> alter diskgroup DATA add directory ‘+DATA/TEST/DATAFILE’;
SQL> alter diskgroup DATA add directory ‘+DATA/TEST/CRONTROLFILE’;
SQL> alter diskgroup DATA add directory ‘+DATA/TEST/TEMPFILE’;

五、在备库的中间数据库上创建好两个DIRECTORY，用于存放传递过来的数据文件和控制文件。

SQL> create or replace directory stb_dir as ‘+DATA/TEST/datafile’;
SQL> create or replace directory stb_ctl_dir as ‘+DATA/TEST/controlfile’;

六、在中间数据库开始传输数据文件。
由于是在线配置STANDBY，在传输数据文件之前，必须先在主库把相应的表空间置于恢复模式，然后利用dbms_file_transfer进行数据文件的传输，最后再把相应的表空间置为正常状态：

SQL> conn sys/password@lnk_pri as sysdba
SQL> alter tablespace system begin backup;
SQL> conn /as sysdba
SQL>begin
dbms_file_transfer.get_file(
source_directory_object => ‘ pri_dir ‘,
source_file_name => ‘ system.286.650339101′,
destination_directory_object => ‘ stb_dir ‘,
destination_file_name => ‘ system01.dbf ‘,
source_database => ‘lnk_pri’);
end;
/
SQL> conn sys/password@lnk_pri as sysdba
SQL> alter tablespace system end backup;

这样依次对主库的每个数据文件进行处理传递后，主库上的数据文件都会传递至备库的ASM磁盘组上。
七、传输备库的控制文件。
首先在主库端生成备库的控制文件：

SQL> alter database create standby controlfile as ‘+DATA/TEST/datafilefile/standby.ctl’;

如果是克隆数据库的话，那么生成一个普通备份控制文件即可：

SQL> alter database backup controlfile to ‘+DATA/TEST/datafilefile/standby.ctl’;

然后传输控制文件：

SQL>begin
dbms_file_transfer.get_file(
source_directory_object => ‘ pri_dir ‘,
source_file_name => ‘ standby.ctl’,
destination_directory_object => ‘ stb_ctl_dir ‘,
destination_file_name => ‘ control01.ctl ‘,
source_database => ‘lnk_pri’);
end;
/

八、配置备用库。

首先配置好备库的参数文件，并且配置好主库和备库的TNS，接下就可以配置备用库了：
启动备库至mount状态

SQL > startup nomount
SQL > alter database mount standby database;

如果是配置克隆数据库的话，则直接将数据库MOUNT就行：

SQL > alter database mount;

执行RMAN的catalog命令，以使控制文件能够识别传输过来的数据文件：

RMAN> catalog start with ‘+DATA/TEST/DATAFILE’;

然后将这些数据文件转换为备库的数据文件：

RMAN >switch database to copy;

如果是配置DATA GUARD的话，则可以将备库置为恢复模式：

SQL > alter database recover managed standby database disconnect from session;

如果是配置克隆数据库的话，那么直接恢复数据库并打开：

SQL >recover database until cancel;
SQL >alter database open resetlogs;

这样DATA GUARD和克隆数据库就配置完成了。最后可以把中间操作创建的directory，DB LINK和中间数据库删除掉。

利用DBMS_FILE_TRANSFER传输数据库文件

Wed, 14 May 2008 08:05:13 GMT

从Oracle 10g开始，Oracle提供了DBMS_FILE_TRANSFER这么一个程序包，可以方便地在本地数据库和远程数据库，ASM和文件系统间传输数据库文件。这样数据库文件的传输就方便了许多，尤其是在传输基于ASM存储的数据文件时，不再局限于利用RMAN来进行传输。下面介绍一下这个包的用法。

DBMS_FILE_TRANSFER包一共包含了3个存储过程，分别提供本机之间、本机从远程主机抓取以及本机上传至远程主机三种传输数据库文件的功能。要求传输用户有对源目录读和对目标目录写的权限，单个数据库文件必须是512字节的整数倍并且文件大小必须小于或者等于2TB。

1、COPY_FILE。可以在数据库本机的文件系统之间，ASM磁盘组之间或者文件系统和ASM磁盘组之间方便地传输数据库文件。

DBMS_FILE_TRANSFER.COPY_FILE(
source_directory_object IN VARCHAR2,–源目录
source_file_name IN VARCHAR2,–源文件名
destination_directory_object IN VARCHAR2,–目标目录
destination_file_name IN VARCHAR2);–目标文件名
SQL> create directory data as ‘+DATA/HELLODB/DATAFILE’;
SQL> create directory test as ‘+TEST/HELLODB/DATAFILE’;
SQL> exec DBMS_FILE_TRANSFER.COPY_FILE(’DATA’,’system.286.650339101′, ‘TEST’,’system.dbf’)
ASMCMD> ls -a
+TEST/HELLODB/DATAFILE/system.dbf => COPY_FILE.256.654701983

2、GET_FILE。从远程数据库读取数据库文件并在本机的文件系统或者ASM磁盘组上创建一份复制文件。

DBMS_FILE_TRANSFER.GET_FILE(
source_directory_object IN VARCHAR2,
source_file_name IN VARCHAR2,
source_database IN VARCHAR2, –到远程数据库的db link名
destination_directory_object IN VARCHAR2,
destination_file_name IN VARCHAR2);
begin
DBMS_FILE_TRANSFER.COPY_FILE(’DATA’,’system.286.650339101′, ‘lnk_test’,’TEST1′,’system.dbf’);
end;
/

3、PUT_FILE。在本地数据库将数据库文件传输至远程数据库的文件系统或者ASM磁盘组。

DBMS_FILE_TRANSFER.PUT_FILE(
source_directory_object IN VARCHAR2,
source_file_name IN VARCHAR2,
destination_directory_object IN VARCHAR2,
destination_file_name IN VARCHAR2,
destination_database IN VARCHAR2); –到目标数据库的db link名
begin
DBMS_FILE_TRANSFER.COPY_FILE(’DATA’,’system.286.650339101′, ‘TEST2′,’system.dbf’, ‘lnk_test’);
end;
/

Qlogic Infiniband RDS高速互联驱动程序安装及配置

Wed, 07 May 2008 06:53:54 GMT

在配置基于RDS协议的Infiniband高速内部互联的RAC数据库方案时，第一步必须是安装好驱动程序并配置好内部互联的IP地址，保证内部互联配置完成，才能进行下一步的RAC数据库安装和创建。下面简要介绍一下Infiniband安装配置的过程：
一、首先删除操作系统自带的OFED模块，否则在日后的使用中，可能会和后续安装的Infiniband驱动程序发生冲突：

#rm -rf /lib/modules/2.6.9-55.ELlargesmp/kernel/drivers/infiniband
#rm -rf /usr/src/kernels/2.6.9-55.EL-largesmp-x86_64/drivers/infiniband

这里面的2.6.9-55.Ellargesmp是LINUX的内核版本号，根据安装机器的OS内核而定。重启服务器，执行lsmod 去检查OFED是否还在运行。

二、编译Infiniband安装程序：
将InfiniServ安装文件COPY至相应目录，解压并编译：

#cd /u01
#tar –zxvf InfiniServ. 4.1.0.2.2.tgz
#cd InfiniServ. 4.1.0.2.2/ALL_HOST
#./do_build

编译完成后，该OS上的Ininiband安装文件即可生成，对应安装文件在/u01/InfiniServ.4.1.0.2.2/ALL_HOST/release/redhat/X86_64/InfiniServ.4.1.0.2.2G里面。
三、安装Infiniband安装程序：

#cd /u01/InfiniServ.4.1.0.2.2/ALL_HOST/release/redhat/X86_64/InfiniServ.4.1.0.2.2G
#.INSTALL

屏幕显示如下画面：

SilverStorm Technologies Inc. InfiniBand 4.1.0.2.2 G Software
1) Install/Uninstall Software
2) Reconfigure IP over IB
3) Reconfigure Driver Autostart
4) Update HCA Firmware
5) Generate Supporting Information for Problem Report
6) Host Setup via Fast Fabric
7) Host Admin via Fast Fabric
8 ) Chassis Admin via Fast Fabric
9) Externally Managed Switch Admin via Fast Fabric
X) Exit

选择“1”，屏幕显示如下画面：

SilverStorm Technologies Inc. IB Install (4.1.0.2.2G release) Menu
Please Select Install Action:
0) IB Network Stack [ Install ] [Available]
1) IB Development [ Install ] [Available]
2) IB Boot [ Install ] [Available]
3) Fast Fabric [ Install ] [Available]
4) Virtual HBA (SRP) [ Install ] [Available]
5) Virtual NIC [ Install ] [Available]
6) IP over IB [ Install ] [Available]
7) MPI Runtime [ Install ] [Available]
8 ) MPI Development [ Install ] [Available]
9) MPI Source [ Install ] [Available]
a) uDAPL [ Install ] [Available]
b) SDP [ Install ] [Available]
c) RDS [ Install ] [Available]
P) Perform the selected actions
I) Install All
U) Uninstall All
X) Return to Previous Menu (or ESC)

上图中显示，P：执行选择的项
I：全部安装以上11项
U：全部卸载以上11项
选择安装某项的方法如下：
例如要安装IB Network Stack项，我们可以通过在键盘上敲击IB Network Stack前面的数字0，来切换到Install提示（此处提示共有Install，Do Not Install或Up To Date三种选择）。
如果HPC应用，只需选择0,1,3,6,7,8,9,b项进行安装即可。
如果使用RDS for Oracle应用，选择全部进行安装即可
如果使用IPOIB for Oracle应用，选择0,1,3,6 进行安装就可以。
选择各项为Install提示后，
输入”P”，执行，系统出现如下画面：

——————————————————————————-
Installing IB Network Stack…
Adding module dependencies…
Adding memory locking limits…
Copying ibt.ko…
Copying ics_dsc.ko…
Copying 82808XA.ko…
Copying mt23108vpd.ko…
Copying mt25218vpd.ko…
Creating IB Network Stack (iba) system startup files…
Creating IB Port Monitor (iba_mon) system startup files…
——————————————————————————-
Installing IB Development…
——————————————————————————-
Installing Fast Fabric…
——————————————————————————-
Installing IP over IB Driver…
Copying ipoib.ko…
Assign IP over IB static IPV4 addresses now? [n]: y
提示是否配置IPOIB，输入”y”,出现如下画面：
You may configure an IP over IB interface for each IB port
Or you may select to have IP over IB only run on some IB ports
Or you may select to configure redundant IB ports with a
pair of IB ports running a single IP over IB interface
How many IP over IB interfaces would you like to configure? [1]:

提示需要配置多少个ip，默认为1个，如果我们只需设置1个IP地址，直接回车或输入“1”回车，屏幕出现如下画面：

Preparing to create IP over IB ifcfg files in /etc/sysconfig/network-scripts
Assign interface names sequentially starting with ib1? [y]:
Assign Internet Addresses sequentially from a base IP address? [y]:
Enter IPV4 address in dot notation for ib1: 192.168.100.145
Is IPV4 address ‘192.168.100.145′ correct? (y/n): y
Enter IPV4 netmask in dot notation for ib1 192.168.100.145 [255.255.255.0]:
Creating ifcfg-ib1 for 192.168.100.145 mask 255.255.255.0
IP over IB requires /etc/sysconfig/ipoib.cfg specify parameters
for each IP over IB device.
The default configuration file provides for a 2 port redundant configuration.
If you desire a different configuration for IP over IB, Manually edit the file.
Hit any key to continue…

根据屏幕提示输入：
Assign interface names sequentially starting with ib1? [y]:
提示是否要将IB接口名称设定为ib1, 直接回车或键入 y 回车.
Assign Internet Addresses sequentially from a base IP address? [y]:
提示是否要分配一个IP地址，直接回车或键入 y 回车.
在提示Enter IPV4 address in dot notation for ib1: 键入 IP 地址xxx.xxx.xxx.x并回车
在提示 Is IPV4 address ‘xxx.xxx.xxx.x’ correct? (y/n): 键入y并回车.
在提示 Enter IPV4 netmask in dot notation for ib1 xxx.xxx.xxx.x [255.255.255.0]: 回车以设置默认值 (255.255.255.0).

敲入任何键，继续：

Creating IP over IB (ipoib) system startup files…
——————————————————————————-
Installing MPI Runtime…
Make links for mpd in ///opt/iba/bin
Make links for mpd in ///usr/local/bin
——————————————————————————-
Installing MPI Development…
——————————————————————————-
Installing MPI Source…
——————————————————————————-
Installing uDAPL…
Copying udapl_module.ko…
Creating uDAPL (udapl) system startup files…
——————————————————————————-
Installing SDP Driver…
Copying ics_offload.ko…
Copying ics_sdp.ko…
Creating SDP (ics_sdp) system startup files…
Enable IB Network Stack (iba) to autostart? [y]:
Enable IB Port Monitor (iba_mon) to autostart? [y]:
Enable IP over IB (ipoib) to autostart? [y]:
Enable uDAPL (udapl) to autostart? [y]: n
Enable SDP (ics_sdp) to autostart? [y]: n
Hit any key to continue…

在提示 Enable xxx to autostart? [y]: 键入 Y或N 回车,屏幕显示如下图：

Generating module dependencies…
Updating HCA Firmware …
Select HCAs to Update:
1) HCA 1 (23108 Rev a1 psid “MT_0030000001″ Node GUID: 0×00066a0098004c15)
Selection (a for all, n for none) [a]:

提示是否更新HCA firmware 版本，输入 n , 回车，屏幕出现最初画面：

SilverStorm Technologies Inc. InfiniBand 4.1.0.2.2G Software
1) Install/Uninstall Software
2) Reconfigure IP over IB
3) Reconfigure Driver Autostart
4) Update HCA Firmware
5) Generate Supporting Information for Problem Report
6) Host Setup via Fast Fabric
7) Host Admin via Fast Fabric
8 ) Chassis Admin via Fast Fabric
9) Externally Managed Switch Admin via Fast Fabric
X) Exit

敲入“x”退出安装。

5) 重新启动系统
#reboot
6) 重新启动系统后，检查HCA驱动是否正常启动
#lsmod
显示如下图：

o ipoib
o mt23108vpd
o ics_dsc
o ics_offload
o ibt
o scsi_mod
o ics_sdp

至此，此节点的Infiniserv软件安装完成。

Linux上如何不重启识别新存储

Tue, 06 May 2008 06:03:20 GMT

上周在一台生产机器上添加了一台新存储，并且成功不重启就识别了新添加的LUN。关于如何LINUX不重启如何识别新的LUN，Fenng有过一篇文章介绍过了：Linux 如何不重启而识别新增的 LUN，除了QLogic FC HBA LUN Scan Utility这个脚本，还有其他方式可以也可以识别，具体可以看Fenng BLOG中的回复。这里面简要介绍一下存储的配置过程，我添加的存储是EMC CX700，以此为例。在布好光纤线，配置好光纤交换机的ZONE之后，需要把主机的/etc/Navisphere/agent.config文件里面添加新存储的IP地址，然后重启Naviagent。Naviagent重启的话对于主机现有的存储访问是没有影响的，如果不重启，那么在存储端也是可以看到主机信息的，不过并不会有主机名等详细信息的，需要用户手工添加注册信息。然后就在存储里面配置storage group，把要访问的LUN和主机设置好，按Fenng BLOG中步骤运行QLogic FC HBA LUN Scan Utility，主机上powermt config一下，就识别到新的存储了。值得一提的是，在我的环境中，新添加的LUN没有具体的LUN编号，这个对于使用还是有些麻烦的。

洗了个冷水澡

Tue, 15 Apr 2008 14:17:06 GMT

已经好久没洗冷水澡了，有印象上一次洗冷水澡应该还是05年在苏州的时候。记得在学校的时候冬天比较经常洗冷水澡，那时候心情大都比较阴郁，冷水澡可以短暂冷却不平静的心。那时候和舍友经常在冬天洗澡的时候狂吼：“我是一个混蛋！”，不为什么，仅仅是内心的宣泄而已。有一次踢完球后冷了个冷水澡，接着去上课，牙齿咯吱咯吱打了一节课，福州的冬天温度差不多在5度左右，还是比较冷的。

晚上回来后看了下热水器，显示水温57度，这个温度洗澡问题是不大的。结果进了卫生间后，出水一直都没出热水。本来想等等再烧一下水，后面等不及了，就直接冲冷水了。洗头发的时候感觉还好，冲身体的时候就感觉到冷了。杭州这时候温度在12度左右，还是有点寒意的。跟以前一样，洗到后面就不冷了。什么时候在冬天最冷的时候试着洗个热水澡吧。

牌运不佳

Thu, 10 Apr 2008 09:39:45 GMT

上周末和这周二接连打了两次牌。没想到两次都是惨败，是打牌以来输得最惨的两次。打杭州这边流行的双扣，这两次都是第一把就双扣别人，结果后面就一直输下去，看来打牌是不能赢头把的。上个周末还坚持着一小段时间，这周二输得可就惨了。牌抓得好吧，别人抓得更好，手上好几幅炸弹，炸都炸死你；牌抓得不好吧，人家的牌还是比你好，硬生生地把你堵死。有一盘居然有一个人抓了2幅6张牌的炸弹，另外一个人抓了1幅6张牌的炸弹，加上被双扣，一把就输了6个。还有人抓7张牌炸弹的，有人抓4个鬼的，从-3到-23只用了5把，NNGX。输了点小钱，哈哈。本来打牌有个原则是坚决不赌钱，后面被gytyl拉下水，赌了点小钱，发现赌点小钱挺好玩的。小赌怡情啊！NinGoo也是打牌从不赌钱的，不过现在也被我拉下水了，哈哈，不过这小子一赌钱基本上都是小输或者平。

的士司机的诚信

Mon, 07 Apr 2008 01:59:40 GMT

半夜打车到机房换硬盘，由于下雨，加上机房所在的地方比较偏，在那边很难打到车，于是跟司机商量让他在机房楼下等我。因为我上去换个硬盘前后也就10分钟时间，再说半夜那地方也不会有什么客人，司机也答应了。为了表示诚意，我还特地先把过去的钱给结了。没想到我一进去还没登记，司机就开车走人了。NND！

RAC升级到10.2.0.4碰到的几个问题及处理办法

Wed, 02 Apr 2008 06:20:56 GMT

上周末将10.2.0.3的RAC数据库升级到10.2.0.4。在升级过程中碰到了几个问题，记录一下解决办法。

第一个是在CRS打完Patch之后运行root102.sh脚本时报：

Preparing to recopy patched init and RC scripts.

Recopying init and RC scripts.

ocrcheck failed. Check /u01/oracle/product/10g/crs/srvm/log for more details

这一步事实上是这时候CRS无法启动，而且在/u01/oracle/product/10g/crs/srvm/log这个目录下面没有记录任何东西。尝试着手工启动CRS，报：

/u01/oracle/product/10g/crs/bin/crsctl.bin: error while loading shared libraries: /u01/oracle/product/10g/crs/lib/libclntsh.so.10.1: file too short

查看一下libclntsh.so.10.1，文件大小居然为0。查看该目录下的其他文件的大小和更改时间和备份的目录相比都没变化，解决办法便是将报错的libclntsh.so.10.1文件从升级之前备份的CRS目录COPY回来，再运行脚本就可以了。可见在升级之前做好备份有多重要。

第二个问题是打完PATCH，准备用DBUA升级数据库时将所有节点启动至MOUNT状态，DBUA运行下一步时报错：

DBUA thinks this is a Rerun operation and is trying to connect to the database with oracle home /u01/oracle/product/10g/db. If you believe this is not a Rerun operation, remove the below file and invoke DBUA again.

/u01/oracle/product/10g/db/cfgtoollogs/dbua/logs/Welcome_dwdb.txt

但是Welcome_dwdb.txt这个文件压根不存在。这时候只好抛弃DBUA了，手工运行升级脚本，这样数据库才能正常升级成功。

第三个问题是发现发现我们原来RAC内部互联采用的是Infiniband RDS协议变成普通的UDP协议互联了：

Fri Mar 28 21:12:14 2008

cluster interconnect IPC version:Oracle UDP/IP (generic)

IPC Vendor 1 proto 2

这个问题是由于在升级过程中ORACLE又重新将内部互联的方案更改为默认的UDP方式。需要重新配置一下RDS内部互联，在配置之前需要把ASM和数据库都停掉，然后重新RELINK成RDS互联：

$ cd $ORACLE_HOME/rdbms/lib

$ make -f ins_rdbms.mk ipc_rds ioracle

这样以后，内部互联就恢复成正常的RDS了：

Fri Mar 28 21:25:39 2008

cluster interconnect IPC version:Oracle RDS/IP (generic)

在升级之后我们碰到了一个新的BUG，数据库会报：

ORA-00600: internal error code, arguments: [kddummy_blkchk], [47], [935468], [18038], [], [], [], []

解决办法是将db_block_checksum这个参数改为FALSE，不过这样做会有较大的风险，目前这个BUG ORACLE已经提交BUG开发部门进行开发了。

MSN 8.5去除广告栏和共享文件夹

Thu, 13 Mar 2008 06:14:54 GMT

这两天受不了MSN不断的提示有新版本升级，就升级到新版本8.5.1302.1018。升级过后发现原来可以单独去掉的广告栏再没有选项去掉，而且这个广告栏显示的是FLASH动画，鼠标一移至那边就变成大幅的动画，让我感觉很不爽。于是就上网找办法去掉广告栏，在经过多次不断的测试和重启后，终于搞定了这个问题。首先下载一个ResHacker，然后打开MSN安装目录下的msgsres.dll这个文件，先备份一下，然后对它进行更改：

1.去除界面上的广告：

打开msgsres.dll中的4004－923,查找里面的"ID=Atom(SSConstrainer)",不包括两头双引号,将前面的layoutpos=top改为layoutpos=none,编译保存,OK

2.去除对话框下面文字广告方法：

打开msgsres.dll，查找：<element id=atom(adbannercont) layout=filllayout()>

改为:<element layoutpos=none>

3.去除界面底部搜索栏：

在上边的文件中查找"idSearchContainer"

将上边的"layoutpos=bottom"改成"layoutpos=none"

4.去除MSN共享文件夹，打开MSN安装目录下的fsshext.8.5.1235.0517.dll，先备份一下，再找到registry，下面有一个102，删除，保存编译。然后，到注册表里删除下面的键值

HKEY_LOCAL_MACHINE＼SOFTWARE＼Microsoft＼Windows＼CurrentVersion＼Explorer＼MyComputer＼NameSpace＼{FC9FB64A-1EB2-4CCF-AF5E-1A497A9B5C2D}

这个键值里面有一条默认的内容设置是：Messenger Sharing Folders

注意：FC9FB64A-1EB2-4CCF-AF5E-1A497A9B5C2D可能不同机器是不一样的

将这个键值删除，重启后共享文件夹就去掉了。

晶晶小妹

Wed, 12 Mar 2008 03:39:35 GMT

从春节年后开始，ITPUB突然间冒出了个晶晶小妹，在ORACLE数据库管理版发了众多高质量的关于Oracle Internals的深入研究帖子，给日渐平淡的论坛吹来了一股清新之风。一时间关于此ID的种种猜测便不绝于耳，对于一个突然间冒出来的技术黑马，加上美女、DBA、初中毕业、20岁……等众多关键字，如果不受到这么多的关注便是奇怪了。据晶晶小妹自己说是15岁初中毕业，因为没考上重点高中便念了一所计算机培训学校，16岁开始工作，接触ORACLE 2年，今年不到20岁。尽管她在论坛上很诚挚的把自己的情况都公开了，不过还是不免引来一些怀疑，因为实在想像不出一个20岁不到的初中毕业的女孩子能够有这么深厚的技术功底。于是便有人怀疑这个ID的真实性，大家不约而同的猜测这可能是一个马甲，有人说是两个老爷们联合用的一个马甲。最后面ITPUB推出视频专访，才把这一切底细都弄清楚了，晶晶小妹之前说的种种都是真实的。看了她的一些帖子，技术总结确实很不错，不过感觉她的那些个人感悟更是值得一看，文笔甚佳，不论是不是搞技术的看了都会有所感慨。呵呵，想必你也对这个不到20岁的小女孩子感兴趣了吧，那么上她的BLOG去看看吧，里面有她的照片哦：http://space.itpub.net/13095417/

说说在Metalink上开SR这件事

Fri, 07 Mar 2008 08:25:07 GMT

看到一个朋友的MSN签名是：“我不是在开SR，就是准备在开SR”。心里颇有感触，这个朋友是做ORACLE ERP的，听说ORACLE ERP非常复杂，需要经常上METALINK求助。做为一名ORACLE DBA，METALINK是非常重要的资料来源，很多案例查一下METALINK都会有比较好的解决方案。不过METALINK也不是万能的，碰到没有相似的方案，你只能开SR求助于ORACLE SUPPORT了。

我在去年以前从来没有在METALINK上开过SR，基本上日常工作碰到的问题都可以通过种种办法查出原因并解决。但是在采用了最新的Oracle 10g R2 RAC数据库后，碰到了一系列莫名其妙的问题，这时候便只好开SR求助了。从开第一个SR到现在一共开了有十几个SR，真正解决问题的没有几个，往往都是不了了之。最开始便是让你发一通文件，这些文件分布在RAC的好几台主机，我只好一台台主机去找他们要求的文件最后面再打包上传。这是一个非常烦琐的过程，OS日志、CRS日志、CSS日志、alert log、TRACE文件……结果我好不容易将一大堆文件打包上传了，格式是.rar格式的，他们只能打开.zip格式的压缩包，要求重新上传。重新上传完以后，他们说根据已经上传的这些文件还是找不出原因，让部署Oracle的OS Watcher这个工具，等以后出现类似问题时再找原因。于是费了一番精力再部署这东西上去，另外他们还要求部署RDA，也一并弄上去。结果有一次再出现类似问题后，又是一通地找文件，最后压缩文件居然有500MB之大。在自己机器上上传了一天传不上去，就在同事的机器上挂机传了一天。这次传上去了，结果SUPPORTER跟我说传上去的文件太大了，他们也无法打开，让我再传至METALINK的FTP，好，再折腾，又费了一天传至FTP。结果他们还是没有找到问题，给我来这么一句：Now it seems to be LMS are started in Real time mode.We can check if the problem is re-producing or not。只能关掉SR，等待问题重现时再让他们诊断。于是这个SR到现在一个半月了，中间交涉了好多次，今天我还在上传他们要求的文件。

还有另外一次我们生产库的ASM磁盘头损坏，我们之前都没碰到这一类的故障，METALINK上也没有相应案例。我开了1级紧急SR，本来指望他们响应快一些，结果他们还是慢吞吞地在处理，最多的一句话是：Thank you for your patience。而且Oracle Support技术水平不一，有些SUPPORT根据内部文档给出一个建议后也不说明为什么要这么做，下一步要做什么？我们碰到ASM磁盘头损坏后第一个SUPPORT一个劲地让我们清空前1M的内容。问他为什么要清空前1MB的内容他就是不说，就说对照着做把结果告诉他就行了？我们问那清空后下一步怎么办？他就是不说，最后面发现他找到一个错误的解决案例，假如我们按这个SUPPORT的建议来处理的话，那么有可能会丢失整个数据库的数据。还是这个案例，后面问题解决了，我们要找出原因，他们说根据ORACLE的策略，只能另外开一个SR。另外开了SR后，换了另外一个SUPPORT来支持了，结果这个SUPPORT又不清楚具体的情况，于是我又费了一番周折把情况说明清楚，英语本来就不好，好不容易憋出几句英文把情况说明清楚，结果响应又巨慢无比。只好通过销售来推动，这次倒好了，说是因为时区的关系，我的SR负责的工程师刚好是非洲的，而且又出去度假去了。给我换了个印度的工程师，又是不熟悉情况，又是从头介绍情况，结果现在还是在处理状态。

还有一些其他的问题，总之指望METALINK来解决问题你需要足够的耐心，也不能指望能够解决紧急的问题。话说回来，通过网络来解决问题，在对具体环境不熟悉的情况下，他们是需要调查清楚情况后再做出处理，或许他们在工作的同时也在处理其他的案例，毕竟不仅仅就你这么一个案例。ORACLE也有自己的流程和策略，不过这个流程对于用户来说实在是太繁琐了。

SR，你让我怎么说你才好？

解决STANDBY ASM添加数据文件失败故障

Thu, 06 Mar 2008 02:22:09 GMT

今天凌晨STANDBY突然出错，导致数据库实例和ASM实例通信的ASMB进程宕掉，无法连接ASM实例，数据库直接宕掉。

Successfully added datafile 430 to media recovery
Datafile #430: '+DATA/test/datafile/ttt.4272.648621851'
Thu Mar 6 04:45:35 2008
Errors in file /u01/oracle/admin/test/bdump/test_asmb_13907.trc:
ORA-04031: unable to allocate 3936 bytes of shared memory ("shared pool","unknown object","sga heap(1,1)","ASM extent pointer array")
Thu Mar 6 04:45:35 2008
ASMB: terminating instance due to error 4031
Instance terminated by ASMB, pid = 13907
MRP0: Background Media Recovery terminated with error 1111

重启数据库以后，发现无法创建主库新添加的数据文件，显然是由于恢复过程中的突然宕机，现在控制文件无法识别新创建的数据文件：

Thu Mar 6 04:55:32 2008
Errors in file /u01/oracle/admin/test/bdump/test_mrp0_31695.trc:
ORA-01111: name for data file 431 is unknown - rename to correct file
ORA-01110: data file 431: '/u01/oracle/product/10g/db/dbs/UNNAMED00431'
ORA-01157: cannot identify/lock data file 431 - see DBWR trace file
ORA-01111: name for data file 431 is unknown - rename to correct file
ORA-01110: data file 431: '/u01/oracle/product/10g/db/dbs/UNNAMED00431'

由于主库和备库都采用ASM做为存储方案，数据文件名在主库和备库上面都会不一样，那么是无法采用常规解决办法进行处理的。

正确的处理办法是首先将standby_file_management从原来的true改为false，然后手工创建出错的数据文件：

alter database create datafile 432 as '+data' size 20g autoextend off;

记住这里面的size和autoextend特性都必须按主库添加数据文件时该文件的参数显式指定的，要不将会添加失败。处理好后记得把standby_file_management改回到true，要不STANDBY数据库添加接下新增的数据文件又会出错。

不顺

Wed, 05 Mar 2008 15:12:17 GMT

从2008的开始到现在一直很不顺，发生很多让自己失望的事情。很多东西你必须承担但是却无能为力，付出了不一定会有回报，结果是最重要的。想明白了一件事：当感到迷茫困惑的时候，不要想得太多，尽力先把手头的事做好。只要自己尽力了就行，结果不是自己所能左右的。

漫漫回家路

Fri, 01 Feb 2008 14:39:06 GMT

今天杭州飘了一整天的茫茫大雪，比起今年的前几场雪要大得多，整天都在下。现在路面的积雪已经有十多厘米厚了，而我将乘座明天上午10点从杭州南站到福州的长途汽车，现在还不知道到底能不能顺利成行。长途车站的电话一整天都在占线，压根不能指望打通。看杭州长运网站的消息，到温州方向的车目前还能正常通行，但愿明天也能够通行，只要温州能走，那么福建的路应该就能走，毕竟福建的天气和和路况都比较好。但愿能够顺利回家！

PUB年会记忆

Tue, 22 Jan 2008 15:42:20 GMT

年会回来已经1个星期多了。我一直在提醒自己应该记录一下年会上发生的一些事情，奈何总是挤不出一整块可以让自己平静思考的时间。从刚回来时的略感失落到现在的平静，时间总会带走许多东西，但是平静的时候正是适合回忆的时候。

1月12号和hotfall、阳光新一代直奔九华山庄报到。今年的报到过程比去年正式多了，有摄影师现场给每一位报到的会员拍照，拍出来的即照即出照片可以让会员自行粘贴上胸牌，胸牌还可以填上ID和其他个人信息。不过我倒是建议主办方应该像其他会议那样把个人信息和ID打印在上面，而不是让参会人员自行填写，打印出来的会显得正式一些。发的礼品也比去年丰厚多了，发了一个笔记本背包，这个可是我去年年会时强烈建议的。虽然质量不算太好，总比没有好。其他礼品还有鼠标和一个耳麦，倒是挺实用的。登记完个人信息领了房卡便去房间了。九华的房间相比去年香山饭店的房间会好一些，有饮水机，有一台可以上网的电脑，虽然显示器是很破的CRT，但是每个房间都可以上网算是不错的。去年年会香山的房间像是迷宫，当时好多人绕来绕去找不到自己所在的房间。不过九华的房间隔音效果太差，我能够很清楚地听到隔壁的说话声。

刚在房间里面放置好东西，便听到门外一长串脚本声，原来是LULU、耗子、HOTFALL、西瓜等一干人直奔阳光MM的房间而去。我也赶紧拿出相机记录下当时的情况，偏偏阳光MM是千呼万唤不出来，弄得门外一帮人干着急，他们纷纷和HOTFALL一起合影起来了。接下便是去楼下餐厅吃晚饭了。在餐厅碰到众多老朋友，也碰到很多尚未谋面的新朋友：伟哥、w39、温妮、甜雨、shahand、情人节、猫鱼、husthxd、ORACLE版块新上任的几位版主等等，ID实在太多人，没法一一记清。晚餐比起去年香山的晚餐菜要丰盛多了，可惜我那段时间正闹肠胃炎，只能草草吃了几个清淡的菜，便拿起相机四处拍照起来了。之所以拍了那么多照片，便是想给年会留下最详实的影像资料。我本来的计划是每一桌每一个人都不放过，可惜太多人不熟了。尤其是很多IX的MM第一晚上都不怎么配合，我只能凑合着拍了几张，只有小尾巴鱼MM因为之前聊过，很配合地摆了POSE照了两张。今年年会相比去年年会，美女的参与量大有增加，去年只有零星的几个MM，今年IX那边有好几个美女出席。1月12号晚餐最哄动的一幕便是V哥的出席，V哥在晚餐开始后大约20分钟戴着一幅墨镜很拉风地来到晚宴现场，大批人立马惊叫起来。众多粉丝纷纷和他合影，我们都在开玩笑说V哥应该把芙蓉姐姐也带过来，那样场面绝对哄动。阳光MM和hotfall也是左牵右傍地拉着V哥的手合影起来。迷人的阳光和hotfall两个MM是年会2天最受欢迎的MM，众多男PUBer一直追随在她们身边。后面的场景基本上都是一些老熟人的互相恶搞，上演不少断背的好戏，我的镜头也是如实地记录下这些场景。晚餐后大家都回到自己房间去。我觉得今年年会另外一个不好的地方便是没有一个显眼的集合地，大家晚餐或者会议后都是各回房间，导致互相交流的时间很少。去年年会香山饭店大厅有一些茶座，大部分PUBer在会议的间歇时间和饭后都聚集在那边聊天，人气很盛。这个主办方明年应该考虑改进。

回到房间后便是整理起晚上拍的照片，然后上传到PUB。那晚上的照片帖是我年会几个照片帖中最有人气的，尽管只有照片没有介绍，很多人还是看得津津有味，不时有人跟帖，后一天晚宴的照片我觉得比第一天晚上的照片可看性强多了，而且很多PUBer我都加了ID标注，人气却是大不如前了。那天晚上深夜九华非常吵，不时地有类似抡锤子的声音传过来，弄得很多人都睡不好。

1月13号上午年会的主论坛会议我基本上是充当记者的角色。在会场里面拿着相机四处拍照，记录了众多年会论坛的场景。在年会主论坛，边拍照，又边和众多新老朋友会面打招呼。见到了冰冰凉和她的美女同事，可惜当时还不大熟，给她们拍照的时候都歪过头去。在IX的两位美女面前想拍张照片，结果相机参数没设置好，闪光灯一直闪愣是没拍成，后面一大帮人在起哄大笑，我只好草草地拍了张。由于拿着相机四处拍照，很多以前没见过我的朋友还把我当成是主办方请的记者，不过记者穿着件花花的毛衣是有些不伦不类的，后面老虎给了我比较官方的称呼——狗仔队。

1月13号下午我参加了年会的数据库分论坛，是由eygle主持的。eygle先是介绍了众多来参加分论坛的PUB上的熟人，然后便是宣布分论坛的开始。数据库分论坛先是Sybase中国区的CTO卢东明做了一下Sybase IQ的演讲，接下的提问交流大家都很踊跃，对于Sybase IQ的技术特性等内容进行具体发问。可能是卢先生比较少接触具体的技术了，很多技术细节他回答得并不能让提问者满意。不过他的演讲和介绍确实是不错，让大家对Sybase IQ有了更清晰的认识，也知道基于列存储压缩的Sybase IQ独特强大的特性。接下是biti_rainy的演讲，eygle在介绍BITI的时候用了句时下流行的网络语言：“很邪恶、很强大”，据说这是前天晚上他们斗地主大赛的口头禅。V哥听完这话马上跟了句“很黄很暴力”，满座哄堂大笑。BITI的演讲非常有激情，身患感冒的他穿着大衣站着台上，不用话筒，不用PPT就直接开讲。目前已经转型为技术管理者的他已经不再讲述具体技术细节了，而是从宏观上讲解如何搭建高可用数据库架构、如何提升数据库在企业IT应用中的价值而不仅仅是存放数据的黑盒子、如何协调开发部门和DBA部门的沟通、如何区分不同DBA岗位的职责等内容。后面的QA环节还是一如既往地活跃，关于turner问的如何提高DBA在企业中的影响力、DBA如何更好地协调推动项目工作等，BITI根据自己的经验做了精彩的回答。他的意思是在发现问题时先找出改进办法和建议，找到相关的负责人员，提出建议并进行修改，修改后如果有改观的话把修改前后的数据库指标数字用趋势图表现出来，然后对开发人员进行表扬。尽管可能这些具体技术指标可能对方并不能看明白，但是趋势图可以一目了然地反应更改前后的变化，看到这样的更改有成效，那么开发部门就会有成就感，以后他们在听取你的意见建议的时候就很乐意地配合你工作，这样慢慢DBA就会扩大自己的影响力。由于提问交流气氛很活跃，主持人eygle为了控制整体的时间进度，不得不控制会员提问问题的数目。最后一部分的演讲是IBM的刘晶炜介绍XML数据库的发展。后面我还串桌到其他分论坛拍了些照片。

1月13号晚上的颁奖晚宴将本次年会推向高潮。颁奖晚宴先是IT168的高层和老虎致辞，然后便是大家开吃起来。我的肚子还没好，主要任务还是拍照。两天下来，大部分人都比较熟悉了，于是很多人都互相串桌敬酒交流。接下来便是给年度各个奖项颁奖。老牛是年会颁奖的大赢家，领了好几个奖项，奖品多得都搬不动，我也恶作剧地上去把他的奖品笔记本电脑给搬走了。晚宴结束后便回房间了，和d.c.b.a、piner等人打了一小会牌。后面piner的书需要搬一部分到贝贝家寄存出售，贝贝和我们几个同事一起打着车把一大堆书弄到她家。幸好贝贝的家离九华不算太远，把书弄好回九华后就睡觉去了。

1月14号早上不到6点就起床了，因为要赶到机场坐飞机。到大厅退房时，贝贝和IT168的工作人员已经守候在那边了。这次年会IT168的工作人员非常敬业和辛苦，他们起早摸黑，在寒风中接送参会的会员，处理年会过程中诸多的会务，组织安排这么大规模的年会……今年的年会比起去年香山的年会组织要改进许多，应该感谢IT168众多工作人员的辛苦工作！从九华到机场除了我们几个杭州的同事，还有就是husthxd、Franks和600同学。从九华离开的时候天还是全黑的，我们在灯火中告别北京。