あけましておめでとうございます。
Happy New Year!
昨年は激動の年でしたけど、今年は無事に終わると良いですね。
今年の目標はカーネルドライバを片手間で作成できるようになる！
と全部のPCに10GbEのiSCSI専用線を配置する！
あたりですかね。たぶん面倒なのはMini-ITXなマシンでしょうね。
Mini-ITXはオンボードで10GbEかデュアル1GbE実装がないと結構敷居が高い。
昨年中にiSCSIホストと仮想化ホスト(ESXi正副とWS/Hyper-V2)には装着しました。
では、またのんびり進行ですがよろしくお願いします。
直接の原因は月次バックアップを作成中に足らなくなった為のようです。
基本的にVMローカルにZFSスナップショットを取って一時圧縮を行ってから、
まとめてscpかNFSでバックアップ領域に転送しています。
が、このまとめ作業の途中で不足していました。
とりあえず、プール容量増やした方がいいね。
ESXi5をUSBメモリにCDから新規インストールすると、
GPTパーティションが作成されてインストールされますが、
これは110Geでは起動できませんでした。
そこで、ESXi4.1の入ったUSBメモリをForce Migrateを選びアップグレードした所、
起動できるUSBメモリが出来ました。
※4.1のメモリを持っていない人は仮インストールすれば良いと思います。
参考までに、FreeBSDでUSBメモリを参照すると以下のようになっていました。
ESXi5を新規インストール:
[root@jupiter /home/aoyama]# ls /dev/da0*
/dev/da0 /dev/da0p1 /dev/da0p5 /dev/da0p6
/dev/da0p7 /dev/da0p8
[root@jupiter /home/aoyama]# gpart show da0
=> 34 3797693 da0 GPT (1.8G)
34 30 - free - (15K)
64 8128 1 efi (4.0M)
8192 32 - free - (16K)
8224 511968 5 linux-data (250M)
520192 32 - free - (16K)
520224 511968 6 linux-data (250M)
1032192 32 - free - (16K)
1032224 225248 7 !9d275380-40ad-11db-bf97-000c2911d1b8 (110M)
1257472 32 - free - (16K)
1257504 585696 8 linux-data (286M)
1843200 1954527 - free - (954M)ESXi4.1をForce Migrate:
[root@jupiter /home/aoyama]# ls /dev/da0*
/dev/da0 /dev/da0s4 /dev/da0s6 /dev/da0s8
/dev/da0s1 /dev/da0s5 /dev/da0s7
[root@jupiter /home/aoyama]# gpart show da0
=> 63 3797640 da0 MBR (1.8G)
63 8129 - free - (4.0M)
8192 1835008 1 !5 (896M)
1843200 1954503 - free - (954M)S70PJのおかげで、ESXi5のおもちゃが出来たので、
さっそく10Gbpsのテストをしてみる。
iSCSIターゲット側 (FreeBSD 8-STABLE)
AMD Phenom II X6 1065T (2.9GHz/6core) + Memory 16GB
Intel Ethernet Server Adapter X520-DA2 (Dual SFP+/82599)
Intel Gigabit ET Dual Port Server Adapter (82576)
ESXi5サーバ側 (ESXi 5.0.0, 474610)
Intel Pentium G6950 (2.8GHz/2core) + Memory 16GB
Qlogic QLE8152 (Dual SFP+/10Gbps CNA)
Intel Gigabit ET Dual Port Server Adapter (82576)
どうみてもシーケンシャル書き込みが遅い。。。＜iSCSIターゲットがしょぼい？
QD32の4KリードはESXi5側でCPU使用率96%以上のほぼ限界。
176MB/s(43023IOPS)
ターゲット側のCPU使用率からするとシーケンシャルリードは
2倍の600MB/sぐらいは出せそうなんだけど。
書き込みが遅いのはZFSのチューニングも必要そう。
10ギガビットのデータストア
※追記
↓パケット処理以外の部分で重い処理があるので、改良しています。
http://shell.peach.ne.jp/aoyama/archives/1698
↓10ギガビット環境を甘く見てた・・・。
参考用ギガビットイーサ1本
vSwitchとポートバインドの使い方がよくわからない
（クリックで拡大）
もうパッチが出ているようなので、さくっと適用します。
基本はドライバインストールと変わりません。
http://www.vmware.com/patchmgr/download.portal
ここから ESXi 5.0.0 を選んで、「Search」ボタンをクリックします。
「ESXi500-201109001」と言うのがあるので、ESXi500-201109001.zipを
ダウンロードします。
サイズが大きいので適当なデータストアにZIPファイルのままアップロードします。
コマンドラインからインストールします。この時にファイルは/vmfsから必ず
完全パスを指定します。
(以下の例はデータストア名が “ESX5 Data” の場合)
# esxcli software vib install -d /vmfs/volumes/ESX5\ Data/ESXi500-201109001.zip
起動領域に転送されるので、USBメモリの場合はそれなりに時間かかります。
数分間待っていると、
Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
みたいなのが出て終わります。
ESXiサーバを再起動すると、5.0.0, 469512 から 5.0.0, 474610 に変わります。
デバイスとして認識するのにデータストアとして認識されない場合は、
スナップショットLUNとして識別されている可能性があります。
/var/log/vmkernel.log にはこんな感じで出ています。
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8445: Device t10.FreeBSD_iSCSI_DISK______10000001________________________:1 detected to be a snapshot:
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8452: queried disk ID: <type 2, len 14, lun 0, devType 0, scsi 0, h(id) 17351408149820670746>
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8459: on-disk disk ID: <type 2, len 14, lun 3, devType 0, scsi 0, h(id) 16645779391740574531>
vSphere ClientのイベントタブでもLVMに関するイベントが参照できます。
こんな場合は「構成」->「ストレージ」 -> 「ストレージの追加」で
ディスク/LUNを選択すると、VMFSラベルが参照できるので、必要なLUNを選び、
「既存の署名を保持」を選択します。
しばらく待つと、ちゃんとデータストアに出てくるようになります。
（クリックで拡大）
追記：
GUIから操作できない場合は、SSHでログインして、
esxcfg-volume -l
でVMFS UUIDを表示して、
esxcfg-volume -M “49d22e2e-996a0dea-b555-001f2960aed8″
みたいな感じでマウントします。
↓ベースの本体はこれ
http://nttxstore.jp/_II_P813678778
↓10Gbps CNA 拡張カード
http://www.qlogic.com/Resources/Documents/DataSheets/Adapters/QLE8152_Datasheet.pdf
※追記 リンク切れた模様
http://www.qlogic.com/Resources/Documents/DataSheets/Adapters/Data_Sheet_8100_Series_Adapters.pdf
そのままでは認識しないみたいなので、ドライバインストールが必要です。
http://downloads.vmware.com/d/info/datacenter_cloud_infrastructure/vmware_vsphere/5_0#drivers_tools
ここから、VMware ESXi 5.0 Driver for QLogic 10 Gigabit Ethernet Adapter を落としてきます。
ZIPを解凍すると、net-qlge-1.0.0.47-1vmw.500.0.0.406165.x86_64.vib
が出てくるので、SSHを有効にしたESXi5サーバにSCPで転送します。
# esxcli software vib install -v /tmp/net-qlge-1.0.0.47-1vmw.500.0.0.406165.x86_64.vib
こんな感じでVIBをインストールします。
ESXi5サーバを再起動するとネットワークデバイスとして認識されます。
（クリックで拡大）
今年も良い年になるといいですね！
引き続き、仮想化とiSCSIをメインにしていきますが、
IPv6 only環境の整備も進める予定です。
では、のんびり進行ですがよろしくお願いします。
寝ようと思ったら流れていたので起動だけしてみた。
http://www.seil.jp/product/lineup/seilx-86/
↓ダウンロードはこっちから。
http://www.seil.jp/download/seil-x86/
試用期間は 2010/12/01 から 2011/04/01 まで。
ESXiで起動してみる～
アーカイブを展開すると、
seilx86.vmdk
seilx86.vmx
が出てくるので、ESXiのデータストアにアップロードして、
seilx86.vmxを右クリックで「インベントリへの追加」で追加します。
仮想マシンの編集で、添付のネットワークアダプタを全部削除。
新規にアダプタを追加します。（タイプはフレキシブルかE1000で）
起動すると、ほげほげ～っとログ流れてログインになる。
admin か user で入れるらしい。（詳細はマニュアル参照のこと）
デフォルトのIPは 192.168.0.1/24 になっているので調整する。
↓こんな感じでsshを有効にする。
# interface lan0 add 192.168.2.8/24
# sshd enable
↓sshで繋がるようになったらデフォルトIPを消す。
# interface lan0 delete 192.168.0.1/24
↓設定を保存して、再起動。
# save-to flashrom
# reboot
※再起動の確認は[y/N]だった。てっきりｒｙ
あとはお好きにどうぞ。httpが最初から有効みたいだからアクセスするとこんな感じ。
