環境さんぷる » ESXi

NEC Express5800/110Ge で ESXi5 を使う

aoyama — Sun, 16 Oct 2011 15:48:40 +0000

ESXi5をUSBメモリにCDから新規インストールすると、
GPTパーティションが作成されてインストールされますが、
これは110Geでは起動できませんでした。

そこで、ESXi4.1の入ったUSBメモリをForce Migrateを選びアップグレードした所、
起動できるUSBメモリが出来ました。

※4.1のメモリを持っていない人は仮インストールすれば良いと思います。

参考までに、FreeBSDでUSBメモリを参照すると以下のようになっていました。

ESXi5を新規インストール:

[root@jupiter /home/aoyama]# ls /dev/da0*
/dev/da0        /dev/da0p1      /dev/da0p5      /dev/da0p6
/dev/da0p7      /dev/da0p8
[root@jupiter /home/aoyama]# gpart show da0
=>     34  3797693  da0  GPT  (1.8G)
       34       30       - free -  (15K)
       64     8128    1  efi  (4.0M)
     8192       32       - free -  (16K)
     8224   511968    5  linux-data  (250M)
   520192       32       - free -  (16K)
   520224   511968    6  linux-data  (250M)
  1032192       32       - free -  (16K)
  1032224   225248    7  !9d275380-40ad-11db-bf97-000c2911d1b8  (110M)
  1257472       32       - free -  (16K)
  1257504   585696    8  linux-data  (286M)
  1843200  1954527       - free -  (954M)

ESXi4.1をForce Migrate:

[root@jupiter /home/aoyama]# ls /dev/da0*
/dev/da0        /dev/da0s4      /dev/da0s6      /dev/da0s8
/dev/da0s1      /dev/da0s5      /dev/da0s7
[root@jupiter /home/aoyama]# gpart show da0
=>     63  3797640  da0  MBR  (1.8G)
       63     8129       - free -  (4.0M)
     8192  1835008    1  !5  (896M)
  1843200  1954503       - free -  (954M)

インストール＆パッチ後の状態

（クリックで拡大）

10ギガビットのデータストアの為にiSCSIの処理を高速化してみる

aoyama — Sat, 24 Sep 2011 19:29:41 +0000

状態チェックでmutexによるロックであったのを廃止して、
アトミック処理に変更などいろいろ調査中です。

現在のESXi5テスト環境で以下のようなパフォーマンスです。
リードはあまり変わらず。ライトは劇的に改善。
当初の予想とは反対にライトが600MB/sを超えてます。

さらに高速化。800MB/s超えちゃった。リードもだいぶ改善された。

※追記
いろいろ試した結果、こんな感じに落ち着きました。今回は4000MBも計測しました。
ZFS RAIDZ2(RAID6相当、2TBx7)な領域にエクステントを置いてあります。

（クリックで拡大）

ESXi5で10Gbpsのデータストアを作ってCDMしてみる

aoyama — Sat, 17 Sep 2011 00:59:56 +0000

S70PJのおかげで、ESXi5のおもちゃが出来たので、
さっそく10Gbpsのテストをしてみる。

iSCSIターゲット側 (FreeBSD 8-STABLE)
AMD Phenom II X6 1065T (2.9GHz/6core) + Memory 16GB
Intel Ethernet Server Adapter X520-DA2 (Dual SFP+/82599)
Intel Gigabit ET Dual Port Server Adapter (82576)

ESXi5サーバ側 (ESXi 5.0.0, 474610)
Intel Pentium G6950 (2.8GHz/2core) + Memory 16GB
Qlogic QLE8152 (Dual SFP+/10Gbps CNA)
Intel Gigabit ET Dual Port Server Adapter (82576)

どうみてもシーケンシャル書き込みが遅い。。。＜iSCSIターゲットがしょぼい？
QD32の4KリードはESXi5側でCPU使用率96%以上のほぼ限界。
176MB/s(43023IOPS)
ターゲット側のCPU使用率からするとシーケンシャルリードは
2倍の600MB/sぐらいは出せそうなんだけど。
書き込みが遅いのはZFSのチューニングも必要そう。

10ギガビットのデータストア

※追記
↓パケット処理以外の部分で重い処理があるので、改良しています。
http://shell.peach.ne.jp/aoyama/archives/1698

↓10ギガビット環境を甘く見てた・・・。

参考用ギガビットイーサ1本

vSwitchとポートバインドの使い方がよくわからない

（クリックで拡大）

ESXi5 にパッチ(ESXi500-201109001.zip)を適用する

aoyama — Thu, 15 Sep 2011 17:10:42 +0000

もうパッチが出ているようなので、さくっと適用します。
基本はドライバインストールと変わりません。

http://www.vmware.com/patchmgr/download.portal

ここから ESXi 5.0.0 を選んで、「Search」ボタンをクリックします。
「ESXi500-201109001」と言うのがあるので、ESXi500-201109001.zipを
ダウンロードします。
サイズが大きいので適当なデータストアにZIPファイルのままアップロードします。
コマンドラインからインストールします。この時にファイルは/vmfsから必ず
完全パスを指定します。
(以下の例はデータストア名が “ESX5 Data” の場合)

# esxcli software vib install -d /vmfs/volumes/ESX5\ Data/ESXi500-201109001.zip

起動領域に転送されるので、USBメモリの場合はそれなりに時間かかります。
数分間待っていると、

Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true

みたいなのが出て終わります。
ESXiサーバを再起動すると、5.0.0, 469512 から 5.0.0, 474610 に変わります。

ESXiで既存LUNがデータストアとして認識されない場合

aoyama — Sun, 11 Sep 2011 13:16:25 +0000

デバイスとして認識するのにデータストアとして認識されない場合は、
スナップショットLUNとして識別されている可能性があります。
/var/log/vmkernel.log にはこんな感じで出ています。
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8445: Device t10.FreeBSD_iSCSI_DISK______10000001________________________:1 detected to be a snapshot:
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8452: queried disk ID:
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8459: on-disk disk ID:

vSphere ClientのイベントタブでもLVMに関するイベントが参照できます。

こんな場合は「構成」->「ストレージ」 -> 「ストレージの追加」で
ディスク/LUNを選択すると、VMFSラベルが参照できるので、必要なLUNを選び、
「既存の署名を保持」を選択します。

しばらく待つと、ちゃんとデータストアに出てくるようになります。

（クリックで拡大）

追記：
GUIから操作できない場合は、SSHでログインして、

esxcfg-volume -l

でVMFS UUIDを表示して、

esxcfg-volume -M “49d22e2e-996a0dea-b555-001f2960aed8″

みたいな感じでマウントします。

NEC Express 5800/S70 タイプPJ に Qlogic QLE8152(10Gbps CNA) を付けてESXi5で使う(ドライバインストール)

aoyama — Sun, 11 Sep 2011 11:11:00 +0000

↓ベースの本体はこれ
http://nttxstore.jp/_II_P813678778
↓10Gbps CNA 拡張カード
http://www.qlogic.com/Resources/Documents/DataSheets/Adapters/QLE8152_Datasheet.pdf

※追記リンク切れた模様
http://www.qlogic.com/Resources/Documents/DataSheets/Adapters/Data_Sheet_8100_Series_Adapters.pdf

そのままでは認識しないみたいなので、ドライバインストールが必要です。

http://downloads.vmware.com/d/info/datacenter_cloud_infrastructure/vmware_vsphere/5_0#drivers_tools

ここから、VMware ESXi 5.0 Driver for QLogic 10 Gigabit Ethernet Adapter を落としてきます。

ZIPを解凍すると、net-qlge-1.0.0.47-1vmw.500.0.0.406165.x86_64.vib
が出てくるので、SSHを有効にしたESXi5サーバにSCPで転送します。

# esxcli software vib install -v /tmp/net-qlge-1.0.0.47-1vmw.500.0.0.406165.x86_64.vib

こんな感じでVIBをインストールします。
ESXi5サーバを再起動するとネットワークデバイスとして認識されます。

（クリックで拡大）

ESXi5とistgt-20110717版までは接続できません

aoyama — Thu, 01 Sep 2011 15:18:28 +0000

ESXi5対応に関しての追記：

8系最新版 (8r7520以降で対応) 8.0.1はRC2かリリースで対応
https://sourceforge.net/projects/freenas/files/FreeNAS-8-nightly/

7系安定版 (0.7.2.7529以降で対応)
https://sourceforge.net/projects/freenas/files/FreeNAS-7-Stable/

7S版 (7S-7529以降で対応)
http://shell.peach.ne.jp/aoyama/archives/1618

各自の環境に合わせてアップデートを行ってください。
設定ファイルなどのバックアップは忘れずに！

ESXi5対応に関しての追記ここまで：

理由は2個あって、

１. iSCSIプロトコルの接続の仕方がまずかった
２. SCSIエミュレーション部分に未実装コマンドがあった

なので、設定をいじってどうこう出来るレベルではないです。
現在修正版をテストしていて、問題がなければ週末にもリリースする予定です。

FreeNASについては7S版はリリース当日または翌日を予定、8系は8.0.1の
リリースに同梱される予定です。RC1には間に合わなかった（無念
7系公式安定版については落ち着いてから検討する予定です。

お手数ですがソフトのアップグレードを行うようにお願いします。

以下にESXi5のデータストアの画像をアップしておきます。設定は

QueueDepth 32
LUN0 Storage /tank/iscsi/istgt-disk1.0 16TB

でRAIDZ2から16TBを切り出して、VMFS5でフォーマットしてあります。
さらにWindows7 64bit版をインストールしてCDMでベンチしてます。

（クリックで拡大）

ESXi4.1U1にアップデートして10ギガビットでESXiサーバ同士を接続してみた。

aoyama — Thu, 17 Feb 2011 17:33:39 +0000

istgtが期待通りの振る舞いをしていない事が発覚したので、
ちょこっと修正したものをテスト中です。
週末にパッケージングしてアップする予定です。

ESXi4.1U1を二台用意してその間をデュアルポート10ギガビットの一本を使って
直接接続します。↓こんな感じになってます。

反対側のマシンにあるWindowsでアクセスすると↓こんな感じに。

（クリックで拡大）

画像から分かる通りFreeNAS上のistgtを差し替えて試しています。
VM同士でもistgtがそれなりに動いているぽい。
と言うかこれだけあると物理マシンの意味が…。

ディスク障害により巻き戻りが発生しました

aoyama — Sun, 14 Nov 2010 07:39:19 +0000

ディスク故障＞スナップショット破損＞リストア失敗

というコンボ食らいました。とりあえず最新のバックアップアーカイブから
リストアできないので10月1日分のバックアップから新規展開したVMを起動させています。
ディスクイメージコピー速度が8MB/s程度しかでない為、これから旧データが復旧できないか調査します。

教訓：一度にいろんなことを同時にやるべきじゃない。

最新版へのリンクだけおいておきます。

更新＞FreeNAS 0.7.2 5740版

7S-FreeNAS-i386-LiveCD-0.7.2.5547.iso
修正版をご利用ください。

7S-FreeNAS-amd64-LiveCD-0.7.2.5547.iso
修正版をご利用ください。

VirtualBox 3.2.10 OSE for FreeNAS 0.7(バイナリパッケージ)

ESXi4.0のドライバを作成してみる(VIA VT6130/VT6122編)

aoyama — Sun, 27 Dec 2009 13:41:00 +0000

ころがってたVT6130チップ搭載のNICをESXi4.0U1で使ってみる。

玄人志向 GbE-PCIe2(PCIe x1)
http://www.kuroutoshikou.com/modules/display/?iid=1066

作成手順などはRealtek8169のドライバ作成と同じです。
英語を読めない人がドライバを作成できるとは思えないので、
海外のサイトいけば事例があるので手順はあえて書きません。
ドライバソースは2.6.23.17を利用しました。
VIAのGbE汎用ぽいので未確認ですがVT6122などでも使えるかも？
2GBメモリのマシンで確認したので4GB以上のるとダメかも？

VIA VT6130/VT6122用ESXi4.0U1モジュール(バイナリ): oem-vt6130.tgz

oem.tgzにリネームして/bootbankにコピーするなり、
独自のoem.tgzに組み込むなりしてください。

使ってみた感想は・・・あんまり早くないｗ
とりあえずネットにつないだりとかはできるけど、
iSCSIとかNFSとかストレージ用には使えなさそう。

というか、このチップはPCIeの帯域が必要なほど早いの？？
32ビットPCIでも十分そうな速度だ。

追記：

以下のVT6122搭載カードでも試してみました。使えるけどさらに遅い。

玄人志向 GbE-PCI2(32bitPCI)
http://kuroutoshikou.com/modules/display/?iid=216

追記：
ソースファイルの差分をあげておきます。
VIA VT6130/VT6122用ESXi4.0U1モジュール(ソース差分): src-vt6130.tar.gz

追記：
ESXi4.1にアップグレードした環境でも稼働できます。

物理ディスクをiSCSIターゲットに利用した場合の転送速度(参考用)

aoyama — Wed, 23 Dec 2009 12:21:07 +0000

FreeNASには7S-amd64版にアップデータを適用したものを利用しました。

7S-FreeNAS-amd64-LiveCD-0.7.1.4947.iso

FreeNAS 0.7用 iSCSIターゲット(istgt)アップデータ 20091222版

FreeNASのチューンは以下の３点です。

ZFSテスト用の/cf/boot/loader.confの追加設定

vm.kmem_size="3072M"
vfs.zfs.arc_min="1024M"
vfs.zfs.arc_max="1024M"

System|Advanced の Enable tuning of some kernel variables のチェック

System|Advanced|sysctl.confの値修正

net.inet.tcp.recvspace 393216
net.inet.tcp.sendspace 393216

テスト環境の主要構成パーツは以下の通りです。

FreeNAS 7S-amd64(4947):
M/B: ASUS M2A-VM (AMD 690G + SB600)
Mem: DDR2-800(PC6400) 2GB x 2
CPU: AMD X2 5200+ (2.7GHz, 2core)
Net: onboard Realtek 8111 (LAN management)
NIC: Intel PRO/1000 PT Server Adapter (OPT1 for iSCSI primary)
NIC: Intel PRO/1000 PT Server Adapter (OPT2 for iSCSI secondary)
HDD: Maxtor 4K080H4 (U100/80GB) (/mnt/data)
HDD: Western Digital WD5000AAKS (SATAII/500GB) (/dev/ad4)

ESXi4.0 Host:
M/B: MSI K9NGM3-FIH (nVidia GeForce7050PV + nForce 630a)
CPU: AMD X2 BE-2400 (2.4GHz, 2core)
Mem: DDR2-800(PC6400) 2GB x 2
Net: onboard nForce integrated (VMKernel for iSCSI primary)
NIC: Realtek 8169S (32bitPCI) (VM Network for LAN management)
USB: SILICON POWER Ultima II I-Series 2GB (ESXi boot device)
iSCSI: 120GB on FreeBSD 7.2 + UFS (temporary, iso images, etc)
iSCSI: 465GB on FreeNAS (/dev/ad4)

WS2008R2 Hyper-V Host:
M/B: GIGABYTE GA-G33-DS3R (Intel G33 + ICH9R)
CPU: Intel C2Q Q6600 (2.4GHz, 4core)
Mem: DDR2-800(PC6400) 2GB x 4
Net: onboard Realtek 8111 (for iSCSI secondary)
NIC: Intel PRO/1000 PT Desktop Adapter (for iSCSI primary)
NIC: Realtek 8169S (32bitPCI) (LAN management)
HDD: Western Digital WD5000ABYS (SATAII/500GB) (boot device)
iSCSI: 180GB on FreeBSD 7.1 + ZFS RAIDZ2 (main storage, VHD)
iSCSI: 120GB on FreeBSD 7.2 + UFS (backup, iso images, etc)

FreeNAS shell 上でのディスク情報

freenas:/mnt# diskinfo -t ad4
ad4
        512             # sectorsize
        500107862016    # mediasize in bytes (466G)
        976773168       # mediasize in sectors
        969021          # Cylinders according to firmware.
        16              # Heads according to firmware.
        63              # Sectors according to firmware.
        ad:WD-WCAPW3808248      # Disk ident.

Seek times:
        Full stroke:      250 iter in   8.933453 sec =   35.734 msec
        Half stroke:      250 iter in   5.990421 sec =   23.962 msec
        Quarter stroke:   500 iter in   9.154314 sec =   18.309 msec
        Short forward:    400 iter in   2.128259 sec =    5.321 msec
        Short backward:   400 iter in   2.014236 sec =    5.036 msec
        Seq outer:       2048 iter in   0.330524 sec =    0.161 msec
        Seq inner:       2048 iter in   0.330175 sec =    0.161 msec
Transfer rates:
        outside:       102400 kbytes in   1.222357 sec =    83773 kbytes/sec
        middle:        102400 kbytes in   1.394441 sec =    73434 kbytes/sec
        inside:        102400 kbytes in   2.501426 sec =    40937 kbytes/sec

FreeNAS -> WS2008R2 Host (direct)

FreeNAS -> ESXi4.0 VMFS -> WS2008R2 Guest

ESXiゲストでCrystalDiskMark 3.0beta2を実行した時のFreeNAS負荷

FreeNASの設定など各種


（クリックで拡大） (click to see large image)

ESXi上で実行した場合はおよそ、

Seq.Read 72MB/s CPU load 10%
Seq.Write 52MB/s CPU load 25%

ぐらいが期待できるようです。