‘ESXi’ タグのついている投稿

NEC Express5800/110Ge で ESXi5 を使う

2011年10月17日 月曜日

ESXi5をUSBメモリにCDから新規インストールすると、
GPTパーティションが作成されてインストールされますが、
これは110Geでは起動できませんでした。

そこで、ESXi4.1の入ったUSBメモリをForce Migrateを選びアップグレードした所、
起動できるUSBメモリが出来ました。

※4.1のメモリを持っていない人は仮インストールすれば良いと思います。

参考までに、FreeBSDでUSBメモリを参照すると以下のようになっていました。

ESXi5を新規インストール:

[root@jupiter /home/aoyama]# ls /dev/da0*
/dev/da0        /dev/da0p1      /dev/da0p5      /dev/da0p6
/dev/da0p7      /dev/da0p8
[root@jupiter /home/aoyama]# gpart show da0
=>     34  3797693  da0  GPT  (1.8G)
       34       30       - free -  (15K)
       64     8128    1  efi  (4.0M)
     8192       32       - free -  (16K)
     8224   511968    5  linux-data  (250M)
   520192       32       - free -  (16K)
   520224   511968    6  linux-data  (250M)
  1032192       32       - free -  (16K)
  1032224   225248    7  !9d275380-40ad-11db-bf97-000c2911d1b8  (110M)
  1257472       32       - free -  (16K)
  1257504   585696    8  linux-data  (286M)
  1843200  1954527       - free -  (954M)

ESXi4.1をForce Migrate:

[root@jupiter /home/aoyama]# ls /dev/da0*
/dev/da0        /dev/da0s4      /dev/da0s6      /dev/da0s8
/dev/da0s1      /dev/da0s5      /dev/da0s7
[root@jupiter /home/aoyama]# gpart show da0
=>     63  3797640  da0  MBR  (1.8G)
       63     8129       - free -  (4.0M)
     8192  1835008    1  !5  (896M)
  1843200  1954503       - free -  (954M)

インストール&パッチ後の状態

(クリックで拡大)

10ギガビットのデータストアの為にiSCSIの処理を高速化してみる

2011年9月25日 日曜日

状態チェックでmutexによるロックであったのを廃止して、
アトミック処理に変更などいろいろ調査中です。

現在のESXi5テスト環境で以下のようなパフォーマンスです。
リードはあまり変わらず。ライトは劇的に改善。
当初の予想とは反対にライトが600MB/sを超えてます。

さらに高速化。800MB/s超えちゃった。リードもだいぶ改善された。

※追記
いろいろ試した結果、こんな感じに落ち着きました。今回は4000MBも計測しました。
ZFS RAIDZ2(RAID6相当、2TBx7)な領域にエクステントを置いてあります。


(クリックで拡大)

ESXi5で10Gbpsのデータストアを作ってCDMしてみる

2011年9月17日 土曜日

S70PJのおかげで、ESXi5のおもちゃが出来たので、
さっそく10Gbpsのテストをしてみる。

iSCSIターゲット側 (FreeBSD 8-STABLE)
AMD Phenom II X6 1065T (2.9GHz/6core) + Memory 16GB
Intel Ethernet Server Adapter X520-DA2 (Dual SFP+/82599)
Intel Gigabit ET Dual Port Server Adapter (82576)

ESXi5サーバ側 (ESXi 5.0.0, 474610)
Intel Pentium G6950 (2.8GHz/2core) + Memory 16GB
Qlogic QLE8152 (Dual SFP+/10Gbps CNA)
Intel Gigabit ET Dual Port Server Adapter (82576)

どうみてもシーケンシャル書き込みが遅い。。。<iSCSIターゲットがしょぼい?
QD32の4KリードはESXi5側でCPU使用率96%以上のほぼ限界。
176MB/s(43023IOPS)
ターゲット側のCPU使用率からするとシーケンシャルリードは
2倍の600MB/sぐらいは出せそうなんだけど。
書き込みが遅いのはZFSのチューニングも必要そう。

10ギガビットのデータストア

※追記
↓パケット処理以外の部分で重い処理があるので、改良しています。
http://shell.peach.ne.jp/aoyama/archives/1698

↓10ギガビット環境を甘く見てた・・・。

参考用ギガビットイーサ1本

vSwitchとポートバインドの使い方がよくわからない


(クリックで拡大)

ESXi5 にパッチ(ESXi500-201109001.zip)を適用する

2011年9月16日 金曜日

もうパッチが出ているようなので、さくっと適用します。
基本はドライバインストールと変わりません。

http://www.vmware.com/patchmgr/download.portal

ここから ESXi 5.0.0 を選んで、「Search」ボタンをクリックします。
「ESXi500-201109001」と言うのがあるので、ESXi500-201109001.zipを
ダウンロードします。
サイズが大きいので適当なデータストアにZIPファイルのままアップロードします。
コマンドラインからインストールします。この時にファイルは/vmfsから必ず
完全パスを指定します。
(以下の例はデータストア名が “ESX5 Data” の場合)

# esxcli software vib install -d /vmfs/volumes/ESX5\ Data/ESXi500-201109001.zip

起動領域に転送されるので、USBメモリの場合はそれなりに時間かかります。
数分間待っていると、

Installation Result
   Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
   Reboot Required: true

みたいなのが出て終わります。
ESXiサーバを再起動すると、5.0.0, 469512 から 5.0.0, 474610 に変わります。

ESXiで既存LUNがデータストアとして認識されない場合

2011年9月11日 日曜日

デバイスとして認識するのにデータストアとして認識されない場合は、
スナップショットLUNとして識別されている可能性があります。
/var/log/vmkernel.log にはこんな感じで出ています。
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8445: Device t10.FreeBSD_iSCSI_DISK______10000001________________________:1 detected to be a snapshot:
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8452:   queried disk ID: <type 2, len 14, lun 0, devType 0, scsi 0, h(id) 17351408149820670746>
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8459:   on-disk disk ID: <type 2, len 14, lun 3, devType 0, scsi 0, h(id) 16645779391740574531>

vSphere ClientのイベントタブでもLVMに関するイベントが参照できます。

こんな場合は「構成」->「ストレージ」 -> 「ストレージの追加」で
ディスク/LUNを選択すると、VMFSラベルが参照できるので、必要なLUNを選び、
「既存の署名を保持」を選択します。

しばらく待つと、ちゃんとデータストアに出てくるようになります。


(クリックで拡大)

追記:
GUIから操作できない場合は、SSHでログインして、

esxcfg-volume -l

でVMFS UUIDを表示して、

esxcfg-volume -M “49d22e2e-996a0dea-b555-001f2960aed8″

みたいな感じでマウントします。

NEC Express 5800/S70 タイプPJ に Qlogic QLE8152(10Gbps CNA) を付けてESXi5で使う(ドライバインストール)

2011年9月11日 日曜日

↓ベースの本体はこれ
http://nttxstore.jp/_II_P813678778
↓10Gbps CNA 拡張カード
http://www.qlogic.com/Resources/Documents/DataSheets/Adapters/QLE8152_Datasheet.pdf

※追記 リンク切れた模様
http://www.qlogic.com/Resources/Documents/DataSheets/Adapters/Data_Sheet_8100_Series_Adapters.pdf

そのままでは認識しないみたいなので、ドライバインストールが必要です。

http://downloads.vmware.com/d/info/datacenter_cloud_infrastructure/vmware_vsphere/5_0#drivers_tools

ここから、VMware ESXi 5.0 Driver for QLogic 10 Gigabit Ethernet Adapter を落としてきます。

ZIPを解凍すると、net-qlge-1.0.0.47-1vmw.500.0.0.406165.x86_64.vib
が出てくるので、SSHを有効にしたESXi5サーバにSCPで転送します。

# esxcli software vib install -v /tmp/net-qlge-1.0.0.47-1vmw.500.0.0.406165.x86_64.vib

こんな感じでVIBをインストールします。
ESXi5サーバを再起動するとネットワークデバイスとして認識されます。


(クリックで拡大)

ESXi5とistgt-20110717版までは接続できません

2011年9月2日 金曜日

ESXi5対応に関しての追記:

8系最新版 (8r7520以降で対応) 8.0.1はRC2かリリースで対応
https://sourceforge.net/projects/freenas/files/FreeNAS-8-nightly/

7系安定版 (0.7.2.7529以降で対応)
https://sourceforge.net/projects/freenas/files/FreeNAS-7-Stable/

7S版 (7S-7529以降で対応)
http://shell.peach.ne.jp/aoyama/archives/1618

各自の環境に合わせてアップデートを行ってください。
設定ファイルなどのバックアップは忘れずに!

ESXi5対応に関しての追記ここまで:

理由は2個あって、

1. iSCSIプロトコルの接続の仕方がまずかった
2. SCSIエミュレーション部分に未実装コマンドがあった

なので、設定をいじってどうこう出来るレベルではないです。
現在修正版をテストしていて、問題がなければ週末にもリリースする予定です。

FreeNASについては7S版はリリース当日または翌日を予定、8系は8.0.1の
リリースに同梱される予定です。RC1には間に合わなかった(無念
7系公式安定版については落ち着いてから検討する予定です。

お手数ですがソフトのアップグレードを行うようにお願いします。

以下にESXi5のデータストアの画像をアップしておきます。設定は

  QueueDepth 32
  LUN0 Storage /tank/iscsi/istgt-disk1.0 16TB

でRAIDZ2から16TBを切り出して、VMFS5でフォーマットしてあります。
さらにWindows7 64bit版をインストールしてCDMでベンチしてます。


(クリックで拡大)

ESXi4.1U1にアップデートして10ギガビットでESXiサーバ同士を接続してみた。

2011年2月18日 金曜日

istgtが期待通りの振る舞いをしていない事が発覚したので、
ちょこっと修正したものをテスト中です。
週末にパッケージングしてアップする予定です。

ESXi4.1U1を二台用意してその間をデュアルポート10ギガビットの一本を使って
直接接続します。↓こんな感じになってます。

反対側のマシンにあるWindowsでアクセスすると↓こんな感じに。


(クリックで拡大)

画像から分かる通りFreeNAS上のistgtを差し替えて試しています。
VM同士でもistgtがそれなりに動いているぽい。
と言うかこれだけあると物理マシンの意味が…。

ディスク障害により巻き戻りが発生しました

2010年11月14日 日曜日

ディスク故障>スナップショット破損>リストア失敗

というコンボ食らいました。とりあえず最新のバックアップアーカイブから
リストアできないので10月1日分のバックアップから新規展開したVMを起動させています。
ディスクイメージコピー速度が8MB/s程度しかでない為、これから旧データが復旧できないか調査します。

教訓:一度にいろんなことを同時にやるべきじゃない。

最新版へのリンクだけおいておきます。

更新>FreeNAS 0.7.2 5740版

7S-FreeNAS-i386-LiveCD-0.7.2.5547.iso
修正版をご利用ください。

7S-FreeNAS-amd64-LiveCD-0.7.2.5547.iso
修正版をご利用ください。

VirtualBox 3.2.10 OSE for FreeNAS 0.7(バイナリパッケージ)

ESXi4.0のドライバを作成してみる(VIA VT6130/VT6122編)

2009年12月27日 日曜日

ころがってたVT6130チップ搭載のNICをESXi4.0U1で使ってみる。

玄人志向 GbE-PCIe2(PCIe x1)
http://www.kuroutoshikou.com/modules/display/?iid=1066

作成手順などはRealtek8169のドライバ作成と同じです。
英語を読めない人がドライバを作成できるとは思えないので、
海外のサイトいけば事例があるので手順はあえて書きません。
ドライバソースは2.6.23.17を利用しました。
VIAのGbE汎用ぽいので未確認ですがVT6122などでも使えるかも?
2GBメモリのマシンで確認したので4GB以上のるとダメかも?

VIA VT6130/VT6122用ESXi4.0U1モジュール(バイナリ): oem-vt6130.tgz

oem.tgzにリネームして/bootbankにコピーするなり、
独自のoem.tgzに組み込むなりしてください。

使ってみた感想は・・・あんまり早くないw
とりあえずネットにつないだりとかはできるけど、
iSCSIとかNFSとかストレージ用には使えなさそう。

というか、このチップはPCIeの帯域が必要なほど早いの??
32ビットPCIでも十分そうな速度だ。

追記:

以下のVT6122搭載カードでも試してみました。使えるけどさらに遅い。

玄人志向 GbE-PCI2(32bitPCI)
http://kuroutoshikou.com/modules/display/?iid=216

追記:
ソースファイルの差分をあげておきます。
VIA VT6130/VT6122用ESXi4.0U1モジュール(ソース差分): src-vt6130.tar.gz

追記:
ESXi4.1にアップグレードした環境でも稼働できます。