‘iSCSI’ カテゴリーのアーカイブ

動作確認用のFreeNAS 0.7.2(7S-8191)版をアップしました。

2011年10月9日 日曜日

7S-8104(amd64)版で設定ファイルが大きい場合(45KB以上)に保存場所の
ディスク容量が不足する問題を修正しました。
istgt-20111008リリース版を搭載しました。
機能的なものはSVNにコミットしましたので特に変更はありません。

SVN変更点は以下を参照してください。
http://freenas.svn.sourceforge.net/viewvc/freenas/branches/0.72/?view=log

あくまで動作確認用ですのでテスト環境以外への導入はサポートできません。
SVN8191版に新チップ識別用コードの追加および
以下のバックポートドライバが含まれています。
なにか問題があれば報告をお願いします。

This unofficial version is using for test only.
It includes SVN r8191 + identifier fix
+ backport drivers + some ATA fixes.
If you have a problem, please report me about it.

em driver 7.1.8/1.0.3 (Intel PRO/1000 family)
igb driver 2.0.7 (Intel PRO/1000 family)
ixgbe driver 2.3.7 (Intel 10 Gigabit family)

警告:ZFS version 13 にアップグレードすると過去の版で利用不可になります。
WARNING: If upgraded to ZFS version 13, you can not use from old version.

for 32bit version
7S-FreeNAS-i386-LiveCD-0.7.2.8191.iso

for 64bit version
7S-FreeNAS-amd64-LiveCD-0.7.2.8191.iso

※5190以前からのアップグレード手順はこちらを参考にしてください。
http://shell.peach.ne.jp/aoyama/archives/1038

MD5 (7S-FreeNAS-i386-LiveCD-0.7.2.8191.iso) = 297efb95dda96ac84400e47028cbb93e
SHA256 (7S-FreeNAS-i386-LiveCD-0.7.2.8191.iso) = 61bb94dab202ef3d12b7db13926b6af53d6615c5eade74772b21997b43fcf78f
MD5 (7S-FreeNAS-amd64-LiveCD-0.7.2.8191.iso) = 63ba9ddf56f79c11a01980acf548c92a
SHA256 (7S-FreeNAS-amd64-LiveCD-0.7.2.8191.iso) = cb1e1e2b2100c01621e1ea69e814d17cd66feac8895cfd23cc088d4a41a1e1d1

istgt (iSCSI target) 20111008版 for FreeBSD

2011年10月8日 土曜日

ロックの期間の調整、SendTargetsの応答追加などを行いました。
将来の拡張用にLUNオプションにReadCache/WriteCacheを追加しました。
これにより、以前からサポートしていた揮発性ライトキャッシュモード
(O_FSYNC)を最初から設定できるようになりました。
一応、これが今年の安定版になる予定です。

新規のコンフィグキー(LUNオプション):
  #LUN0の数字部分は各LUN番号(デフォルトは両方有効)
  LUN0 Option ReadCache Disable
  LUN0 Option WriteCache Disable

istgt (tarball): istgt-20111008.tar.gz

作成方法:

# cd /path/to/work
# tar zxf /path/to/istgt-20111008.tar.gz
# cd istgt-20111008
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法:

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20111008.tar.gz) = f9a685851e127f018502a07181d7799e
SHA256 (istgt-20111008.tar.gz) = 41ddc49dbd0cda81c3f7557e76d27b851e042a32acb448dac1b743c759b0b37e

主な修正点:
 ノーマルセッション中のSendTargetsに応答追加
 リードキャッシュ、ライトキャッシュ設定追加
 ロック期間などの改善

動作確認用のFreeNAS 0.7.2(7S-8104)版をアップしました。

2011年10月2日 日曜日

更新>FreeNAS 0.7.2 8191版

10ギガビット対応iSCSIターゲットの改良版(istgt-20110928a2/非公開)を
搭載したバージョンです。版名が長い・・・。
また、iSCSIターゲットのQueueDepthのデフォルト値が32になりました。

Lion で Time Machine が動かないらしいので、Netatalk 2.2.1 と
mDNSResponder 320.5.1も搭載してあります。(当方では未検証)

SVN変更点は以下を参照してください。
http://freenas.svn.sourceforge.net/viewvc/freenas/branches/0.72/?view=log

あくまで動作確認用ですのでテスト環境以外への導入はサポートできません。
SVN8104版に新チップ識別用コードの追加および
以下のバックポートドライバが含まれています。
なにか問題があれば報告をお願いします。

This unofficial version is using for test only.
It includes SVN r8104 + identifier fix
+ backport drivers + some ATA fixes.
If you have a problem, please report me about it.

em driver 7.1.8/1.0.3 (Intel PRO/1000 family)
igb driver 2.0.7 (Intel PRO/1000 family)
ixgbe driver 2.3.7 (Intel 10 Gigabit family)

警告:ZFS version 13 にアップグレードすると過去の版で利用不可になります。
WARNING: If upgraded to ZFS version 13, you can not use from old version.

for 32bit version
7S-FreeNAS-i386-LiveCD-0.7.2.8104.iso

for 64bit version
7S-FreeNAS-amd64-LiveCD-0.7.2.8104.iso
amd64版にディスクフル問題が発生した為、リンクを外します。
まだ動いている場合は設定ファイルをすぐにバックアップしてください。
修正版をアップ予定です。

修正版をご利用ください。

※5190以前からのアップグレード手順はこちらを参考にしてください。
http://shell.peach.ne.jp/aoyama/archives/1038

MD5 (7S-FreeNAS-i386-LiveCD-0.7.2.8104.iso) = bd2c4e474917d40a651f248d9c84aab7
SHA256 (7S-FreeNAS-i386-LiveCD-0.7.2.8104.iso) = 3979305c37381af68c93ecafc6803684557532266166300b592535ef11c18262
MD5 (7S-FreeNAS-amd64-LiveCD-0.7.2.8104.iso) = cc2814e4e75e96422d97663c81ab872c
SHA256 (7S-FreeNAS-amd64-LiveCD-0.7.2.8104.iso) = 9e02a0fc51d20a9fabcd25c1a212ce16ca362807bec12a291599bea7978176c

istgt (iSCSI target) 20110928版 for FreeBSD

2011年9月28日 水曜日

更新>istgt 2011/10/08版

10ギガビット上の処理がとても残念だったので、
ロックの削減など超高速化を行いました。

その結果、ESXi5のVM上から400MB/sの読込と800MB/sの書込処理が
可能になりました。
実際の速さはハードディスクの書き込み処理に依存します。
当方のRAIDZ2環境(RAID6相当、2TBx7)では
4GBで400MB/sの読込と200MB/sの書込でした。

※追記 – 書き忘れた。
モードフラグが増設されたので、従来の -m1 が -m2 になりました。

※2011/10/02追記
FreeNAS 8.0.1 リリース版に搭載されました。
※2011/10/14追記
改良版がFreeNAS 0.7.2.81917S-8191に搭載されました。

iSCSIターゲット側 (FreeBSD 8-STABLE)
AMD Phenom II X6 1065T (2.9GHz/6core) + Memory 16GB
Intel Ethernet Server Adapter X520-DA2 (Dual SFP+/82599)
Intel Gigabit ET Dual Port Server Adapter (82576)

ESXi5サーバ側 (ESXi 5.0.0, 474610)
Intel Pentium G6950 (2.8GHz/2core) + Memory 16GB
Qlogic QLE8152 (Dual SFP+/10Gbps CNA)
Intel Gigabit ET Dual Port Server Adapter (82576)

参考用10ギガビット1本での処理能力

istgt (tarball): istgt-20110928.tar.gz
修正版をご利用ください。

作成方法:

# cd /path/to/work
# tar zxf /path/to/istgt-20110928.tar.gz
# cd istgt-20110928
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法:

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110928.tar.gz) = f7f75e48edfa88809b54f9c2427ab69b
SHA256 (istgt-20110928.tar.gz) = 2add885c857470de3d24ba157f5c9e82f8caa76957ce6d12775f848f84da48ed

主な修正点:
 LUN処理の改善
 normalモードの追加
 フラグ操作をアトミック変数処理に変更
 送信スレッドにタイムアウトを設定

10ギガビットのデータストアの為にiSCSIの処理を高速化してみる

2011年9月25日 日曜日

状態チェックでmutexによるロックであったのを廃止して、
アトミック処理に変更などいろいろ調査中です。

現在のESXi5テスト環境で以下のようなパフォーマンスです。
リードはあまり変わらず。ライトは劇的に改善。
当初の予想とは反対にライトが600MB/sを超えてます。

さらに高速化。800MB/s超えちゃった。リードもだいぶ改善された。

※追記
いろいろ試した結果、こんな感じに落ち着きました。今回は4000MBも計測しました。
ZFS RAIDZ2(RAID6相当、2TBx7)な領域にエクステントを置いてあります。


(クリックで拡大)

動作確認用のFreeNAS 0.7.2(7S-7904)版をアップしました。

2011年9月22日 木曜日

更新>FreeNAS 0.7.2 8104版

ESXi5対応の最新版istgtを搭載しました。
いくつかバグ報告があったものを修正しました。

SVN変更点は以下を参照してください。
http://freenas.svn.sourceforge.net/viewvc/freenas/branches/0.72/?view=log

あくまで動作確認用ですのでテスト環境以外への導入はサポートできません。
SVN7904版に新チップ識別用コードの追加および
以下のバックポートドライバが含まれています。
なにか問題があれば報告をお願いします。

This unofficial version is using for test only.
It includes SVN r7904 + identifier fix
+ backport drivers + some ATA fixes.
If you have a problem, please report me about it.

em driver 7.1.8/1.0.3 (Intel PRO/1000 family)
igb driver 2.0.7 (Intel PRO/1000 family)
ixgbe driver 2.3.7 (Intel 10 Gigabit family)

警告:ZFS version 13 にアップグレードすると過去の版で利用不可になります。
WARNING: If upgraded to ZFS version 13, you can not use from old version.

for 32bit version
7S-FreeNAS-i386-LiveCD-0.7.2.7904.iso

for 64bit version
7S-FreeNAS-amd64-LiveCD-0.7.2.7904.iso
修正版をご利用ください。

※5190以前からのアップグレード手順はこちらを参考にしてください。
http://shell.peach.ne.jp/aoyama/archives/1038

MD5 (7S-FreeNAS-i386-LiveCD-0.7.2.7904.iso) = 12c80483aac8c68f48c81631ac9fb620
SHA256 (7S-FreeNAS-i386-LiveCD-0.7.2.7904.iso) = 2c0e8e8492bbdf8eb6980225d25112ca5d06683b62ba43517addeec21dddd823
MD5 (7S-FreeNAS-amd64-LiveCD-0.7.2.7904.iso) = 761a076856b98a61c9846a783c8ca681
SHA256 (7S-FreeNAS-amd64-LiveCD-0.7.2.7904.iso) = 41ca37615d5a06c012424fcf204cb73e379a9abf8518473f1bf2123d8f9123ee

istgt (iSCSI target) 20110918版 for FreeBSD

2011年9月18日 日曜日

更新>istgt 2011/09/28版

ESXi5で警告がすごいのとEager Zeroedの処理が遅いと言う指摘が
ありましたので対処しました。

シカでした。さんにテスト用バイナリでの試験を行って頂きました。
ありがとうございました。結果は後日アップして頂けるとのこと。
VMWare ESXi 5.0 – 外部ストレージを試してみる。
FreeNAS – ESXi5.0 Eager Zeroed 対策版の動作確認について。

※9/21追記
結果が公開されたのでリンクを追加しました。

この修正版が8.0.1-RC2に搭載される予定です。8.0.1-RC2.1に搭載されました。
その後に7Sと安定板も更新する予定です。

※Eager Zeroedとは?
ストレージ上に領域を確保すると同時にゼロフィルを行って初期化する方式。
20110902から搭載されたBlock Zeroing機能とESXi5の機能により
ネットワークトラフィック不要で巨大な空ファイル作成を行えるようになります。
(現時点ではエクステント即時書き込み)

istgt (tarball): istgt-20110918.tar.gz
修正版をご利用ください。

作成方法:

# cd /path/to/work
# tar zxf /path/to/istgt-20110918.tar.gz
# cd istgt-20110918
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法:

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110918.tar.gz) = bbf6e99a53131bddadc8ac9c6fd225f6
SHA256 (istgt-20110918.tar.gz) = 00f2d9958437212d5a0131e06d1ea9d9f27daa673a56cc94abc134e2a555fed4

主な修正点:
 WRITE_SAMEを複数ブロックまとめて処理
 WRITE_SAMEの転送済みサイズの間違いを修正


Linux (arm) 版バイナリパッケージ (LANDISK HDL-GTなど)

istgt (arm binary): istgt-20110918-arm.tar.gz
(arm版実行ファイルとスクリプト)

インストール/アップグレード作業:

# cd work
# wget http://www.peach.ne.jp/archives/istgt/build/istgt-20110918-arm.tar.gz
# tar zxvf istgt-20110918-arm.tar.gz
# cd istgt-20110918-arm
# sh setup.sh

デーモンの再起動方法:

# /etc/init.d/istgt restart

自動起動スクリプトの登録方法:

# update-rc.d istgt defaults 30

設定ファイルパス:
/opt/istgt/etc/istgt.conf
/opt/istgt/etc/auth.conf
/opt/istgt/etc/istgtcontrol.conf

初期インストール参考用:http://shell.peach.ne.jp/aoyama/archives/1513

MD5 (istgt-20110918-arm.tar.gz) = a764263e3140ba887e60999876cca8b0
SHA256 (istgt-20110918-arm.tar.gz) = d341c7f2bb8f94218d91bb58a5157284e0430b7d34163be7f7889801b31d9d2e

arm版の注意点:
QueueDepth 32がデフォルトになったので、armではCPUとメモリが少ないので、
istgt.conf で QueueDepth 16 または QueueDepth 0 を推奨です。

前バージョンはスクリプトに問題があったので、もしも起動せず
プロセスが残ってしまう場合は一旦、

killall istgt

を実行して、プロセスが完全に停止した後に再度セットアップを行ってください。

ESXi5で10Gbpsのデータストアを作ってCDMしてみる

2011年9月17日 土曜日

S70PJのおかげで、ESXi5のおもちゃが出来たので、
さっそく10Gbpsのテストをしてみる。

iSCSIターゲット側 (FreeBSD 8-STABLE)
AMD Phenom II X6 1065T (2.9GHz/6core) + Memory 16GB
Intel Ethernet Server Adapter X520-DA2 (Dual SFP+/82599)
Intel Gigabit ET Dual Port Server Adapter (82576)

ESXi5サーバ側 (ESXi 5.0.0, 474610)
Intel Pentium G6950 (2.8GHz/2core) + Memory 16GB
Qlogic QLE8152 (Dual SFP+/10Gbps CNA)
Intel Gigabit ET Dual Port Server Adapter (82576)

どうみてもシーケンシャル書き込みが遅い。。。<iSCSIターゲットがしょぼい?
QD32の4KリードはESXi5側でCPU使用率96%以上のほぼ限界。
176MB/s(43023IOPS)
ターゲット側のCPU使用率からするとシーケンシャルリードは
2倍の600MB/sぐらいは出せそうなんだけど。
書き込みが遅いのはZFSのチューニングも必要そう。

10ギガビットのデータストア

※追記
↓パケット処理以外の部分で重い処理があるので、改良しています。
http://shell.peach.ne.jp/aoyama/archives/1698

↓10ギガビット環境を甘く見てた・・・。

参考用ギガビットイーサ1本

vSwitchとポートバインドの使い方がよくわからない


(クリックで拡大)

ESXiで既存LUNがデータストアとして認識されない場合

2011年9月11日 日曜日

デバイスとして認識するのにデータストアとして認識されない場合は、
スナップショットLUNとして識別されている可能性があります。
/var/log/vmkernel.log にはこんな感じで出ています。
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8445: Device t10.FreeBSD_iSCSI_DISK______10000001________________________:1 detected to be a snapshot:
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8452:   queried disk ID: <type 2, len 14, lun 0, devType 0, scsi 0, h(id) 17351408149820670746>
2011-09-11T21:55:32.943Z cpu0:3434)LVM: 8459:   on-disk disk ID: <type 2, len 14, lun 3, devType 0, scsi 0, h(id) 16645779391740574531>

vSphere ClientのイベントタブでもLVMに関するイベントが参照できます。

こんな場合は「構成」->「ストレージ」 -> 「ストレージの追加」で
ディスク/LUNを選択すると、VMFSラベルが参照できるので、必要なLUNを選び、
「既存の署名を保持」を選択します。

しばらく待つと、ちゃんとデータストアに出てくるようになります。


(クリックで拡大)

追記:
GUIから操作できない場合は、SSHでログインして、

esxcfg-volume -l

でVMFS UUIDを表示して、

esxcfg-volume -M “49d22e2e-996a0dea-b555-001f2960aed8″

みたいな感じでマウントします。

NEC Express 5800/S70 タイプPJ に Qlogic QLE8152(10Gbps CNA) を付けてESXi5で使う(ドライバインストール)

2011年9月11日 日曜日

↓ベースの本体はこれ
http://nttxstore.jp/_II_P813678778
↓10Gbps CNA 拡張カード
http://www.qlogic.com/Resources/Documents/DataSheets/Adapters/QLE8152_Datasheet.pdf

※追記 リンク切れた模様
http://www.qlogic.com/Resources/Documents/DataSheets/Adapters/Data_Sheet_8100_Series_Adapters.pdf

そのままでは認識しないみたいなので、ドライバインストールが必要です。

http://downloads.vmware.com/d/info/datacenter_cloud_infrastructure/vmware_vsphere/5_0#drivers_tools

ここから、VMware ESXi 5.0 Driver for QLogic 10 Gigabit Ethernet Adapter を落としてきます。

ZIPを解凍すると、net-qlge-1.0.0.47-1vmw.500.0.0.406165.x86_64.vib
が出てくるので、SSHを有効にしたESXi5サーバにSCPで転送します。

# esxcli software vib install -v /tmp/net-qlge-1.0.0.47-1vmw.500.0.0.406165.x86_64.vib

こんな感じでVIBをインストールします。
ESXi5サーバを再起動するとネットワークデバイスとして認識されます。


(クリックで拡大)