環境さんぷる

更新＞istgt 2009/4/14版

FreeNASでの利用とバグ報告を元にいくつか修正しました。

新しい設定：
syslogのファシリティをコンパイル時固定のLOCAL7から設定ファイルで変更できるようになりました。
指定できるファシリティは daemon, auth, authpriv, local1～local7 です。

[Global]
  # syslog facility
  LogFacility "local7"

istgt (tarball): istgt-20090412.tar.gz
更新版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20090412.tar.gz
# cd istgt-20090412
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20090412.tar.gz) = 8cbfb89920f64418c94ad7b1a5ea5840
SHA256 (istgt-20090412.tar.gz) = 25119e8b87500a6c76858383bdce02348e63bbe31ac16fab09cbff96d56cd79d

既知の問題：
FreeBSD(iscsi2.1.1)から接続するとumount時に正しく処理されない事があります。（現在調査中）

主な修正点：
デフォルトのiqnをiqn.2007-09.jp.ne.peach.istgtに変更しました。
データ設定取得マクロを関数呼び出しからマクロ展開に変更しました。
ショートサイズの判定に誤ったマクロを利用していたのを修正しました。
Discoveryセッションは最大接続数を1に制限するようになりました。
NOPIN間隔が0の場合は送信しないようになりました。
syslogファシリティを設定ファイルで指定できるようになりました。

追記：
r4531からFreeNAS本家trunkにマージされているので、ダウンロードは本家のnightly buildからできます。
http://sourceforge.net/project/showfiles.php?group_id=151951&package_id=229704

このスクリプトはテスト目的の為だけに作成してあります。
もしかしたら不具合が何かあるかもしれません。
しばらくここを見ている人には自明ですが、istgtではデバイスのサポートは
していませんのでファイル形式でエクステントを作成します。

最低限機能すると思われる特徴：
 o MCS/MPIOを使ったフェイルオーバー (最大255並列セッション)
 o マルチパスI/O (Microsoft MPIOとVMware ESXiのみサポート)
 o クラスタノード向けのSPC-3永続的装置予約
 o 2TBを超える媒体を扱える64bit LBA
 o CRC32Cによるヘッダ及びデータダイジェスト
(実験的実装)
 o Intel PRO/1000 Server Adaptersを使ったiSCSIブート機能
 o Windows7対応の準備

既存GUIからは設定できない機能：
 o 双方向または単方向CHAP認証
 o 複数のLUNおよびACL
(実験的実装)
 o コマンドキューイング (最大255の深さ)
 o 仮想DVDROM/DLTエミュレータ
 o パススルーデバイス (DA/SA/CD型のみサポート)

必要なもの：
(FreeNAS r4498/FreeBSD 7.1p4/istgt 20090326でテスト済み)
FreeNAS 0.7
FreeBSD 7.1 またはそれ以降
istgt 20090326 またはそれ以降
FreeNAS 0.7x用のistgt起動用スクリプト
http://shell.peach.ne.jp/~aoyama/wordpress/download/istgt-20090326-freenas.sh.gz
iSCSI initiator 2.1.1 またはそれ以降 (FreeBSD 7.xから利用する時のオプション)
http://www.cs.huji.ac.il/~danny/ftp/freebsd/iscsi-2.1.1.tar.gz

スクリプト使用上の制限：
 o 認証ファイルと制御用設定ファイルは空でないと更新されません。
 (変更が必要な場合は、削除した後に/etc/rc.d/iscsi_targetを起動してください)
 o マルチコネクション(MCS)、マルチパス(MPIO)が必要な場合は、
 すべてのインターフェースに固定IPを設定してください。
 o 許可するネットワークにはMCS/MPIOで利用するすべてのIPが
 含まれるように設定します。iscsi-targetは一個しか設定できないので、
 複数IPを利用する場合は注意が必要です。
 o 待ち受けポートは固定の1個になっています。iscsi-tagetには当該する
 機能が存在しません。

 

istgtインストール：
FreeBSD 7.xのマシンで以下を実行します。
1)Portsを最新版に更新します。（この記事を作成時点で20090326が最新です）
# portsnap fetch update

2)istgtのパッケージを作成します。
# cd /usr/ports/net/istgt
# make package -DNOPORTDOCS

3)作成した物をFreeNASをインストールしたマシンにコピーします。
# scp istgt-20090326.tbz user@host:/path

4)スクリプトを取得して(伸張して)、FreeNASにコピーします。
# fetch /path/to/istgt-20090326-freenas.sh.gz
# gunzip istgt-20090326-freenas.sh.gz
# scp istgt-20090326-freenas.sh user@host:/path

FreeNAS 0.7のマシンで以下を実行します。
1)パッケージを追加します。
# pkg_add istgt-20090326.tbz

2)NetBSD iscsi-targetを停止します。
(止める前にすべてのドライブをイニシエータからログオフします)
# /etc/rc.d/iscsi_target stop

3)起動用スクリプトをistgtのFreeNAS修正版で置き換えます。
# cd /etc/rc.d
# mv iscsi_target iscsi_target.old
# chmod -x iscsi_target.old
# cp /path/to/istgt-20090326-freenas.sh iscsi_target
# chmod 755 iscsi_target

4)istgtを開始します。
# /etc/rc.d/iscsi_target start

このステップまで終わるとGUIからiSCSIサービスの制御が可能になります。
設定ファイルは/var/etc/iscsiの中に作成されます。
まだiSCSIターゲットを有効にしていない場合はGUIから設定します。

※ 初回起動時にドライブがオフラインのまま認識されない事があります。
識別用の数値がiscsi-targetと違う為なので、手動でオンラインにしてください。

 

istgtアンインストール：
FreeNAS 0.7のマシンで以下を実行します。
1)iSCSIサービスを停止します。
# /etc/rc.d/iscsi_target stop

2)istgt用スクリプトを削除して、元のファイルに戻します。
# cd /etc/rc.d
# rm iscsi_target
# mv iscsi_target.old iscsi_target
# chmod +x iscsi_target

3)パッケージを削除します。
# pkg_delete istgt-20090326

4)NetBSD iscsi-targetを開始します。
# /etc/rc.d/iscsi_target start

 

追記：
FreeNASの本家リポジトリには20090309版がexperimentalにr4442より
コミットされていますが、ブログで書いた通り初期版から20090313版までの
MCS複数接続において根本的な設計ミスが見つかっています。
そのため最低でも20090314版(同期I/Oのみの最終版)を、
できれば20090326版以降(非同期I/O対応版,同期I/O部分は
20090314相当)が推奨です。

＃ドキュメントがまったくないので設定難しいよって意見が(汗)

FreeNASでコマンドキューイングを試したい場合は
起動スクリプトとしてコピーしたiscsi_targetの222行目の部分を

-v "concat('  QueueDepth ','0')" -n \
↓
-v "concat('  QueueDepth ','16')" -n \

このように数値0を16に修正します。この数値を極端に大きくしても
消費メモリが増えるだけで現時点ではあまり意味はありません。

更新＞istgt 2009/4/12版

ワイルドカードアドレスの利用がサポートされました。
接続があったIPアドレスに自動置換するため任意のIPアドレスで
待ち受けできるようになりました。
これによりDHCP環境でもより楽に運用できるかと思います。
なおDiscoveryセッションにおけるSendTargetsの場合はIPv6とIPv4が
区別されるので、設定で両方指定してもTargetAddressとして、
どちらか一方しか返しません。

コマンドキューの利用効率が向上しました。
シーケンシャルライトやリードライトが混在する状況が改善されました。

従来はまったくコマンドの中止要求に対して何も行っていませんでしたが、
I_T/I_T_L/I_T_L_Q nexusに対してキュー内のクリアは行うようになりました。
ただし、キューから取り出して実行中のものはいずれもキャンセルできません。

前バージョンよりより安全にエラー処理ができるようになったはず？
今回からESXiにおけるマルチパスも考慮するようになりました。

新しい設定：
ポータルアドレスとして [::] と 0.0.0.0 がサポートされました。
[::]はすべてのIPv6アドレス、0.0.0.0はすべてのIPv4アドレスで接続を待ちます。

[PortalGroup1]
  Comment "ANY IP"
  # Portal Label(not used) IP(IPv6 or IPv4):Port
  Portal DA1 [::]:3260
  Portal DA1 0.0.0.0:3260

istgt (tarball): istgt-20090326.tar.gz
更新版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20090326.tar.gz
# cd istgt-20090326
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20090326.tar.gz) = e7c0f3ddcfcf47cc0e9ebf0010e1fa61
SHA256 (istgt-20090326.tar.gz) = 8844e2ad571d92e43a364927a35ec58d17b7f21f1978f0c8780d88d43885c07f

既知の問題：
コマンドキューから実行状態に移行したものは中止できません。
マルチイニシエータ環境でのエラー時のキュー管理がおそらく不完全です。

主な修正点：
ワイルドカードアドレスを接続IPに変換する機能を追加しました。
LUN書き込み前に保留したPDUが次のCmdSNならキューに投入するようにしました。
エラー時のデッドロックを回避するように処理を追加しました。
無効なLUNに対するエラーログを抑制しました。
タスク管理コマンドでキューをクリアするようになりました。

追記：Send-PRしたら15分でコミットされました。
メールのお返事をいくつか書いている間に終わってた。
コミッターの人いつもありがとう！

更新＞istgt 2009/3/26版

公開しようと準備したのにバグがあって動かなかった(汗)
20090321と20090322はなかったことに。。。
なのでちょっと遅れましたけど、コマンドキューイング対応版をアップします。

20090314をベースにコマンドキューイング対応した物をマージしました。
（正確にはリポジトリを新しく作成しました）
今後はこれをベースに修正を行います。

現時点では並列実行しない為スレッド間のオーバヘッドの方が大きくなり
シーケンシャルリード以外はキューなしより遅くなる可能性があります。
キャッシュ機能搭載まではまともに使えないかもしれない。
従来の方法にもマイナーチェンジを引き続き行っていく予定です。

コマンドキューを使ったシーケンシャルの威力はものすごくて、
先日の画像の通りMCSラウンドロビンとコマンドキューを組み合わせると、
GbE単体より平均レートで1.5倍から3倍程度の性能向上が見込める。
もちろん向上するかどうかはZFSプールとかの性能にもよる。

新しい設定：
キューの深さを各LU単位で設定できます。
現在サポートしているのはDisk型のみです。
深さ0はキューイングなしで従来と同じ仕様です。

  # Queuing 0=disabled, 1-255=enabled with specified depth.
  QueueDepth 16

※キューの深さに比例して割り当てるメモリ量が増加しますのでご注意ください。

エラー時(フェールオーバー含む)の処理がまだ完全ではない為、
デッドロックする可能性があるのでデフォルトは無効になっています。
不幸にもデッドロックしていると思われる場合はお手数ですが
デーモンの再起動をお願いします。

istgt (tarball): istgt-20090323.tar.gz
更新版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20090323.tar.gz
# cd istgt-20090323
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20090323.tar.gz) = 61bd2897fdcc85dff13773100076f012
SHA256 (istgt-20090323.tar.gz) = 4de37bc360df78c6a00bcfa3b32e55fd0dc2ab4ccd9b8d9ce9657a69e070107d

現時点の仕様：
キューイングしたコマンド単位でメモリ割り当てを行い再利用しない。
キューイングしたコマンドが転送要求サイズより64KBを超える作業領域を
必要とした場合はエラーになります。
（通常はイニシエータが適切なサイズを割り当てるはずなので起こらない）
iSCSIデバイスのリードに比べてライト動作がとても遅い。

主な修正点：
MCSでCmdSNが逆順で到着した場合の待機時間を100msから1000msに変更しました。
再接続時に規定数以上接続がある場合は強制終了を発行するようになりました。
ディスク型にコマンドキューイングを実装しました。
SCSIセンスデータ領域を64Kから4Kに縮小しました。
接続専用固定バッファから各コマンド毎の独立バッファを利用できるようになりました。
LU RESETで自身の接続が消去されないようになりました。
AHSのサイズ計算を間違えていたのを修正しました。
iqn.以外にeui.とnaa.も完全指定を許可するようなりました。
小さいPDUはヘッダとデータ部分を一緒にwriteするようになりました。
エラーチェックが正しく行われていなかった問題を修正しました。

---

20090323での比較(別ドライブ)
コマンドキューの深さを0と16の場合で比べると以下のようになります。
0の場合は従来とほぼ同じ性能のはずです。

MCS/ラウンドロビン/1000MB/コマンドキュー16個

MCS/ラウンドロビン/1000MB/コマンドキュー0個(無効)

MCS/ラウンドロビン/100MB/コマンドキュー16個

MCS/ラウンドロビン/100MB/コマンドキュー0個(無効)

見ての通り100MBみたいなキャッシュに乗ることが
確実な状況では差が開くもののライト動作はちょっと遅い。
(ZFS RAID-Z2のダブルパリティなので元々書き込みは遅いけど)

(クリックで拡大)

現時点でブロックサイズ8MBを使ってどの程度出るのか見たら210MB/sらしい。
ddでは300MB/s出ているZFSプールのiSCSIターゲットだからこれは普通だけど、
BurstRateがとっても遅い。
小さいブロックサイズでの結果もあまりよろしくない模様。
CPU Usageもすごい事に。Quadコアで29%ってことは
コア一個だと賄えないってことですね。
まぁ、Q6600っていう2.4GHzな遅いCPUですけど。

この結果から調べたのだけど、
どうもトレース関数も通るだけでかなりの負担になっている模様。
そしてこれを見て思ったけど、スレッドを分けて処理するのは
切り替えコストあがるだけであまり意味なかったような。