昨年は激動の年でしたけど、今年は無事に終わると良いですね。

今年の目標はカーネルドライバを片手間で作成できるようになる！
と全部のPCに10GbEのiSCSI専用線を配置する！

あたりですかね。たぶん面倒なのはMini-ITXなマシンでしょうね。
Mini-ITXはオンボードで10GbEかデュアル1GbE実装がないと結構敷居が高い。
昨年中にiSCSIホストと仮想化ホスト(ESXi正副とWS/Hyper-V2)には装着しました。

では、またのんびり進行ですがよろしくお願いします。

新規のコンフィグキー(LUNオプション)：
  #LUN0の数字部分は各LUN番号(デフォルトは両方有効)
  LUN0 Option ReadCache Disable
  LUN0 Option WriteCache Disable

istgt (tarball): istgt-20111008.tar.gz

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20111008.tar.gz
# cd istgt-20111008
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20111008.tar.gz) = f9a685851e127f018502a07181d7799e
SHA256 (istgt-20111008.tar.gz) = 41ddc49dbd0cda81c3f7557e76d27b851e042a32acb448dac1b743c759b0b37e

主な修正点：
 ノーマルセッション中のSendTargetsに応答追加
 リードキャッシュ、ライトキャッシュ設定追加
 ロック期間などの改善

10ギガビット上の処理がとても残念だったので、
ロックの削減など超高速化を行いました。

その結果、ESXi5のVM上から400MB/sの読込と800MB/sの書込処理が
可能になりました。
実際の速さはハードディスクの書き込み処理に依存します。
当方のRAIDZ2環境(RAID6相当、2TBx7)では
4GBで400MB/sの読込と200MB/sの書込でした。

※追記 – 書き忘れた。
モードフラグが増設されたので、従来の -m1 が -m2 になりました。

※2011/10/02追記
FreeNAS 8.0.1 リリース版に搭載されました。
※2011/10/14追記
改良版がFreeNAS 0.7.2.8191と７S-8191に搭載されました。

iSCSIターゲット側 (FreeBSD 8-STABLE)
AMD Phenom II X6 1065T (2.9GHz/6core) + Memory 16GB
Intel Ethernet Server Adapter X520-DA2 (Dual SFP+/82599)
Intel Gigabit ET Dual Port Server Adapter (82576)

ESXi5サーバ側 (ESXi 5.0.0, 474610)
Intel Pentium G6950 (2.8GHz/2core) + Memory 16GB
Qlogic QLE8152 (Dual SFP+/10Gbps CNA)
Intel Gigabit ET Dual Port Server Adapter (82576)

参考用10ギガビット1本での処理能力

istgt (tarball): istgt-20110928.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110928.tar.gz
# cd istgt-20110928
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110928.tar.gz) = f7f75e48edfa88809b54f9c2427ab69b
SHA256 (istgt-20110928.tar.gz) = 2add885c857470de3d24ba157f5c9e82f8caa76957ce6d12775f848f84da48ed

主な修正点：
 LUN処理の改善
 normalモードの追加
 フラグ操作をアトミック変数処理に変更
 送信スレッドにタイムアウトを設定

現在のESXi5テスト環境で以下のようなパフォーマンスです。
リードはあまり変わらず。ライトは劇的に改善。
当初の予想とは反対にライトが600MB/sを超えてます。

さらに高速化。800MB/s超えちゃった。リードもだいぶ改善された。

※追記
いろいろ試した結果、こんな感じに落ち着きました。今回は4000MBも計測しました。
ZFS RAIDZ2(RAID6相当、2TBx7)な領域にエクステントを置いてあります。

（クリックで拡大）

ESXi5で警告がすごいのとEager Zeroedの処理が遅いと言う指摘が
ありましたので対処しました。

シカでした。さんにテスト用バイナリでの試験を行って頂きました。
ありがとうございました。結果は後日アップして頂けるとのこと。
「VMWare ESXi 5.0 – 外部ストレージを試してみる。」
「FreeNAS – ESXi5.0 Eager Zeroed 対策版の動作確認について。」

※9/21追記
結果が公開されたのでリンクを追加しました。

この修正版が8.0.1-RC2に搭載される予定です。8.0.1-RC2.1に搭載されました。
その後に7Sと安定板も更新する予定です。

※Eager Zeroedとは？
ストレージ上に領域を確保すると同時にゼロフィルを行って初期化する方式。
20110902から搭載されたBlock Zeroing機能とESXi5の機能により
ネットワークトラフィック不要で巨大な空ファイル作成を行えるようになります。
（現時点ではエクステント即時書き込み）

istgt (tarball): istgt-20110918.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110918.tar.gz
# cd istgt-20110918
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110918.tar.gz) = bbf6e99a53131bddadc8ac9c6fd225f6
SHA256 (istgt-20110918.tar.gz) = 00f2d9958437212d5a0131e06d1ea9d9f27daa673a56cc94abc134e2a555fed4

主な修正点：
 WRITE_SAMEを複数ブロックまとめて処理
 WRITE_SAMEの転送済みサイズの間違いを修正

istgt (arm binary): istgt-20110918-arm.tar.gz
(arm版実行ファイルとスクリプト)

インストール/アップグレード作業：

# cd work
# wget http://www.peach.ne.jp/archives/istgt/build/istgt-20110918-arm.tar.gz
# tar zxvf istgt-20110918-arm.tar.gz
# cd istgt-20110918-arm
# sh setup.sh

デーモンの再起動方法：

# /etc/init.d/istgt restart

自動起動スクリプトの登録方法：

# update-rc.d istgt defaults 30

設定ファイルパス：
/opt/istgt/etc/istgt.conf
/opt/istgt/etc/auth.conf
/opt/istgt/etc/istgtcontrol.conf

初期インストール参考用：http://shell.peach.ne.jp/aoyama/archives/1513

MD5 (istgt-20110918-arm.tar.gz) = a764263e3140ba887e60999876cca8b0
SHA256 (istgt-20110918-arm.tar.gz) = d341c7f2bb8f94218d91bb58a5157284e0430b7d34163be7f7889801b31d9d2e

arm版の注意点：
QueueDepth 32がデフォルトになったので、armではCPUとメモリが少ないので、
istgt.conf で QueueDepth 16 または QueueDepth 0 を推奨です。

前バージョンはスクリプトに問題があったので、もしも起動せず
プロセスが残ってしまう場合は一旦、

killall istgt

を実行して、プロセスが完全に停止した後に再度セットアップを行ってください。

vSphere ClientのイベントタブでもLVMに関するイベントが参照できます。

こんな場合は「構成」->「ストレージ」 -> 「ストレージの追加」で
ディスク/LUNを選択すると、VMFSラベルが参照できるので、必要なLUNを選び、
「既存の署名を保持」を選択します。

しばらく待つと、ちゃんとデータストアに出てくるようになります。

（クリックで拡大）

追記：
GUIから操作できない場合は、SSHでログインして、

esxcfg-volume -l

でVMFS UUIDを表示して、

esxcfg-volume -M “49d22e2e-996a0dea-b555-001f2960aed8″

みたいな感じでマウントします。

ESXi5に搭載されているハードウェアアクセラレーション向けに強化しました。
前回のBlock Zeroingに加えて、今回、Hardware Assisted Lockingを
追加しました。また、LUN毎のシリアル、回転数、形状が設定可能になりました。
副作用で複数LUNがESXiから認識されるようになりますが、
性能最適化はまだ行っていません。

新しい設定：
各LUNに対して以下のようなオプション設定が可能です。
例はLUN0のエクステントが7200回転HDD上にあると想定しています。
ここで回転数を非回転ドライブに指定するとSSDとしてESXi5から認識されます。

なお、すべてデフォルト値が予め設定してありますので、
こだわらない場合は修正する必要はありません。

[LogicalUnit1]
  LUN0 Storage /tank/iscsi/istgt-disk1 10GB

  # override the serial of LUN0 specified with UnitInquiry
  #LUN0 Option Serial “10000001″

  # for 3.5inch, 7200rpm HDD
  # RPM 0=not reported, 1=non-rotating(SSD), n>1024 rpm
  LUN0 Option RPM 7200
  # FormFactor 0=not reported, 1=5.25, 2=3.5, 3=2.5, 4=1.8, 5=less 1.8 inch
  LUN0 Option FormFactor 2

  # for 2.5inch, SSD
  #LUN0 Option RPM 1
  #LUN0 Option FormFactor 3

istgt (tarball): istgt-20110907.tar.gz

修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110907.tar.gz
# cd istgt-20110907
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110907.tar.gz) = 5e0805ae82f4bdcc9d09138ac055df29
SHA256 (istgt-20110907.tar.gz) = 49315e10a039fe08283cd32096487561f34e6552eee340a2afc2aceb59e75dd1

主な修正点：
LUN毎の回転数(RPM)、形状(FormFactor)設定を追加
LUN毎のシリアル設定を追加(デフォルト値は id+”L”+LUN番号)
COMPARE AND WRITEを実装
ターゲット名のチェックを強化

できるだけ早い方が良いだろうと思ったので早速リリースします。
万一、この版でもESXi5で問題がある場合はブログで報告して頂けるとありがたいです。

ESXi5に接続できないと言う致命的問題が発覚したので修正しました。
また、前回のAIO関連は次のステップの邪魔になるので削除しました。

機能的な部分では WRITE_SAME コマンド(繰り返し書き込み)を追加したので、
ゼロフィルを要求するような場面で使えるけど効果の程は不明です。

istgt (tarball): istgt-20110902.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110902.tar.gz
# cd istgt-20110902
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110902.tar.gz) = a35d4b9bde2974f8f0a37c6db2206091
SHA256 (istgt-20110902.tar.gz) = 309c2c6ca2fbcbb261f77b02b53ed5692761038c95fe8b41ca7c7d6a53280ffb

主な修正点：
WRITE_SAME(10)/WRITE_SAME(16)を実装
Block LimitsなどのVPDを追加
ESXi5との接続問題を解消
Makefileなどビルド系を修正(Thanks to Arno Toell)

istgt (arm binary): istgt-20110902-arm.tar.gz
(arm版実行ファイルとスクリプト)
修正版をご利用ください。

インストール/アップグレード作業：

# cd work
# wget http://www.peach.ne.jp/archives/istgt/build/istgt-20110902-arm.tar.gz
# tar zxvf istgt-20110902-arm.tar.gz
# cd istgt-20110902-arm
# sh setup.sh

デーモンの再起動方法：

# /etc/init.d/istgt restart

自動起動スクリプトの登録方法：

# update-rc.d istgt defaults 30

設定ファイルパス：
/opt/istgt/etc/istgt.conf
/opt/istgt/etc/auth.conf
/opt/istgt/etc/istgtcontrol.conf

初期インストール参考用：http://shell.peach.ne.jp/aoyama/archives/1513

MD5 (istgt-20110902-arm.tar.gz) = 23b18115a5f1b79ef1b1481cbf6cdda9
SHA256 (istgt-20110902-arm.tar.gz) = 2776c39e8bfe3ffc59a36b6e20d05e63ec61c20cd015cfc99c99e2b624926964

arm版の注意点：
QueueDepth 32がデフォルトになったので、armではCPUとメモリが少ないので、
istgt.conf で QueueDepth 16 または QueueDepth 0 を推奨です。

前バージョンはスクリプトに問題があったので、もしも起動せず
プロセスが残ってしまう場合は一旦、

killall istgt

を実行して、プロセスが完全に停止した後に再度セットアップを行ってください。

詳細はこちらです。
http://packages.debian.org/unstable/main/istgt

現在は20110717の最新版が登録されています。ぜひお試しください。

次の追加をやる前にAIO使えないかなぁと試してみたら、いまの処理だと
面倒なことがわかったので、とりあえず無効化しました・・・。
試してみたい人は configure に –with-aio を付けると有効になります。
（experimentalのさらにexperimental的なものですが）

一部で要望のあったイニシエータ名拒否機能を追加しました。

  InitiatorName “!iqn.1991-05.com.microsoft:moon”
  InitiatorName “ALL”

こんな感じで、iqn.1991-05.com.microsoft:moon 以外のすべてという指定が
可能です。

PR kern/157770 に接続問題が出ていたので、対処しました。
http://lists.freebsd.org/pipermail/freebsd-scsi/2011-June/004982.html

istgt (tarball): istgt-20110717.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110717.tar.gz
# cd istgt-20110717
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110717.tar.gz) = dfbf157762e1c8d79cc6a49820ade568
SHA256 (istgt-20110717.tar.gz) = b9605c6ca4286e25a581791871ca4c90d253b4aad6d25bbde6eed0713d50bdb3

主な修正点：
イニシエータ指定で!を先頭につけると拒否する機能を追加
初期ファイルサイズを最少サイズで割り当てるように変更(-m1)
ファイルの範囲外で全てゼロの場合は書き込みスキップに変更(-m1)
AIOを使った書き込み処理を追加(デフォルト無効)
無指定時のQueueDepthを32に変更
Discoveryセッションで処理するべきでないキーを追加

istgt (arm binary): istgt-20110717-arm.tar.gz
(arm版実行ファイルとスクリプト)
修正版をご利用ください。

インストール/アップグレード作業：

# cd work
# wget http://www.peach.ne.jp/archives/istgt/build/istgt-20110717-arm.tar.gz
# tar zxvf istgt-20110717-arm.tar.gz
# cd istgt-20110717-arm
# sh setup.sh

デーモンの再起動方法：

# /etc/init.d/istgt restart

自動起動スクリプトの登録方法：

# update-rc.d istgt defaults 30

設定ファイルパス：
/opt/istgt/etc/istgt.conf
/opt/istgt/etc/auth.conf
/opt/istgt/etc/istgtcontrol.conf

初期インストール参考用：http://shell.peach.ne.jp/aoyama/archives/1513

MD5 (istgt-20110717-arm.tar.gz) = 61ee36a564ab0c5518e507cbfab1414c
SHA256 (istgt-20110717-arm.tar.gz) = c9f46b9ddd826e5f3817f14d750e8f76b53dc84ec5b27253225d4bbac0a68ef5

arm版の注意点：
QueueDepth 32がデフォルトになったので、armではCPUとメモリが少ないので、
istgt.conf で QueueDepth 16 または QueueDepth 0 を推奨です。

前バージョンはスクリプトに問題があったので、もしも起動せず
プロセスが残ってしまう場合は一旦、

killall istgt

を実行して、プロセスが完全に停止した後に再度セットアップを行ってください。

マルチセッションを使った場合にキューが不足して、
コマンド実行が失敗する問題を修正しました。

万が一失敗した場合は通常OSが再実行するので、実害は少ないのですが、
パフォーマンスが大幅に低下します。

特に experimental mode ではコマンド実行効率が大幅にあがったので、
この問題が発生しやすいです。＜高負荷時など

※各iSCSIターゲットに対して１接続しかない場合はまったく影響を受けません。

istgt (tarball): istgt-20110529.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110529.tar.gz
# cd istgt-20110529
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110529.tar.gz) = 496fda4c93d561340ffc2dbdc503d44f
SHA256 (istgt-20110529.tar.gz) = 51a3bde2177780f1a9cd0b32d3949f5db5e614f8d2c520e408e329778f7c49e0

主な修正点：
マルチセッションの時にキューが不足する問題を修正
ports/156117 を適用

作成・アップグレード方法：

# cd /usr/src
# tar xvf /path/to/iscsi-2.2.4.tar.gz
# tar xvf /path/to/isboot-0.2.4.tar.gz

# make buildkernel
# make installkernel
or
# cd /usr/src/sys/modules/iscsi/isboot
# make obj
# make depend
# make clean
# make all
# make install

インストール後に、新モジュールを適用する為にサーバを再起動してください。
ログで iSCSI boot driver version 0.2.4 が表示される事を確認してください。

主な修正点：
拡張CDBの処理を追加
未使用コードを削除
エラーチェックを強化

ダウンロードリンク：
isboot-0.2.4

ダウンロードリンク(for testing purpose only)：
FreeBSD-8.2-RELEASE-amd64-isboot-0.2.4.iso

FreeBSD-8.2-RELEASE-i386-isboot-0.2.4.iso

unionfs-mkisboot.sh

gPXE + isboot + istgt(参考用)：
http://lists.freebsd.org/pipermail/freebsd-scsi/2010-June/004432.html

ZFS仮想ボリュームとキューイングを使うなど一部の環境でメモリリークにより
予想外の動作をすることがあったのを修正しました。

istgt (tarball): istgt-20110223.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110223.tar.gz
# cd istgt-20110223
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110223.tar.gz) = daf03d011c25681d9f11b4b74f4e47c9
SHA256 (istgt-20110223.tar.gz) = 5ef5663f37932290d973954dc683b64938989ccc856eca08b4075699a22916aa

主な修正点：
メモリリーク問題を修正

10ギガビットの環境で期待通りに伸びなくて頭打ちになる問題を
修正しました。1ギガビット環境でも多少の改善があるかも？
今後も “-m 1″ のexperimental modeでの動作を前提にするので、
マルチコア(4コア以上推奨)＆メモリ潤沢(4GB以上)な事は大前提です。

istgt (tarball): istgt-20110219.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110219.tar.gz
# cd istgt-20110219
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110219.tar.gz) = add36abcc52ea0c1800a31d3b5db87bb
SHA256 (istgt-20110219.tar.gz) = 89980d656547989674c898f4b6244c4f9a06388517125298954807a862d5cb67

主な修正点：
10Gbpsで頭打ちになる問題を修正

コンパイルオプションだと個々の確認が面倒なので、
起動オプションを追加しました。
ここに手を入れるのは何か月ぶりでしょうか。
/etc/rc.confに設定するには istgt_flags に追加します。
デフォルトは “-m 0″ です。

新規の起動オプション：
  -m 0
　　従来の2スレッド稼働方式(20100707互換)
  -m 1
　　新しい3スレッド稼働方式(今後のメイン)

/etc/rc.conf 設定例：

istgt_enable="YES"
istgt_flags="-m 1"

istgt (tarball): istgt-20110103.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110103.tar.gz
# cd istgt-20110103
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110103.tar.gz) = 11dd80da78b1f8f01662bbb9a018c093
SHA256 (istgt-20110103.tar.gz) = 9f889d1e738a477c6f6f3608838f9fad642bcd44ec235d38477e522723d93fed

主な修正点：
ISTGT_DISABLE_SENDER_THREAD を廃止
動作モードを切り替える起動オプションを追加
ダイジェスト機能を有効にすると接続できない問題を修正

今年最初のリリースになります。
前回のはシーケンシャル書き込みが多いと問題が発生します。
まだまだバグがあるので、新設の送信スレッドを無効にする為の定義を
istgt_iscsi.cに追加しました。
従来の挙動で使う場合は先頭の方にあるコメント部分を有効にして
コンパイルしてください。（手抜きです）
なお、「QueueDepth 0」の設定ではスレッド実行する必要がないので
今回の修正はもとから影響を受けません。

istgt (tarball): istgt-20110102.tar.gz

修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20110102.tar.gz
# cd istgt-20110102
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20110102.tar.gz) = b2947d5ecf84802b49824da6f27e3ca8
SHA256 (istgt-20110102.tar.gz) = 02abaf48ea772f08738e7c4b8812fbcf73c708fd0cd90acbffd2a3f6a4277493

主な修正点：
シーケンシャル書き込みの結果を送信スレッドで処理するように変更
ISTGT_DISABLE_SENDER_THREAD を istgt_iscsi.c に追加

今回からFreeBSD8.2もサポート対象にしました。
FreeBSD 7.3以降 or 8.2以降で正しく作成できることを保証します。

今年最後のリリースです。
ちょっとまだ中途半端な感じがしますが、改良版をアップしました。
6コアCPUを最大限に活用する為、スレッド数を2個から3個に分割しました。
今後はシングルコアCPUのパフォーマンスは捨てて、3コア以上で
最大速度が出るように調整する予定です。

※GbE1ポートしかない場合はどのCPUでも大差ない気がします。

いろいろ試したのですが、ZFSの書き込みが遅いらしく、
ランダムライトの性能はあまり期待できなかったです。
きっとローカルキャッシュをすれば幸せになれる気がする。
ランダムリードに関してはちょっとだけ早くなった気がする。
だけど、CPU割り込みがすごくて結構重いです。

 
（クリックで拡大）

この結果から察するにキャッシュに使うSSDは書き込み速度100MB/sを
出せないとあまり意味がない気がする。
とりあえずリードを妨げないように物理メモリ4GB以上をARCに
割り当てた方が良いです。

参考用：
http://shell.peach.ne.jp/aoyama/archives/1292
http://shell.peach.ne.jp/aoyama/archives/1045

istgt (tarball): istgt-20101230.tar.gz
修正版をご利用ください。

作成方法：

# cd /path/to/work
# tar zxf /path/to/istgt-20101230.tar.gz
# cd istgt-20101230
# ./configure
# make
# make install
# make install-doc

デーモンの再起動方法：

# /usr/local/etc/rc.d/istgt restart

MD5 (istgt-20101230.tar.gz) = be7e032b7e61d0c9b66f59e221ff4ebe
SHA256 (istgt-20101230.tar.gz) = 6c39d646a4d1d6b4679709c9aa5c8e83360d11a8a20e9dd502b519265033d5bc

主な修正点：
接続情報のtypo修正(Thanks to Kevin Day)
SCSIステータスとリードデータを送信するスレッドを作成
各PDU毎のメモリ割り当て回数を削減

ZFS(raidz2)とiSCSIとGbEのオーバーヘッドの参考に。
4KBの性能についてはひどいので、近いうちに修正版を出すかも？

この性能を出しているときのCPU使用率は1コアだけ85%ぐらい、
残りの5コアは1～5%ぐらい。（2.9GHz/6コア）
ここから察するに、3.2GHzの8コア以上あれば10Gbpsが処理できそう。

↓デュアルコアだと2Gbpsぐらいしかカバーできない。（使用率ほぼ１００％）

aria# dd if=/dev/zero of=/tmp/test20G.dat bs=1m count=20480
20480+0 records in
20480+0 records out
21474836480 bytes transferred in 93.255702 secs (230279072 bytes/sec)

↓ヘキサコアだと4Gbpsぐらいカバーできそう。（使用率６０～８０％ぐらい）
しかもHDDの台数のせいで頭打ちな感じが…。＠２～３台増やしたほうが（ｒｙ

[root@aria /tmp]# dd if=/dev/zero of=./test3.dat bs=1m count=40960
40960+0 records in
40960+0 records out
42949672960 bytes transferred in 99.046374 secs (433631956 bytes/sec)

設定はあまり調整していないので仮設定です。
で、このマシンを収容するのはPowerConnect 5324になってる。
LACPにすると頭打ちになるのはなんでかなぁ。
クラスC足りなくなったので移行中でめんどい。
そもそも足りない理由がVMの創成だからVMセグメントを分ければ（ｒｙ

～現時点の設定～
/boot/loader.conf:

autoboot_delay="3"
ahci_load="YES"
zfs_load="YES"
kern.maxfiles="32768"
kern.cam.boot_delay=8000
vfs.root.mountfrom="zfs:tank/root-82"
# 16GB/hexa-core/raidz2
vfs.zfs.arc_min="13G"
vfs.zfs.txg.synctime=5
vfs.zfs.txg.timeout=20
vfs.zfs.vdev.max_pending=8
vfs.zfs.zfetch.block_cap=512
vfs.zfs.zfetch.max_streams=16

/etc/sysctl.conf:

kern.ipc.maxsockbuf=16777216
net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.recvbuf_max=16777216
net.inet.tcp.sendbuf_inc=524288
net.inet.tcp.recvbuf_inc=524288
net.inet.tcp.sendspace=524288
net.inet.tcp.recvspace=524288
net.inet.tcp.delayed_ack=0
net.inet.tcp.path_mtu_discovery=0
net.inet.tcp.delacktime=10
net.inet.tcp.inflight.enable=0
net.inet.tcp.hostcache.expire=1

/etc/rc.conf:

defaultrouter="172.18.0.1"
hostname="aria.ad.peach.ne.jp"
# IPv6
ipv6_enable="YES"
ipv6_gateway_enable="NO"
# List of cloned network interfaces
cloned_interfaces="lagg0"
# re0 for SMB
ipv4_addrs_re0="172.18.0.26/16"
#ipv6_prefix_re0="2001:03e0:06cf:18"
# lagg0 for iSCSI/primary
ifconfig_igb0="up"
ifconfig_igb1="up"
ifconfig_lagg0_name="is0"
#ifconfig_is0="laggproto lacp laggport igb0 laggport igb1"
ifconfig_is0="laggproto loadbalance laggport igb0 laggport igb1"
ipv4_addrs_is0="172.16.0.26/16"
ipv6_prefix_is0="2001:03e0:06cf:16"
# em0 for iSCSI/secondary
ifconfig_em0_name="is1"
ipv4_addrs_is1="172.17.0.26/16"
ipv6_prefix_is1="2001:03e0:06cf:17"
# em1 for NFS/Backup
ipv4_addrs_em1="172.19.0.26/16"
ipv6_prefix_em1="2001:03e0:06cf:19"
#ipv4_addrs_em2="172.19.0.27/16"
#ipv6_prefix_em2="2001:03e0:06cf:19"

sshd_enable="YES"
zfs_enable="YES"
powerd_enable="YES"
samba_enable="YES"
istgt_enable="YES"

※12/26 IPアドレス修正、powerd有効化とか
起動情報はこれ。dmesg.boot.gz
※1/1 パラメタ調整、旧IPv4削除、IPv6追加。

利用したパーツは以下の通り、スペアパーツとかからも選択したので若干バランスが良くないですがそのうち変えるかも。
ZFSで利用するの前提なのでメモリはマザーの最大搭載である16GBまで載せました。
※12/17 更新：パーツかえました。
※12/25 更新：CPU使用率が100%に張り付くのでCPUかえました。

ケース JMAX JX-FM500B (MicroATX仕様/リムーバブル7個)
マザー MSI 880GMA-E45 (SATA3.0×6/ATA133x1/USB3.0×2/USB2.0×12/LANx1/DDR3x4)
CPU AMD Athlon II X2 250e (3.0GHz/Dual-core/TDP45W)
CPU AMD Phenom II X6 1065T(2.9GHz/Hexa-core/TDP95W)
メモリ SanMax SMD-8G68HP-13H-D (DDR3-1333/4GB*2枚組) x2
電源 SilverStone Strider plus SST-ST75F-P (750W/80PLUS Silver)
SATAカード 玄人志向 SATA3I2-PCIe (SATA3.0×2)
SATAカード ASRock SATA3 Card (SATA3.0×2/eSATA共有x1)
LANカード Intel Gigabit ET Dual Port Server Adapter (82576)
LANカード Intel Gigabit CT Desktop Adapter (82574L)
LANカード PLANEX GN-1200TW2 (Realtek RTL8169SC)
LANカード Intel PRO/1000 MT Dual Port Server Adapter (82546)
USBメモリ Silicon Power Ultima II I-Series 4GB
HDD Seagate Barracuda LP ST32000542AS (2TB/32MB) x7

OS FreeBSD 8.2 (USBメモリ起動 + ZFS root)

起動時の消費電力は 205W ぐらい、OSが起動して安定すると105Wぐらい。
HDDなしでは69WぐらいなのでHDD一個あたり5Wぐらい。
powerdをいれると10Wぐらい消費電力落ちて95Wぐらいです。
※デュアルポートを刺したら+2Wぐらいになりました。
※X6のアイドル時は115Wぐらい。

HDD単体性能はこれぐらい。

aria# dd if=/dev/ada0 of=/dev/null bs=1m count=1000
1000+0 records in
1000+0 records out
1048576000 bytes transferred in 9.077099 secs (115518845 bytes/sec)

ZFS raidz2(RAID6相当)で20GBのゼロファイルを読書きするとこれぐらい。

aria# dd if=/dev/zero of=/tmp/test20G.dat bs=1m count=20480
20480+0 records in
20480+0 records out
21474836480 bytes transferred in 93.255702 secs (230279072 bytes/sec)

aria# dd if=/tmp/test20G.dat of=/dev/null bs=1m count=20480
20480+0 records in
20480+0 records out
21474836480 bytes transferred in 40.978181 secs (524055385 bytes/sec)

見ての通り524MB/sの読み込みと230MB/sの書き込みができる。
先代の装置がR:260MB/sとW:110MB/sだったので約2倍の性能がある事に。
消費電力も30W以上も下がってるし、いい時代になったものだ。

6コアを使うと素敵な速度に。CPU使用率は60~80%ぐらい。
R:530MB/sとW:430MB/sぐらいで書き込み性能比二倍ぐらい。
価格三倍ぐらい。

[root@aria /tmp]# dd if=./test2.dat of=/dev/null bs=1m
40960+0 records in
40960+0 records out
42949672960 bytes transferred in 81.029247 secs (530051488 bytes/sec)
[root@aria /tmp]# dd if=/dev/zero of=./test3.dat bs=1m count=40960
40960+0 records in
40960+0 records out
42949672960 bytes transferred in 99.046374 secs (433631956 bytes/sec)

ポート割り当てはこんな感じになる予定です。
とりあえず、設定終わるまでオンボードとET dualの１ポートのみをVLANにいれといた。

オンボード(RTL8111DL) => SMB/リモート接続用
ET dual => iSCSI専用
CT => iSCSI or 予備
TW2 => NFS/バックアップタスク用

参考用のdmesgはこんな感じです。（横に長いからスクロールかソースでも見てください。）

[root@aria ~]# cat /var/run/dmesg.boot
Copyright (c) 1992-2010 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 8.2-PRERELEASE #0: Mon Dec 13 04:29:46 JST 2010
    aoyama@aria.ad.peach.ne.jp:/usr/obj/usr/src/sys/GENERIC amd64
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: AMD Athlon(tm) II X2 250e Processor (3000.09-MHz K8-class CPU)
  Origin = "AuthenticAMD"  Id = 0x100f63  Family = 10  Model = 6  Stepping = 3
  Features=0x178bfbff
  Features2=0x802009
  AMD Features=0xee500800
  AMD Features2=0x37ff
  TSC: P-state invariant
real memory  = 17179869184 (16384 MB)
avail memory = 16270336000 (15516 MB)
ACPI APIC Table: <7623MS A7623100>
FreeBSD/SMP: Multiprocessor System Detected: 2 CPUs
FreeBSD/SMP: 1 package(s) x 2 core(s)
 cpu0 (BSP): APIC ID:  0
 cpu1 (AP): APIC ID:  1
ioapic0  irqs 0-23 on motherboard
kbd1 at kbdmux0
acpi0: <7623MS A7623100> on motherboard
acpi0: [ITHREAD]
ACPI Error: [PCI0] Namespace lookup failure, AE_NOT_FOUND (20101013/dswload-772)
ACPI Exception: AE_NOT_FOUND, During name lookup/catalog (20101013/psloop-326)
ACPI Error: Method parse/execution failed [\\] (Node 0xffffffff80b2e160), AE_NOT_FOUND (20101013/psparse-633)
acpi0: Power Button (fixed)
acpi0: reservation of fee00000, 1000 (3) failed
acpi0: reservation of ffb80000, 80000 (3) failed
acpi0: reservation of fec10000, 20 (3) failed
acpi0: reservation of fed80000, 1000 (3) failed
acpi0: reservation of 0, a0000 (3) failed
acpi0: reservation of 100000, cff00000 (3) failed
Timecounter "ACPI-fast" frequency 3579545 Hz quality 1000
acpi_timer0: <32-bit timer at 3.579545MHz> port 0x808-0x80b on acpi0
cpu0:  on acpi0
cpu1:  on acpi0
acpi_hpet0:  iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 14318180 Hz quality 900
pcib0:  port 0xcf8-0xcff on acpi0
pci0:  on pcib0
pcib1:  at device 1.0 on pci0
pci1:  on pcib1
vgapci0:  port 0x3000-0x30ff mem 0xd0000000-0xdfffffff,0xfd7f0000-0xfd7fffff,0xfd600000-0xfd6fffff irq 18 at device 5.0 on pci1
pci1:  at device 5.1 (no driver attached)
pcib2:  irq 18 at device 2.0 on pci0
pci2:  on pcib2
igb0:  port 0x5800-0x581f mem 0xfe4e0000-0xfe4fffff,0xfe000000-0xfe3fffff,0xfe4dc000-0xfe4dffff irq 18 at device 0.0 on pci2
igb0: Using MSIX interrupts with 3 vectors
igb0: [ITHREAD]
igb0: [ITHREAD]
igb0: [ITHREAD]
igb0: Ethernet address: 00:1b:21:49:ec:60
igb1:  port 0x5400-0x541f mem 0xfe4a0000-0xfe4bffff,0xfd800000-0xfdbfffff,0xfe4d8000-0xfe4dbfff irq 19 at device 0.1 on pci2
igb1: Using MSIX interrupts with 3 vectors
igb1: [ITHREAD]
igb1: [ITHREAD]
igb1: [ITHREAD]
igb1: Ethernet address: 00:1b:21:49:ec:61
pcib3:  irq 16 at device 4.0 on pci0
pci3:  on pcib3
em0:  port 0x6800-0x681f mem 0xfe5e0000-0xfe5fffff,0xfe500000-0xfe57ffff,0xfe5dc000-0xfe5dffff irq 16 at device 0.0 on pci3
em0: Using MSIX interrupts with 3 vectors
em0: [ITHREAD]
em0: [ITHREAD]
em0: [ITHREAD]
em0: Ethernet address: 00:1b:21:7d:2c:a3
pcib4:  irq 17 at device 5.0 on pci0
pci4:  on pcib4
re0:  port 0x7800-0x78ff mem 0xfcfff000-0xfcffffff,0xfcff8000-0xfcffbfff irq 17 at device 0.0 on pci4
re0: Using 1 MSI messages
re0: Chip rev. 0x28000000
re0: MAC rev. 0x00000000
miibus0:  on re0
rgephy0:  PHY 1 on miibus0
rgephy0:  10baseT, 10baseT-FDX, 10baseT-FDX-flow, 100baseTX, 100baseTX-FDX, 100baseTX-FDX-flow, 1000baseT, 1000baseT-master, 1000baseT-FDX, 1000baseT-FDX-master, 1000baseT-FDX-flow, 1000baseT-FDX-flow-master, auto, auto-flow
re0: Ethernet address: 6c:62:6d:4e:8c:a5
re0: [FILTER]
pcib5:  irq 18 at device 6.0 on pci0
pci5:  on pcib5
ahci0:  port 0xb800-0xb807,0xb400-0xb403,0xb000-0xb007,0xa800-0xa803,0xa400-0xa40f mem 0xfe7ff800-0xfe7fffff irq 18 at device 0.0 on pci5
ahci0: [ITHREAD]
ahci0: AHCI v1.00 with 2 6Gbps ports, Port Multiplier supported with FBS
ahcich0:  at channel 0 on ahci0
ahcich0: [ITHREAD]
ahcich1:  at channel 1 on ahci0
ahcich1: [ITHREAD]
ahci1:  port 0xa000-0xa007,0x9800-0x9803,0x9400-0x9407,0x9000-0x9003,0x8800-0x880f mem 0xfe7ff400-0xfe7ff40f irq 19 at device 0.1 on pci5
ahci1: AHCI controller reset failure
device_attach: ahci1 attach returned 6
pcib6:  irq 19 at device 7.0 on pci0
pci6:  on pcib6
pci6:  at device 0.0 (no driver attached)
pcib7:  irq 17 at device 9.0 on pci0
pci7:  on pcib7
atapci0:  port 0xd800-0xd807,0xd400-0xd403,0xd000-0xd007,0xc800-0xc803,0xc400-0xc40f irq 17 at device 0.0 on pci7
atapci0: [ITHREAD]
ata2:  on atapci0
ata2: [ITHREAD]
ahci2:  mem 0xfec01000-0xfec013ff at device 17.0 on pci0
ahci2: [ITHREAD]
ahci2: AHCI v1.20 with 6 6Gbps ports, Port Multiplier supported
ahcich2:  at channel 0 on ahci2
ahcich2: [ITHREAD]
ahcich3:  at channel 1 on ahci2
ahcich3: [ITHREAD]
ahcich4:  at channel 2 on ahci2
ahcich4: [ITHREAD]
ahcich5:  at channel 3 on ahci2
ahcich5: [ITHREAD]
ahcich6:  at channel 4 on ahci2
ahcich6: [ITHREAD]
ahcich7:  at channel 5 on ahci2
ahcich7: [ITHREAD]
ohci0:  mem 0xfd5ff000-0xfd5fffff irq 18 at device 18.0 on pci0
ohci0: [ITHREAD]
usbus0:  on ohci0
ehci0:  mem 0xfd5fec00-0xfd5fecff irq 17 at device 18.2 on pci0
ehci0: [ITHREAD]
usbus1: EHCI version 1.0
usbus1:  on ehci0
ohci1:  mem 0xfd5fd000-0xfd5fdfff irq 18 at device 19.0 on pci0
ohci1: [ITHREAD]
usbus2:  on ohci1
ehci1:  mem 0xfd5fe800-0xfd5fe8ff irq 17 at device 19.2 on pci0
ehci1: [ITHREAD]
usbus3: EHCI version 1.0
usbus3:  on ehci1
pci0:  at device 20.0 (no driver attached)
pci0:  at device 20.2 (no driver attached)
isab0:
 at device 20.3 on pci0
isa0:  on isab0
pcib8:  at device 20.4 on pci0
pci8:  on pcib8
em1:  port 0xe800-0xe83f mem 0xfe9e0000-0xfe9fffff irq 20 at device 2.0 on pci8
em1: [FILTER]
em1: Ethernet address: 00:04:23:a8:d4:5c
em2:  port 0xe400-0xe43f mem 0xfe9c0000-0xfe9dffff irq 21 at device 2.1 on pci8
em2: [FILTER]
em2: Ethernet address: 00:04:23:a8:d4:5d
ohci2:  mem 0xfd5fc000-0xfd5fcfff irq 18 at device 20.5 on pci0
ohci2: [ITHREAD]
usbus4:  on ohci2
ohci3:  mem 0xfd5f7000-0xfd5f7fff irq 18 at device 22.0 on pci0
ohci3: [ITHREAD]
usbus5:  on ohci3
ehci2:  mem 0xfd5fe400-0xfd5fe4ff irq 17 at device 22.2 on pci0
ehci2: [ITHREAD]
usbus6: EHCI version 1.0
usbus6:  on ehci2
acpi_button0:
 on acpi0
atrtc0:  port 0x70-0x71 irq 8 on acpi0
atkbdc0:  port 0x60,0x64 irq 1 on acpi0
atkbd0:  irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
atkbd0: [ITHREAD]
psm0:
 irq 12 on atkbdc0
psm0: [GIANT-LOCKED]
psm0: [ITHREAD]
psm0: model IntelliMouse Explorer, device ID 4
uart0: <16550 or compatible> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
uart0: [FILTER]
ppc0:
 port 0x378-0x37f irq 7 on acpi0
ppc0: Generic chipset (NIBBLE-only) in COMPATIBLE mode
ppc0: [ITHREAD]
ppbus0: 
 on ppc0
plip0:
 on ppbus0
plip0: [ITHREAD]
lpt0:
 on ppbus0
lpt0: [ITHREAD]
lpt0: Interrupt-driven port
ppi0:
 on ppbus0
acpi_hpet1:  iomem 0xfed00000-0xfed003ff on acpi0
device_attach: acpi_hpet1 attach returned 12
orm0:  at iomem 0xc0000-0xcefff,0xd2800-0xd37ff on isa0
sc0:  at flags 0x100 on isa0
sc0: VGA <16 virtual consoles, flags=0x300>
vga0:  at port 0x3c0-0x3df iomem 0xa0000-0xbffff on isa0
acpi_throttle0:  on cpu0
hwpstate0:  on cpu0
ZFS filesystem version 4
ZFS storage pool version 15
Timecounters tick every 1.000 msec
usbus0: 12Mbps Full Speed USB v1.0
usbus1: 480Mbps High Speed USB v2.0
usbus2: 12Mbps Full Speed USB v1.0
usbus3: 480Mbps High Speed USB v2.0
usbus4: 12Mbps Full Speed USB v1.0
usbus5: 12Mbps Full Speed USB v1.0
usbus6: 480Mbps High Speed USB v2.0
ugen0.1:  at usbus0
uhub0:  on usbus0
ugen1.1:  at usbus1
uhub1:  on usbus1
ugen2.1:  at usbus2
uhub2:  on usbus2
ugen3.1:  at usbus3
uhub3:  on usbus3
ugen4.1:  at usbus4
uhub4:  on usbus4
ugen5.1:  at usbus5
uhub5:  on usbus5
ugen6.1:  at usbus6
uhub6:  on usbus6
uhub4: 2 ports with 2 removable, self powered
uhub5: 4 ports with 4 removable, self powered
uhub0: 5 ports with 5 removable, self powered
uhub2: 5 ports with 5 removable, self powered
uhub6: 4 ports with 4 removable, self powered
uhub1: 5 ports with 5 removable, self powered
uhub3: 5 ports with 5 removable, self powered
ugen3.2:  at usbus3
umass0:  on usbus3
umass0:  SCSI over Bulk-Only; quirks = 0x0000
umass0:8:0:-1: Attached to scbus8
ada0 at ahcich1 bus 0 scbus1 target 0 lun 0
ada0:  ATA-8 SATA 2.x device
ada0: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada0: Command Queueing enabled
ada0: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada1 at ahcich2 bus 0 scbus2 target 0 lun 0
ada1:  ATA-8 SATA 2.x device
ada1: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada1: Command Queueing enabled
ada1: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada2 at ahcich3 bus 0 scbus3 target 0 lun 0da0 at umass-sim0 bus 0 scbus8 target 0 lun 0
da0:  Removable Direct Access SCSI-0 device
da0: 40.000MB/s transfers
da0: 3822MB (7827456 512 byte sectors: 255H 63S/T 487C)

ada2:  ATA-8 SATA 2.x device
ada2: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada2: Command Queueing enabled
ada2: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada3 at ahcich4 bus 0 scbus4 target 0 lun 0
ada3:  ATA-8 SATA 2.x device
ada3: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada3: Command Queueing enabled
ada3: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada4 at ahcich5 bus 0 scbus5 target 0 lun 0
ada4:  ATA-8 SATA 2.x device
ada4: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada4: Command Queueing enabled
ada4: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada5 at ahcich6 bus 0 scbus6 target 0 lun 0
ada5:  ATA-8 SATA 2.x device
ada5: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada5: Command Queueing enabled
ada5: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
ada6 at ahcich7 bus 0 scbus7 target 0 lun 0
ada6:  ATA-8 SATA 2.x device
ada6: 300.000MB/s transfers (SATA 2.x, UDMA6, PIO 8192bytes)
ada6: Command Queueing enabled
ada6: 1907729MB (3907029168 512 byte sectors: 16H 63S/T 16383C)
SMP: AP CPU #1 Launched!
Trying to mount root from zfs:tank/root-82