Detector for LHCb experiment MBsec PByear ATLAS Detector

次期陽子陽子衝突型実験 Detector for LHCb experiment 取得データ量 １００ MB/sec ↓ １ PB/year これを３４ヶ国の １８５０人が利用する (ATLASの場合) Detector for ALICE experiment 2001/09/28 Linux Conference 2001 4

多階層型地域解析センターモデル Multi-Tier Regional Center Scheme ~PBytes/sec Online System Bunch crossing per 25 nsecs. 100 triggers per second Event is ~1 MByte in size Tier 1 France Regional Center ~100 MBytes/sec ~622 Mbits/sec or Air Freight Italy Regional Center Workstations 2001/09/28 US Regional Center ~4 TIPS ~2. 4 Gbits/sec Tier 2 Center Tier 2 Center ~1 TIPS ~1 TIPS ~622 Mbits/sec Institute ~0. 25 TIPS CERN Computer Center >20 TIPS Tier 0 Tier 2 Physics data cache PC (1999) = ~15 Spec. Int 95 Offline Farm ~20 TIPS ~100 MBytes/sec Germany Regional Center Tier 3 1 TIPS = 25, 000 Spec. Int 95 Institute 100 - 1000 Mbits/sec Physicists work on analysis “channels”. Each institute has ~10 physicists working on one or more channels Data for these channels should be cached by the institute server Linux Conference 2001 Tier 4 6 24 March 2000, WW A/C Panel, P. Capiluppi

WANでのデータ転送（１） • 標準設定 • 拡大図 RTT 25 Mbps ( KEK-CERN Backup Network ) 2001/09/28 Linux Conference 2001 11

いろんなWindow Size • いろいろ 2001/09/28 • “cwnd” Linux Conference 2001 14

輻輳発生時 • win = 256 K 2001/09/28 • “cwnd” Linux Conference 2001 15

RTTとWindow Size • RTTが小さいとき time 5: (cwnd = 6) 送 → seg 6 seg 5 seg 4 → 受 送 ← ack 1 ack 2 ack 3 ← 受 • RTTが大きいとき RTTが大きい時に利用 効率を上げるためには 広いWindow Sizeが必要 time 10: (cwnd = 6) seg 6 seg 5 seg 4 ack 1 ack 2 ack 3 →受 ←受 time 15: (cwnd = 16) 送 → seg 16 seg 15 seg 14 seg 13 seg 12 seg 11 seg 10 seg 9 送 ← ack 1 ack 2 ack 3 ack 4 ack 5 ack 6 ack 7 ack 8 →受 ←受 2001/09/28 Linux Conference 2001 16

Gigabit Ethernetの測定例 Transfer speed in Mbit/s 990 Mbps ネットワーク性能 Server. Set. IIILEチップセット搭載機 （64 bit. PCI付き） はっきし言って バケモンである 恐るべしServer. Set. . . Message size in KB 2001/09/28 Linux Conference 2001 21

Testbed セットアップ (1) Delay : 300 msec 192. 168. 148. 105: eth 2 Gigabit-Ethernet GB+FE Hub Pentium. III 733 MHz 128 MB / SSIIILE Router (Free. BSD) Fast-Ethernet GB+FE Hub eth 1: 192. 168. 158. 103 Pentium. III 800 MHz 256 MB / P 3 B-F Host A (Linux) 2001/09/28 Gigabit-Ethernet Fast-Ethernet 192. 168. 148. 101: eth 1 Destination Gateway default gw 1. kek. jp 192. 168. 158. 0 192. 168. 148. 105 eth 1: 192. 168. 158. 105 Pentium. III 800 MHz 256 MB / P 3 B-F Host a (Linux) Iface eth 0 eth 1 Destination Gateway default gw 1. kek. jp 192. 168. 148. 0 192. 168. 158. 105 Linux Conference 2001 Iface eth 0 eth 1 24

こうなってます • FE(16)+GB(2) Hub • ぼろい. . . ルータマシン 2001/09/28 Linux Conference 2001 25

シミュレータを利用した測定（１） • Window SizeとThroughput (Linux 2. 2の場合） 700 kbytesまでは上昇するがそのあとが伸びない 2001/09/28 Linux Conference 2001 27

パフォーマンスが伸びない理由 • tcpdumpで追っかけてみると 15: 43: 02. 772309 15: 43: 02. 772312 15: 43: 02. 772315 15: 43: 02. 772317 15: 43: 02. 772320 > > > foo 01. 1133 > > > foo 02. 1338: P P P 2202409: 2203857(1448) 2203857: 2205305(1448) 2205305: 2206753(1448) 2208201: 2209649(1448) 2209649: 2211097(1448) ack ack ack 1 1 1 • セグメント 2206753: 2208201(1448) が抜けている • NICの種類を変えても再現するので、おそらくネッ トワークカーネルのバグ？ 2001/09/28 Linux Conference 2001 28

シミュレータを利用した測定（３） • Window SizeとThroughput (Linux 2. 2の場合） Parallel ConnectionによりThroughputが上昇している 2001/09/28 Linux Conference 2001 31

シミュレータを利用した測定（４） • Window SizeとThroughput (Linux 2. 2の場合） 同時にSlow Startを始めるとパフォーマンスが出ない 2001/09/28 Linux Conference 2001 35

Testbed セットアップ (2) Delay : 300 msec Pentium. III 800 MHz 256 MB / P 3 B-F Host A (Linux) Pentium. III 800 MHz 256 MB / P 2 XBL Host B (Linux) Pentium. III 733 MHz 128 MB / SSIIILE Router (Free. BSD) FE+GB Hub Pentium. III 600 MHz 256 MB / P 6 SBA Host C (Linux) Pentium. III 800 MHz x 2 256 MB / Tiger 100 Host D (Linux) 2001/09/28 Gigabit Fast Pentium. III 800 MHz 256 MB / P 3 B-F Host a (Linux) Pentium. III 800 MHz 256 MB / P 2 XBL Host b (Linux) Pentium. III 450 MHz 128 MB / P 2 B-F Host c (Linux) Linux Conference 2001 Pentium. III 800 MHz x 2 256 MB / Tiger 100 Host d (Linux) 36