MultiCore Background of MultiCore CMOS CMOS transistor Typical

マルチコア/Multi-Core • マルチコア化の背景 Background of Multi-Core • CMOSトランジスタ CMOS transistor • マルチコアプロセッサの一般的構成 Typical structures of Multi-Core • 技術的課題点 Technical issues • Cache一貫性（コヒーレンス）制御 Cache coherence control • むずかしいパラレル化 Parallelization 福永　力；Chikara Fukunaga 1

マルチコア化の背景 Background of Multi-Core • トランジスタ微細構造化の限界 Problems arisen from the fine structure process of transistors • Un-ignorable Increase of Leak current（漏れ電流）（coming from CMOS structure）→ Upper limit of Drive Frequency （動作周波数） • Core 2 has made with CMOS of Gate length 45 nm→ 22 nm • 消費電力の限界 Problems arisen from the power consumption • TDP：limit of Thermal Design Power（最大放熱量） with present drive freq. • Such a processor will no longer be adopted for mobile devices • Heat generation（発熱量） >> Heat radiation power（放熱量） • 単体プロセッサ設計の問題 Problems arisen from the single core design • Limit of h/w design complexity （複雑化設計）beyond Super-scalar/pipeline • IPC will not be exceeded over four（IPC>4は無理か？） 福永　力；Chikara Fukunaga 2

CMOS構造と原理 CMOS structure • CMOS=Complementary Metal Oxide Semiconductor （相補 的金属酸化膜半導体） • p. MOSとn. MOSで論理回路を構成 Both p. MOS and n. MOS together makes logical circuits gate（poly-silicon） Oxygen Metal wiring Guarde Insulator p. MOS Well Substrate Source Drain 福永　力；Chikara Fukunaga n. MOS 3

マルチコア化/Towards Multi-Core Multi-core Parallel & freq. 30% lower Processor performance • デザインルールが小さくなり多数のコ アを 1チップに組み込める． Many cores can be put into a chip with lower design rule. • マルチコアで性能向上を今までと同じ Parallel & freq. ように維持できる． 50% lower Maintains performance upgrade with Single core Multi-Core • 単体に求められる演算性能は 1/（コア の数）と低く抑えられる． Performance requirement for a core =1/number of cores Speed up with design rule→ Design rule helps no speed up→ • 低電圧電源で低消費電力 Lower driving power and lower power consumption Design rule (gate width) • プロセスに余裕を持たせられる．例え 日経エレクトロニクス（Nikkei Electronics） 2004. 8. 30 ばゲート酸化膜を厚くしリークカレント Pentium 4 180 nm （2000） の低減をはかることができる． Pentium D Sufficient space for a transistor (thick 90 nm（2005） gate → low leak current) 福永　力；Chikara Fukunaga 4

マルチコア実装技術 Issues of Multi-Core Implementation • 利点ばかりではなく技術的に注意すべき問題も山積している． Many issues for Multi-core designs beside various advantages • マルチコア対応プログラミングについても課題が多くある Software technology (parallelization) for Multi-Cores is still problematic Original: 日経エレクトロニクス（Nikkei Electronics） 2004年 8月30日 福永　力；Chikara Fukunaga 5

マルチコアの構成例 Multi-Core configuration • 共有バス結合 Common bus coupling type • 集中共有メモリ方式 Shared memory type • 分散メモリ方式 Distributed memory type • 相互結合ネットワーク Mutual coupling network • 例えばTPcoreのネットワーク Tpcore is a Flagship processor developed by Fukunaga’s lab. since 2005 Tpcore とは福永研のフラッグシッププロセッサ； 2005 福永　力；Chikara Fukunaga 6

• • 共有バス結合（1） Shared Bus coupling (1) 集中共有メモリ方式 Shared Memory type • データの共有によるプログラミングの 容易さ Relatively easier programming due to shared data handling • バスの負荷増加によるスケジューリン グとバス主導権の調停の困難さ Heavy load of the shared bus and difficulty to control bus initiative among cores (Arbitration) • cacheのコヒーレンシ（各コア間，共有メ モリのデータ一致度） Difficulty to maintain the cache coherency もしMPU 1…nが同種のプロセッサであれば、 これを対称マルチプロセッサ（SMP）構成と 呼ぶ．あるいはUMA（Uniform Memory Architecture） This is called Symmetric Multi-processor (SMP) Architecture if all the MPUs are homogeny or UMA (Uniform Memory Architecture) 福永　力；Chikara Fukunaga 7

共有バス結合（2） Shared bus coupling (2) • 分散メモリ方式 Distributed Memory structure • • • 共有バスのアクセス競合を減らす Try to reduce access conflict with own memory space プログラミングの負荷はやや増す．分 散配置されているメモリは仮想的に統 一されて扱う． Load of program will increase. Memory localized are treated as if a part of shared memory virtually. Called also as NUMA（Non Uniform Memory Architecture) • 多くは共有メモリと分散メモリ方式 の混合として存在する． Normally actual chips are realized as mixture of shared memory and distributed memory architectures 福永　力；Chikara Fukunaga 8

Multi-Coreバス構成例（1） Examples of Multi-Core Architecture (1) • ルネサス/Renesas SH 4（RISC） Multi-Core SH 7786 SH-4 A Core× 2 （SMP or Anti-SMP configurable） • Local Memory & Shared Memory mixed architecture 26 bit Address & 32 bit Data bus 533 MHz External Memories 福永　力；Chikara Fukunaga 9

Multi-Coreバス構成例（2） Examples of Multi-Core Architecture (2) • CELL chip (IBM, Toshiba, Sony Computer Ent. ; SCEI) • • Power. PC Processor Element; PPE (main) (× 1) Synergetic Processor Element; SPE (sub) (× 8) Asymmetric Multi Processor (ASMP) configuration EIB (Element Interconnect Bus) 128 bit× 4 福永　力；Chikara Fukunaga 10

CELL chip processor elements • PPE (64 bit Power. PC) • For execution of OS or Application main • Control of External main memory, IO and SPE • In-order 2 -way Super scalar, 2 -way Multi-thred • SPE for Arithmetic calculation, multi-media • 128 bit SIMD type RISC, In-order 2 way 32 k. B 32 k. B 256 k. B Local Memory 512 k. B 福永　力；Chikara Fukunaga for access of other SPE data 11

マルチコア下でのCache構成の問題点 Cache problem with Multi-Core m 1, m 2はMS mのそれぞれのプロセッサでcacheコ ピーとする． Assume m 1 and m 2 as cache copies of m in MS. （1）　MPU 1はm 1をaに変更（store），m 2はどう すべきか？ What action MPU 2 should take for m 2 if MPU 1 write “a” on m 1? （2）　MPUnが共有メモリからオリジナルmのアド レスをcacheに読み込みたいが（1）の後では どれを参照すべきか？ MPUn needs to refill m in MS into own cache. What it should do after (1)? （3）　MPUnがオリジナルmのアドレスへのwriteア クセスでcacheミスしたため直接（共有）メモ り上で（ライトスルーなので）データを書き換 えたい，どうするか？ MPUn made cache miss at writing to original m (under the Write through mode), what should MPUn do to the original m? 福永　力；Chikara Fukunaga 12

Cache Coherency（一貫性） • プロセッサが任意のメモリ（共有or分散）をread accessして常に最新のデータが 取得できることが必須． A processor should get always the newest data if it makes read access to memory (shared or distributed). • これはプロセッサh/wで保証されなければならない． This rule must be guarantied with the processor h/w. キャッシュ書き込み制御機構：Restoring rules for cache 1. Write BackがMulti-core cacheで通常採用される．共有バスに負荷かからない ． Write Back cache architecture is normally used for Multi-cores in order to reduce load to the shared bus. 2. Cache R/W miss でのRefill時に/At refill for Cache R/W miss • Write Update：そのblockをキャッシュにもつすべてのプロセッサに対してupdateを リクエスト The “Update” request sent to processors which share the block. • Write Invalidate: そのblockをキャッシュにもつ全プロセッサにinvalidateリクエスト The “invalidate” request sent to all processors which share the block. 福永　力；Chikara Fukunaga 13

ディレクトリによるCache変更の連絡・確認 Communication and confirmation with Directory system for cache coherency control • ディレクトリ方式（一元管理） Directory Control Method (unified control) • 各プロセッサは自分のmemory copyがどのプロセッサで共有さ れているか登録するtableをもつ． Each processor has a table which contains the processor numbers with which the own memory block is shared copied. • もしあるプロセッサがblockを変更したらどのプロセッサにその 変更を連絡すればよいか素早く確認できる． If a processor modified a block, the processor can quickly identify the processors to whom this status modification should send. • しかしこれは分散メモリ形式に有効．共有バス方式では次の方 法snoopingによる分散管理が主に利用される． This directory method is mainly applied to the multi-core with completely distributed memory architecture. Snooping is used normally for shared bus type architecture 福永　力；Chikara Fukunaga 14

SnoopによるCache状態の確認 Check of a cache block with snoop • ブロードキャスト・スヌープ/ Broadcast Snoop （Snoop=詮索，かぎ回り） • Coherent requestが r/w cacheミス時にバスを通してなされる Coherent request to all the processors via the shared bus at cache r/w miss. • どのプロセッサもcache snoopを行いリフィルされるblockがあるか ないか、あればcleanかdirtyかチェック Every processor makes cache snooping to check any block to be refilled is in the cache or is even clean or dirty if exists. • もしそのblock がdirtyで見つかったならそのデータをWrite backで 返すべき．そのblockがオーナ状態となる． If the block is found but dirty, the data should be written back, the block is transited to owner state. • Cleanであればinvalidかshared stateとしておく． If the block is found but clean, the block is transited into shared or invalid state. 福永　力；Chikara Fukunaga 15

ストアイン（ライトバック）キャッシュの 状態遷移（シングルコア） Cache with Direct Map Architecture Local cache Main Storage Dark blue cells dirty Right blue cells clean 福永　力；Chikara Fukunaga 16

Multi-core Cache状態遷移図による管理 Management of Multi-core cache with state transition diagram new → • M(odified): Data mismatch btwn MS (Main Storage) and cache (dirty) the block not found in caches of other processors • S(hared): Data match btwn MS and cache (clean) the block found in caches of other processors • E(xclusive): Data match btwn MS and cache (clean) the block not found in caches of other processors • I(nvalid): state right after reset or one with command “invalidate” （ no data available） • 0（wner or Owned): Data mismatch btwn MS and cache (dirty) the block found in caches of other processors 福永　力；Chikara Fukunaga 17

MSIプロトコル MSI protocol • あるメモリブロックがClean状態を他のプ ロセッサのキャッシュと共有している、し ていないを区別しない． Clean (Share) state is not distinguished with shared or not shared with cashes of other processors • Read/Write Missともにbus snoopが必要 Bus snoop is necessary at both R/W miss • もしblock keepが自分のみで他のプロセ ッサのcacheにはないにもかかわらずbus snoopするので無駄なsnoop（バストラフィ ック）が発生する． Even if only this processor has a copy of block in cache, it asks always bus snoop with read cache miss. Many unnecessary snoop on shared bus. 福永　力；Chikara Fukunaga 18

MESIプロトコル • Clean状態を 2つに分け る．Shared、Exclusive ほとんどがExclusiveだと 想定される．その場合 Read Miss時もsnoopせ ずBusに無駄なトラフィッ クを発生させない． Two states Shared and Exclusive for Clean state. No snoop at Read Miss to keep reduce bus traffic. • 多くのMulti-Coreで採用 されている．Power. PC, Intel Core 2 Many Multi-Cores uses this protocol presently. 福永　力；Chikara Fukunaga 19

同時マルチスレッド Review （Simultaneous Multi-Thread; SMT） • SMTはSingle core内でOSあるいは専 用h/wが複数Thread実行を制御して いた． OS or some specific h/w controls the multi-thread execution • SMTよりSuper scalarの有効利用が進 み眠っている各種資源を同時に独立 に実行させることができIPCが向上し た． Effective usage of a super-scalar has been established by introduction of SMT, several independent resources can work in parallel for every purpose. • スレッドレベル並列化（TLP）の推進が さらなるSMTプロセッサの効率を高め ると期待される． Development of Thread level parallelization technique will enhance the effectiveness of an SMT processor. 福永　力；Chikara Fukunaga 20

同時マルチスレッドからMulti-Core from SMT • 元来マルチプロセス（タスク）システムはOSで制御され，複数プロセス で資源の取り合いなどを防ぐ技術が開発されてきた（スピンロック，セ マフォア，CSP）． Originally multi-task process execution has been controlled under an OS, and developed technology to avoid conflict in multi-process environment is applied in OS (Spin rock, semaphore, CSP etc. ) • この技術をOSレベルからハードウェアレベルに引き下げ，多くのスレ ッドを適切にマルチコアを構成するプロセッサに分散配置させて割当 て最適化された並列処理環境を実現できるかどうかが課題 This technology must be implemented in hardware of a Multi-Core system or individual core. There is an issue to make an optimized parallel processing system totally in h/w environment of MC • もちろんこの技術開発には古くて新しい課題である並列処理システ ムのさまざまな問題を解決していかなければならない We need to solve various old and new problems inherent in parallel processing system for the above issue． 福永　力；Chikara Fukunaga 21