1 Cache Memory 1 Cache MemoryCPUBottleneck Hierarchy of

メモリに関する話題（1） - Cache Memory (1) - Cache • • Memory-CPUボトルネック/Bottleneck メモリ階層性/Hierarchy of Memory メモリ構造/Memory Structure : SRAM/DRAM Cache（キャッシュ）メモリ • • Cacheの発明/Innovation of Cache構造/ Cache Structure Mapping 方式/Methods Cache組み込みのキーポイント/Optimization of Cache • Mapping parametersによる効率（ミス率） Efficiency (Miss rate) with Mapping methods/parameters • 更新方式/書き込み制御　Replacement/Restoring • cacheが有効でない場合（実行プログラム特性） Cases that the cache works inefficiently (Characteristics of programs) 福永　力; Chikara Fukunaga 1

フォンノイマンボトルネック（隘路） Von Neumann Bottleneck • 「プログラム内蔵方式のコンピュータ（フォンノイマン型）」はプロセッサ のプログラム実行時のメモリ参照に弱点がある． Computer architecture with the “stored program method” needs frequent access of memory for program execution. • 通常メモリのアクセススピードはプロセッサの計算スピードに較べて 遅い Memory access rates are lower than ones of Arithmetic-Logical processes • メモリアクセススピードによってプログラムの実行性能が規定される The memory access rate becomes one of the important parameters for the overall performance of the processor. ⇒フォンノイマン型（Von Neumann） ボトルネック（Bottleneck） 福永　力; Chikara Fukunaga 2

メモリの階層性とCache hierarchy of the storage and Cache • • Register : FF circuits Cache : Bipolar, CMOS SRAM Main Storage : SRAM, DRAM Disk Cache : DRAM • 早いメモリは消費電力 発熱量が高い． Memories with high access rate have high power dissipation and consequently high thermal emission. 福永　力; Chikara Fukunaga 3

SRAM構造 structure Static Read Access Memory Cell Structure (1 bit) 福永　力; Chikara Fukunaga 4

DRAM構造 Dynamic RAM structure • 構造が簡単、記憶原理が簡単 Simple structure and storage method • コンデンサの充電（1）・放電（0）による記憶 Charge-up (1) and empty (0) of a capacitors make the 1 bit information in the memory • 自然放電に対してRefresh動作が必要 Refresh cycle is required to refrain from the natural discharge of capacitors • 読み出しは充電されていた電荷の放出→ 破壊的読み出し→W線全体の再書き込み Readout makes the discharge of capacitors, which means a destructive readout, we need re-reading for a W line to keep info. 福永　力; Chikara Fukunaga 5

プログラムのもつ局所性 Locality of a program • プログラムの特徴としての局所性（Locality） • ある短い時間に限ってみるとメモリのある特定の領域の情報（命 令＋データ）のみで動作 A program is operated with the instructions and data stored in a limited region of the MS in small time interval • 情報の再利用あるいは近辺の情報の参照による情報更新 Information is updated with the re-use of it and the reference of neighbourhood info. • メモリ参照の局所性(locality of the memory reference) • temporal locality（時間的） • spatial locality（空間） 福永　力; Chikara Fukunaga 6

Cacheの登場 Introduction of Cache • よく参照されるデータの特殊領域への待避（ボトルネックの解消） We needed a temporally small storage to keep a copy of frequently accessed parts in the Main Storage (MS) in order to eliminate the bottle-neck between CPU and MS. • それは効率的に局所性を再現するもの でなくてはならない It must simulate the parts of MS efficiently. • 時間にともなう内容変化に対応 The contents must be changed with time ⇒　⇒ • Cacheの登場 / Development of Cache • Cacheの組み込み Installation of Cache between MS and the main processor 福永　力; Chikara Fukunaga 7

Cacheの内部構成 Cache - conceptual structure • 抽象化されたCacheの構造 Abstracted structure of Cache • コントロール部（アドレス デコーダとtag，コンパ レータ）とCacheメモリ部 Control block (the address decoder, tags, the comparator) and the Cache memory (SRAM) • Main Storage (MS) のアドレス とtagの素早い参照が重要（Mapping） Efficient mapping between the actual address in the Main storage (MS) with tag is issue for cache design • データの格納法にもさまざまな 夫 Pick up of hot blocks in MS and Storage of them in cache are also very important items for cache construction 福永　力; Chikara Fukunaga 8

いくつかの基本データ Several Basic Data for Cache • • • Block size : 1024~4096 Byte Hit cycle : 1 clock or more Miss Penalty : 8~32 clock Miss rate : 1%~20% Cache size : 1 k~1 M Byte • Memory (MS) accessing: handled as 2 dim. Array of row and column for Physically Linear Array of Memory 福永　力; Chikara Fukunaga 9

MSからCacheへのデータ選択法 Mapping method from MS to Cache Mapping Method セクター Sector ダイレクトマップ Direct Mapping フルアソシエーティブ Full Associative n-way セットアソシエーティブ n-way set associative Mechanism Characteristics きめ細やかのMSの領域（ブロッ ク）の写像 The most sophisticated algorithm for mapping アドレス変換に 1ステップ必要 Address conversion from tagging needs an another hardware step 比較的簡単なマッピング Simple mapping ブロックの構成によっては効率悪 い Inefficiency will be observed もっとも直感的なマッピング Simplest idea for mapping Tag→アドレス変換が複雑 The conversion between address and tag is complicated ダイレクトマップとフルアソシエー ティブ方法の折衷 Mixed idea of Direct Mapping & Full Associative 福永　力; Chikara Fukunaga 今一般的に使われている 11

セクタ方式 Sector Mapping Method • Memory Segment：例　Example Row（10 bit addr），Block（1024 Byte, 16 Block/Row） • Max. 16 blocks for 1 Row can be registered in cache at once • Dataのvalidity bit (validity bit for data in a block) • invalid bitであれば同じブロックのメインストレージからの再読み込み If valid bit is off (invalid), reread the columns from the Main Storage • Tag = 10 bit address（Row addr. ） & 16 bit tagged column pattern/block • Tag match & valid bit → any block in the Row can be used (cache hit) • If Tag match & invalid bit → blocks must be retransferred • If Tag mismatch, exchange an old Row with new (now required) 福永　力; Chikara Fukunaga 12

ダイレクトマップ方式 Direct Map method • 各Rowにつき、ただ 1つのblockが選ばれcache登録されうる Only a block in a Row can be registered in cache. • Tagは単純にRowの順番．例えばBlockのcolumn番号をtagに記録する． Tag number is simply the number of the row (Tag 0 for Row 0, Tag 1 for Row 1, etc. ) Tag contains the column number in the row in which the cached block is assigned. • Tagとメインアドレスの比較は 10 bit以下のcolumn番号のみでよいので制御は容易 Matching algorithm of tag and the address in the MS is therefore simple • 1 rowにつき1個のブロックしかcacheできない．特定のrowに所属するブロックへの アクセスが集中すると効率は悪くなる． Since only a block can be cached for one row, the efficiency will be worsen if accesses are concentrated into several blocks in the same row 福永　力; Chikara Fukunaga 13

フルアソシエーティブ方式 Full Associative mapping • MSとcache間の対応はBlockで行うがその他の対応はなにもしない． A block is used still as a unit for mapping between cache and MS, but nothing others. • 任意のブロックがcacheの任意の位置に記録される． No sequential ordering. First block comes in the first free block in Cache • メインストレージの実アドレスとtagはフルにブロック番号で比較させ，一致をと るので制御機構が複雑 Matching of the tag and the address in MS is complicated since it needs full bit comparison. • 使用頻度の高い複数ブロックの無制限有効利用 Effective use of highly frequently referred blocks without restriction 福永　力; Chikara Fukunaga 14

(n-way) セットアソシエーティブ方式 (n-way) Set Associative mapping • ダイレクトマップとフーリーアソシエーティブ方式の折衷案 Combined method of the direct and fully associative mapping • cache内で記録block数が1 rowで 1個 だったものを複数個に拡大．この複数 のblock数をwayと呼ぶ． Extension of number of blocks in a row from one to n (unit is called way) of the direct mapping method • 以下の例は 2 -way, 6 bit row addr. 、 8 bit column addr. The example here is 2 way 6 bit row address, 8 bit column address 福永　力; Chikara Fukunaga 15

16 -way セットアソシエーティブ構成例 16 -way Set Associative Mapping Cache-Example 福永　力; Chikara Fukunaga 16

Cache構成のキーポイント（1） Optimization of Cache (1) • Cacheメモリの容量 Capacity of Cache Memory • ブロックサイズ Size of a block • マッピング方式の選択 Selection of Mapping methods • セットアソシエーティブwayの数とrow数（set数） Number of ways and Rows for the Set Associative Mapping 福永　力; Chikara Fukunaga 17

Cache構成のキーポイント（2） Optimization of Cache (2) • Replacement方式 Cache memory replacement method • Restore動作- 更新アルゴリズム Restoring of Cache data – rewrite algorithm • Compulsory（初動遅延; Initial delay; cache initial state） • Conflict：ブロック集中アクセスによるミス （ダイレクトマップ，セットアソシエーティブ） Conflict: Miss with concentrated access of particular blocks (Direct, Set-associative Mapping) • 実行プログラムの特性（データアクセスの効率） Data access characteristics of programs run on the machine 福永　力; Chikara Fukunaga 18

Cacheパラメータ変更によるMiss rate実測値例 Measurement of Miss rate with Cache parameters Cache size From Hennessy & Patterson, CA A Quantum Approach 4 th ed. 8, 4, 2, 1 • • • Cache capacity → increase, capacity miss，conflict miss → decrease (Fig. C 9) Number of ways → increase, conflict miss rate → decrease (Fig. C 9) Block size → decrease, inefficient (Fig. C 10) Block size → increase, miss rate → increase (Fig. C 10) 1 ways miss rate ~ cache size 50% of 2 ways (Fig. C 9) Cache size double → miss rate sqrt(2) (Fig. C 9) 福永　力; Chikara Fukunaga 19

リプレースメント（旧データの追出し）方式 Replacement (Kick out) of old unused contents • ミスヒットによるcache更新時のデータ追出しアルゴリズム Algorithm for the kick-out of old data with miss-hit • Invalid bitタグのブロックの追放 Invalid tag bit to indicate the useless block • LRU（Least Recently Used）ブロックの認定・追放 Recognition of Least Recently Used Block, and kick it out • 履歴用（タイムスタンプ）のtag bitを必要とする need a time stamp information for each block • FIFO（First-In First-Out） • 最古参ブロックから追い出し The block entered first must be purged out first • LRUより制御機構が簡単 (Simpler control logic than LRU, just sequence) • ブロックのランダム抽出（Random Selection） • 時間にかかわらずどのブロックのアクセス頻度は同じであろうという考え方 The frequency of access to any blocks will be more-or-less constant regardless of the time • Cache Access Counter for each block • cacheアクセスごと，あるいはクロックごとにカウンターを増やす．カウンター値と同じライ ンのブロックを追放，そしてカウンターリセット Count up with clock or access, and if it exceeds some limit, it will be candidate to be purged 福永　力; Chikara Fukunaga 20

データCache 書き込み制御 Restoring Control • キャッシュ一貫性制御ともいう It is also called “Cache Coherence Control”. • Data cacheのみが対象 The operation is applied to the Data cache. • データ更新にともなうメインストレージへの再書き 込み • ストアスルーあるいはライトスルー （Store-Through or Write-Through） • ストアイン，ライトバックあるいはコピーバック （Store-In, Write-Back or Copy-Back） 福永　力; Chikara Fukunaga 21

ストア（ライト）スルー Store（Write）-Through • 書き込みデータのブロックがcacheでヒット（Write Cache hit）した場合， cacheデータとMSともに更新（Write） If the block to be modified by write is found in Cache (Write Cache hit), Both contents in cache and MS are modified. • Write Cache missした場合，MSの対応ブロックのデータ更新するとともに If Write Cache miss, the corresponding block in the MS is updated but also • cacheに当該ブロックを読込みMSとcacheをともに更新（Write Allocate），ある いは The block is also refilled into the cache, and it is updated, or • cacheは何もせずMSのみ変更 No touch with the cache (only the MS will be affected). • ライトバッファ（Write Buffer） • メインストレージへのアクセス中CPU処理がストールされてしまう．この期間 を最小限にするために中間バッファ（ライトバッファ）を持つ必要がある． We need a special buffer called “Write Buffer” in order to keep minimize the access time of the MS to avoid stalls in the CPU pipeline. 福永　力; Chikara Fukunaga 22

ストアインあるいはライト（コピー）バック （Store In or Write（Copy）-Back） • Write Cache hitした場合，cacheのみ変更（Dirty） If write Cache hit, only Cache is modified (Dirty) • Write Cache missした場合，必ずMSからcacheへ当該ブロックを読込 み，cacheのみを変更しcacheとMSとで当該ブロックのある値が異なる という旨をマークしておく． （clean bitをOFF → dirty） If Write Cache miss, always the corresponding block is load into the Cache from the MS and is modified only in the cache. The block is marked up with “dirty” from “clean”. • このブロックがcacheから追出されるときにメインストレージを更新する （ライトバック）． （clean bitをON → clean） If this block is once kicked out, the MS is updated, and the block is backed to “clean”. • Readではcacheのhit/missにかかわらずclean The block is kept “clean” for Read case regardless of the hit/miss. 福永　力; Chikara Fukunaga 23

ストアイン（ライトバック）キャッシュの状態遷移 State Transition Diagram for Store In (Write back) Cache mechanism 福永　力; Chikara Fukunaga 24

cacheの多重（マルチ）レベル化 Multi-Level Cache • L 1，L 2 • Victim（n-wayセットアソシエーティブ法 cacheの追い出されたデータ保持用） Victim buffer for temporal storage buffer for blocks kicked out in the n-way set associative mapping. 福永　力; Chikara Fukunaga 25

cacheが有効でない場合（1） Some cases that the cache is not effective (1) • 長い（要素の多い）ベクトル計算 Calculation of Long one dimensional arrays • データ量がcacheサイズを越えるとパ フォーマンスの低下が見える If the size exceeds the cache block size, the degradation of the performance • サイズのみでなくcacheの構成をも考 慮したプログラミングの配慮が必要 If the cache is structured in multi-level, the programming must be optimized with this structure. Performance (rate) MFLOPS C=C + A[i] * B[i] 福永　力; Chikara Fukunaga 配列長 Array size QCD (Physics) 配列長 Array size 26

cacheが有効でない場合（2） Some cases that the cache is not effective (2) • 行列計算の繰り返し順序 Loop order for Matrix multiplication of Zij=ΣXik・Ykj • CとFortranでは異なることも． Optimization of C and Fortran is different. 福永　力; Chikara Fukunaga 27