Waferbased clustering Featurebased approach Modelbased clustering 1 2
相關研究 方法概要 優點 缺點 Wafer-based clustering Feature-based approach Model-based clustering [1] [2] [3] 以晶圓圖之原始資料位置 透過特徵擷取做為輸入來 以各種不同機率密度函數 進行分群。 源。 描述晶圓圖原始資料 可以自行學習 特徵擷取後, 可以辨別 新的錯誤樣式 可降低運算量 多重錯誤樣式 不具有旋轉不變特性,需 特徵不夠多,對大資料集 運用在大資料集仍需較高 要更高的運算成本 鑑別能力有限 的成本 [1] F. L. Chen and S. F. Liu, “A neural-network approach to recognize defect spatial pattern in semiconductor fabrication, ” IEEE Trans. Semicond. Manuf. , vol. 13, no. 3, pp. 366– 373, Aug. 2000. [2] K. W. Tobin, S. S. Gleason, T. P. Karnowski, S. L. Cohen and F. Lakhani, “Automatic classification of spatial signatures on semiconductor wafer maps, ” in Proc. Metrology, Inspection, and Process Control for Microlithography, 1997, pp. 434– 444. [3] J. Y. Hwang and W. Kuo, “Model-based clustering for integrated circuits yield enhancement, ” Eur. J. Oper. Res. , vol. 178, 4 /36
研究方法 Radon特徵 (1/2) g(ρ, θ) is the response of projection 9 /36
研究方法 其他特徵 (1/2) 以晶圓圖 2× 2 binary pattern的數量為特徵值 (Dimension = 15) � 計算一片晶圓上,每一種 2× 2 binary pattern各出現幾次,最後用 晶圓圖晶粒數量正規化。 Random 4 types 6 types 4 types 2× 2 binary pattern Loc 1 types 11 /36
實驗結果與分析 晶圓圖資料集簡介 資料名稱 Big die dataset 晶粒數量 (Die count) 300至 500 類別 訓練資料 測試資料 Center 168 128 資料集各種類 Local 1025 988 別數量(片) Near-full 34 43 Random 1262 1259 None 8881 8922 Total 11370 11340 (單位:%) 訓練資料 測試資料 錯誤樣式 (Pattern) 比例 21. 9 21. 4 非錯誤樣式 (None) 比例 78. 1 78. 6 13 /36
實驗結果與分析 實驗設定說明-參數設定 (5/5) 分類器資訊 � LIBSVM – A Library for Support Vector Machines, Chih-Jen Lin, NTU � Type of kernel function: Radial basis function (RBF) � SVM weighted parameter: 依訓練資料每種類別資料數量比例而定 18 /36
實驗結果與分析 實驗設定說明-效能評估方式 (1/2) Test accuracy – 測試資料整體的辨識率結果 Predicted result Ground truth 1 st stage 2 nd stage Combine two stages 20 /36
實驗結果與分析 實驗設定說明-效能評估方式 (2/2) Remove “none” test accuracy – 僅計算測試資料中錯誤樣式 (Pattern)部分 辨識率 (如4× 5的藍色框框所示) Predicted result Ground truth 類別 測試資料 Center 128 Local 988 Near-full 43 Random 1259 None 8922 Total 11340 21 /36
實驗一 以晶圓圖 2× 2 binary pattern的數量為特徵值 Before: Geometry + Radon + Corner detection (291 dim) Test accuracy = 94. 1 % Remove “none” test accuracy = 90. 7 % After: Geometry + Radon + Corner detection + 2× 2 binary pattern (306 dim) Test accuracy = 94. 2 % Remove “none” test accuracy = 91. 0 % 22 /36
實驗二 以晶圓圖上的轉角點數量為特徵值 Before: Geometry + Radon + 2× 2 binary pattern (305 dim) Test accuracy = 93. 6 % Remove “none” test accuracy = 88. 8 % After: Geometry + Radon + Corner detection + 2× 2 binary pattern (306 dim) Test accuracy = 94. 2 % Remove “none” test accuracy = 91. 0 % 23 /36
實驗三 透過特徵選取提升辨識結果 (3/3) Before feature Selection: After feature selection: Geometry + Radon+ Miscellaneous (306 dim) Selected feature (163 dim) Test accuracy = 94. 2 % Test accuracy = 94. 4 % Remove “none” test accuracy = 91. 0 % Remove “none” test accuracy = 92. 1% 特徵種類 特徵選取前(Dim) 特徵選取後(Dim) Geometry 198 103 Radon 92 51 Miscellaneous 16 9 Total 306 163 26 /36
實驗四 降維實驗 (2/2) Before dimensionality reduction After dimensionality reduction (PCA+LDA) Geometry + Radon+ Miscellaneous (306 dim) Projected features (114 dim) Test accuracy = 94. 2 % Test accuracy = 95. 9 % Remove “none” test accuracy = 91. 0 % Remove “none” test accuracy = 91. 1 % 降維實驗前 (306 dim) 降維實驗後 (114 dim) 訓練時間 36. 00 10. 20 測試時間 26. 21 5. 04 (單位:秒) 28 /36
實驗結果分析 將所有實驗特徵加入後 特徵值種類 維度 辨識率結果 (%) (Remove “none” test accuracy ) 2× 2 binary pattern(15) 15 67. 2 Corner detection (1) 1 42. 0 2× 2 binary pattern(15) + Corner detection (1) 16 69. 5 Geometry (198) + Radon (92) + 2× 2 binary pattern (15) 305 88. 8 Geometry (198) + Radon (92) + Corner detection (1) 291 90. 7 Geometry (198) + Radon (92) + 2× 2 binary pattern (15) + Corner detection (1) 306 91. 0 After feature selection 163 92. 1 After dimensionality reduction 114 91. 1 所需時間 (s) 平均時間 (s/per wafer) 特徵擷取時間 4860. 4 0. 2140 訓練時間 34. 1 0. 0030 測試時間 24. 94 0. 0022 29 /36
實驗五 與現有方法比較 (1/2) 實驗設定 � 以晶圓圖原始資料分類 G. E. Hinton, “Training a deep autoencoder or a classifier on MNIST digits. ” � 以晶圓圖原始位置為分類器輸入 (dim=300) 分類器:Deep neural network (DNN) 透過特徵擷取做為輸入資料分類 K. W. Tobin, S. Gleason, T. P. Karnowski, S. L. Cohen and F. Lakhani, “Automatic classification of spatial signatures on semiconductor wafer maps. ” 以raw image moment 為特徵值 (Order = 5 (�� <5, �� <5 , dim = 25)) 30 分類器: Fuzzy k-nearest-neighbor /36
實驗五 與現有方法比較 (2/2) 以晶圓原始資料分類 以 image moment 為特徵 本論文方法(特徵選取後) Method 以晶圓原始資料分類 以 image moment 為特徵 本論文方法 Dimension 300 25 163 Test accuracy (%) 83. 3 87. 6 94. 4 Remove “none” test accuracy (%) 60. 5 55. 8 92. 1 31 /36
錯誤分析 (2/3) 未知的錯誤樣式 (13/560 = 2%) Ground truth Center Random Prediction Loc 兩者皆可的情況 (403/560 = 72%) Ground truth Random Prediction Center Loc 33 /36
錯誤分析 (3/3) 人 標記錯誤 (40/560 = 7%) 其他 (104/560 = 19%) Wafer failure type analysis interface Ground truth Loc Near-full Prediction None Random 34 Ground truth Loc Prediction None /36
Thank you 36 /36
- Slides: 36