THNG K TRONG KH TNG Phan Vn Tn

THỐNG KÊ TRONG KHÍ TƯỢNG Phan Văn Tân Bộ mô Khí tượng

Nội dung môn học • Chương 6. Đánh giá dự báo 6. 1 Khái niệm 6. 2 Đánh giá dự báo các biến liên tục 6. 3 Đánh giá dự báo pha 6. 4 Đánh giá dự báo mưa

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm • • • Thế nào là đánh giá ? Hay đánh giá là gì? Tại sao phải đánh giá? Những mục đích của việc đánh giá? Khái niệm dự báo “tốt” Phác họa bài toán nghiên cứu đánh giá Các dạng/loại dự báo và quan trắc Đồng bộ giữa dự báo và quan trắc Một số kiến thức thống kê cơ bản ứng dụng trong đánh giá So sánh và kết luận Các thuộc tính của đánh giá Những vấn đề khác

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Đánh giá (dự báo) là gì? • Thuật ngữ đánh giá (verify) được hiểu là ¨ để khẳng định hoặc chứng minh một cái gì đó dựa theo qui tắc đã định ¨ để thiết lập một sự thật có tính chân lý, tính chính xác, hoặc một thực tế nào đó ¨ Có thể sử dụng thuật ngữ khác: Thẩm định • Đánh giá là quá trình so sánh các dự báo với các quan trắc có liên quan • Đánh giá là một khía cạnh của việc “đo lường” mức độ tốt của dự báo • Đánh giá là “đo” chất lượng của dự báo

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Tại sao phải đánh giá? • Đánh giá là nhằm các mục đích ¨ Mục đích hành chính ¨ Mục đích khoa học ¨ Mục đích kinh tế

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Tại sao phải đánh giá? • Mục đích hành chính ¨ Theo dõi hiệu suất, hiệu quả của dự báo ¨ Lựa chọn mô hình hoặc cấu hình của mô hình (mô hình có nên được cải tiến không) • Mục đích khoa học ¨ Để chỉ ra và hiệu chỉnh những thiếu sót của mô hình ¨ Để cải thiện chất lượng dự báo • Mục đích kinh tế ¨ Đưa ra những quyết sách có lợi ¨ Ra quyết định đầu tư phát triển các mô hình hoặc hỗ trợ hệ thống

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Tại sao phải đánh giá? • Những lý do khác để tiến hành đánh giá các dự báo khí tượng thủy văn là gì? ¨ Giúp các dự báo viên hiểu được những sai sót của mô hình và lựa chọn các mô hình để ứng dụng trong những điều kiện khác nhau ¨ Giúp người sử dụng thông tin dự báo (users) hiểu được bản chất của những thông tin dự báo (chẳng hạn, dự báo nhiệt độ 10 độ thực tế nghĩa là gì? ) ¨ Chỉ ra những điểm yếu, điểm mạnh, sự khác nhau trong dự báo

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Tại sao phải đánh giá? • Những lý do khác để tiến hành đánh giá các dự báo khí tượng thủy văn là gì? ¨ Giúp các dự báo viên hiểu được những sai sót của mô hình và lựa chọn các mô hình để ứng dụng trong những điều kiện khác nhau ¨ Giúp người sử dụng thông tin dự báo (users) hiểu được bản chất của những thông tin dự báo (chẳng hạn, dự báo nhiệt độ 10 độ thực tế nghĩa là gì? ) ¨ Chỉ ra những điểm yếu, điểm mạnh, sự khác nhau trong dự báo

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Những việc cụ thể cần làm trong đánh giá • Những câu hỏi nào ta cần phải trả lời? ¨ Một số ví dụ: • Mô hình dự báo tốt nhất ở những nơi nào? • Trong những điều kiện nào thì dự báo tốt hơn hoặc kém hơn? • Xác suất dự báo tốt bằng bao nhiêu? • Dự báo có nắm bắt được những dao động tự nhiên của thời tiết không? ¨ Những ví dụ khác?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Những việc cụ thể cần làm trong đánh giá • Các thuộc tính xác định khả năng dự báo có thể đo được là gì? ¨ Câu hỏi này liên quan đến dạng/loại dự báo và quan trắc (dự báo pha, dự báo giá trị yếu tố, …) • Chọn các đặc trưng thống kê/độ đo/đồ thị ¨ Cần phải phù hợp với dạng dự báo và các thuộc tính cần quan tâm ¨ Cần đo lường chất lượng của thuộc tính cần xem xét (tức biểu diễn định lượng chúng)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm về dự báo “tốt” • Phụ thuộc vào chất lượng dự báo và • Phụ thuộc vào thông tin dự báo mà người sử dụng quan tâm

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm về dự báo “tốt” • Kết quả Dự báo sau đây là “tốt” hay “tồi”? • Nhiều cách đánh giá có thể nói rằng đây là dự báo không có kỹ năng và rất không chính xác

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm về dự báo “tốt” • Đối với một người làm quản lý tài nguyên nước (nhà thủy văn) thì đây là dự báo rất tồi !

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm về dự báo “tốt” • Đối với một người làm điều hành không lưu thì đây có thể là một dự báo tốt

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm về dự báo “tốt” • Mỗi đối tượng sử dụng thông tin dự báo có những ý kiến riêng về mức độ “tốt” của dự báo • Các cách đánh giá khác nhau có thể đo được các dạng khác nhau của mức độ dự báo “tốt”

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Mức độ “tốt” của dự báo • Chất lượng dự báo chỉ là một khía cạnh của “độ tốt” của dự báo • Giá trị của dự báo liên hệ với chất lượng dự báo thông qua những mối quan hệ phi tuyến phức tạp ¨ Trong nhiều trường hợp, việc nâng cao chất lượng dự báo (tùy thuộc độ đo nào đó) có thể dẫn đến làm giảm giá trị của dự báo đối với một số người sử dụng thông tin dự báo • Tuy nhiên, một số cách tiếp cận đo lường chất lượng dự báo có thể giúp hiểu biết về độ tốt ¨ Ví dụ: • Cách tiếp cận đánh giá chẩn đoán • Cách tiếp cận dựa trên những đặc điểm mới • Sử dụng nhiều độ đo để biểu diễn nhiều hơn một thuộc tính của hiệu năng dự báo

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Một số gợi ý để nghiên cứu phát triển đánh giá • Người sử dụng quan tâm đến những khía cạnh nào của chất lượng dự báo? • Nêu ra những câu hỏi về đánh giá để ước lượng những thuộc tính/khía cạnh đó • Bài tập: Những câu hỏi và những thuộc tính nào của đánh giá cần được quan tâm đối với … ¨ … những người làm việc trong ngành điện? ¨ … người quản lý an toàn (cấp cứu) của thành phố? ¨ … người phát triển mô hình qui mô vừa?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Một số gợi ý để nghiên cứu phát triển đánh giá • Chỉ ra những quan trắc tương ứng với sự kiện sẽ được dự báo, gồm: ¨ Yếu tố (ví dụ nhiệt độ, giáng thủy) ¨ Độ phân giải thời gian ¨ Độ phân giải không gian và biểu diễn trong không gian ¨ Ngưỡng, pha, v. v • Chỉ ra các thuộc tính đánh giá phức hợp có thể đưa ra câu trả lời cho các câu hỏi cần quan tâm • Lựa chọn các độ đo và đồ thị thích hợp để đo và biểu diễn các thuộc tính cần quan tâm • Chỉ ra chuẩn so sánh làm tham khảo của kỹ năng (ví dụ dự báo quán tính, dự báo khí hậu, mô hình cũ)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Các dạng dự báo và quan trắc • Các biến liên tục ¨ Nhiệt độ ¨ Lượng mưa ¨ Độ cao mực 500 mb • Pha ¨ Hai pha (hiện tượng) • Có mưa – không mưa • Gió mạnh – gió không mạnh • Sương giá ban đêm – không có sương giá • Thường tạo thành dạng CÓ/KHÔNG ¨ Nhiều pha • Các pha lượng mây • Các dạng giáng thủy ¨ Có thể là kết quả của việc chia khoảng các biến liên tục thành các pha

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Các dạng dự báo và quan trắc • Xác suất ¨ Quan trắc có thể là khoảng giá trị, nhiều pha, hoặc biến liên tục • Sự xuất hiện giáng thủy (Có/Không) • Dạng giáng thủy • Phân bố nhiệt độ ¨ Dự báo có thể là: • Giá trị xác suất đơn lẻ (phân bố 1 chiều) • Xác suất phức hợp (phân bố xác suất rời rạc đối với nhiều pha) • Phân bố liên tục ¨ Đối với khoảng giá trị hoặc nhiều pha các giá trị xác suất có thể bị giới hạn đến các giá trị nhất định • Tổ hợp ¨ Lặp lại nhiều lần dự báo pha hoặc liên tục ¨ Có thể được biến đổi về phân bố xác suất ¨ Các quan trắc có thể liên tục, phân khoảng hoặc đa pha

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Đồng bộ số liệu giữa dự báo và quan trắc • Có thể đây là phần khó nhất của quá trình đánh giá • Nhiều nhân tố cần được đưa vào xem xét ¨ Xác định được quan trắc mà chúng biểu thị sự kiện dự báo • Ví dụ: Giáng thủy tích lũy qua từng giờ tại một điểm ¨ Đối với dự báo cho trên lưới có nhiều tùy chọn để đồng bộ hóa giữa dự báo và quan trắc • Điểm về lưới – Đồng bộ quan trắc với điểm lưới gần nhất • Lưới về điểm: – Sử dụng phương pháp nội suy? – Lấy giá trị lớn nhất?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Đồng bộ số liệu giữa dự báo và quan trắc • Điểm về lưới và lưới về điểm • Cách đồng bộ hóa số liệu có thể ảnh hưởng tới kết quả đánh giá

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Đồng bộ số liệu giữa dự báo và quan trắc • Ví dụ: ¨ Hai cách tiếp cận: • Đưa lượng mưa đo được tại trạm về điểm lưới gần nhất • Nội suy các giá trị lưới về vị trí trạm – Giả thiết thô: trọng số bằng nhau ¨ Sự khác nhau của kết quả liên quan với phương pháp đồng bộ số liệu: Sai số “biểu diễn”

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Đồng bộ số liệu giữa dự báo và quan trắc Tóm lại • Không nên sử dụng số liệu phân tích của mô hình thay cho số liệu quan trắc để đánh giá • Tại sao? ? ¨ Vấn đề ở chỗ: Tính không độc lập !!

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Điểm kỹ năng • Điểm kỹ năng là độ đo hiệu năng tương đối ¨ Ví dụ: Mô hình dự báo nhiệt độ chính xác hơn dự báo khí hậu bao nhiêu? ¨ Điểm kỹ năng là để so sánh với một chuẩn nào đó • Định nghĩa chung của điểm kỹ năng là trong đó M là độ đo của đánh giá đối với dự báo, Mref là độ đo của dự báo tham khảo, Mperf là độ đo của dự báo hoàn hảo • Có xu hướng dương (càng lớn càng tốt)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Điểm kỹ năng • Nói chung điểm kỹ năng cũng là một độ đo có tính bất định (tức là có thể không duy nhất) ¨ Với cách xác định độ đo đánh giá khác nhau có thể dẫn đến trị số điểm kỹ năng khác nhau ¨ Ví dụ: Khi đánh giá chất lượng dự báo mưa của mô hình, cách chia ngưỡng để tính các chỉ số đánh giá khác nhau có thể nhận được điểm kỹ năng khác nhau • Sự bất định của điểm kỹ năng có thể do: ¨ Sự biến động của tập mẫu ¨ Sai số quan trắc ¨ Sai số trong cách biểu diễn ¨ Và những nguyên nhân khác

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 1 Khái niệm Các thuộc tính của đánh giá • Là những đặc tính cần xem xét để đánh giá những khía cạnh khác nhau của chất lượng dự báo ¨ Bias (sai số, độ lệch) ¨ Correlation (Tương quan) ¨ Accuracy (Độ chính xác) ¨ Calibration (Hiệu chỉnh) ¨ Discrimination (Phân lớp, phân biệt)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Đồ thị tụ điểm: • Vẽ đồ thị tụ điểm trên hệ trục tọa độ Dự báo – Quan trắc • Dự báo hoàn hảo (Fcs=Obs): Các điểm nằm trên đường chéo 45 độ • Đồ thị cung cấp thông tin về: ¨ ¨ ¨ Sai số độ lệch, Các điểm nằm ngoài (quá xa), Độ lớn của sai số, Quan hệ tuyến tính, Những sai số đặc biệt lớn liên quan đến các cực trị, ¨ Dự báo sai và dự báo khống (liên quan với bảng ngẫu nhiên)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Đồ thị Q–Q: • Vẽ đồ thị điểm trên hệ trục tọa độ Phân vị Dự báo – Phân vị Quan trắc • Dự báo hoàn hảo: Fcs=Obs F(qp) = P(X<qp) = p

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Khảo sát Bias Đồ thị Q–Q Đồ thị tụ điểm Dự báo có xu hướng thấp hơn quan trắc ?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Khảo sát Bias Đồ thị Q–Q Đồ thị tụ điểm Có gì bất thường ở dải nhiệt độ thấp ?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Khảo sát Bias quá xa Đồ thị tụ điểm Biến động ở dải nhiệt độ cao ? Điểm nằm quá xa ?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Phân tích định lượng sai số • • • Bao nhiêu trường hợp dự báo có sai số lớn hơn 10 độ? Bao nhiêu trường hợp dự báo có sai số lớn hơn 5 độ? Có phải sai số dự báo chủ yếu là thiên âm (dự báo nhỏ hơn quan trắc) hoặc thiên dương (F lớn hơn O) Đồ thị tụ điểm

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Sử dụng đồ thị tụ điểm như bảng ngẫu nhiên (Contingency) • Độ chính xác của dự báo khi xét ngưỡng nhiệt độ trên 18 độ (trái), dưới 10 độ (phải)?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Sử dụng đồ thị tụ điểm như bảng ngẫu nhiên (Contingency) Phân tích những tính chất cực trị • Dự báo nhiệt độ >10 o như thế nào? ¨ ¨ ¨ Bao nhiêu t/hợp Dự báo sai? Bao nhiêu t/hợp Dự báo khống? Có trường hợp nào dự báo nhiệt độ thấp hơn/cao hơn 10 o? • Dự báo nắm bắt nhiệt độ <– 20 o như thế nào? ¨ ¨ ¨ Bao nhiêu t/hợp Dự báo sai? Có còn sự kiện dự báo sai/dự báo khống nào nữa không? Nhiệt độ tối thấp dự báo so với quan trắc như thế nào?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Sử dụng đồ thị hộp và đặc trưng phân bố • Độ tập trung • Độ phân tán

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các phương pháp khảo sát Phân bố có điều kiện

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các điểm đánh giá (Các chỉ tiêu đánh giá) 1. Sai số trung bình (Mean Error): Tính chất: Đo độ lệch • Chỉ ra xu hướng trung bình của sai số: Độ lệch dương là dự báo lớn hơn quan trắc, âm là dự báo nhỏ hơn quan trắc (F-Dự báo, OQuan trắc) • Không chỉ ra được độ lớn của sai số • Hiệu chỉnh bias (bias correction): Việc cải thiện dự báo sai (dự báo khống) sẽ phải trả giá cho dự báo khống (dự báo sai) ¨ Nếu chính xác hóa bias tại những nơi dự báo lơn hơn thì làm tăng hay giảm dự báo khống? Và đối với dự báo sai thì sao? • Nguyên tắc thực hành tốt: Mẫu sử dụng để ước lượng bias correction nên nhất quán với tập mẫu đã hiệu chỉnh (chẳng hạn, phân biệt mùa đông và mùa hè)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các điểm đánh giá (Các chỉ tiêu đánh giá) 2. Sai số trung bình tuyệt đối (Mean Absolute Error): Tính chất: Đo độ chính xác • • Là trung bình độ lớn các sai số Là điểm tuyến tính Các sai số có cùng trọng số Không chỉ ra xu hướng của sai số, mà chỉ là độ lớn sai số Q: Nếu ME tương đương với MAE thì việc thực hiện hiệu chỉnh bias là chắc chắn, nếu MAE >> ME thì việc thực hiện hiệu chỉnh bias là nguy hiểm. Tại sao? • A: Nếu MAE >> ME có nghĩa là các sai số dương và sai số âm đã khử lẫn nhau khi ước lượng bias

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các điểm đánh giá (Các chỉ tiêu đánh giá) 3. Sai số bình phương trung bình (Mean Square Error): Tính chất: Đo độ chính xác • Là trung bình của bình phương các sai số: Dùng để đo độ lớn của sai số (trọng số trung bình là bình phương của sai số) • Không chỉ ra xu hướng của sai số • Sai số càng lớn thì trọng số càng lớn: ¨ Nhạy cảm với những giá trị lớn (chẳng hạn giáng thủy) và nằm xa phía ngoài; ¨ Nhạy cảm với những dao động lớn (các mô hình phân giải cao); ¨ Nên dùng với những dự báo ổn định (chẳng hạn dự báo khí hậu) ¨ Nhạy cảm với những sai số lớn (vì được bình phương lên)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các điểm đánh giá (Các chỉ tiêu đánh giá) 4. Sai số quân phương (Root Mean Square Error): Tính chất: Đo độ chính xác • Đo độ lớn của sai số và có cùng thứ nguyên với biến dự báo • Có các tính chất tương tự MSE: ¨ Không chỉ ra hướng của sai số; ¨ Nhạy cảm với các sai số lớn • Chú ý: RMSE luôn lớn hơn hoặc bằng MAE (RMSE ≥ MAE) • Q: Nếu đánh giá hai tập số liệu, một tập nhận được RMSE >> MAE, tập khác lại thấy RMSE ≳ MAE, vậy tập nào có khả năng hơn có chứa những sai số quá lớn (quá xa)? Tập nào có phương sai lớn hơn?

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các điểm đánh giá (Các chỉ tiêu đánh giá) 5. Hệ số tương quan (Correlation Coefficient): Tính chất: Đo mối liên hệ tuyến tính • Dùng để đo mối quan hệ tuyến tính giữa dự báo và quan trắc • Nó không nhạy với bias • Hệ số tương quan tự nó không cung cấp thông tin về độ nghiêng của đường hồi qui; • Nó chỉ phản ánh quan hệ đồng biến hay nghịch biến • Nhạy cảm với những giá trị lớn, tản mạn

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các điểm đánh giá (Các chỉ tiêu đánh giá) 6. Điểm kỹ năng của các biến liên tục Tính chất: Biến thiên trong khoảng (- ; +1). Giá trị lý tưởng là +1 • Đo độ chính xác của dự báo hiện tại khi so sánh với độ chính xác của một dự báo tham khảo (dự báo chuẩn) nào đó: ¨ Giá trị dương: Có kỹ năng; ¨ Giá trị âm: Không có kỹ năng

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các điểm đánh giá (Các chỉ tiêu đánh giá) • Điểm kỹ năng của MAE • trong đó: ¨ MAE: Điểm đánh giá của dự báo hiện tại ¨ MAEref: Điểm của dự báo tham khảo ¨ MAEperf: Điểm của dự báo hoàn hảo (=0) • Dự báo tham khảo có thể là: ¨ Dự báo quán tính: Thích hợp khi hệ số tương quan thời gian > 0. 5 ¨ Thông tin khí hậu dựa trên tập mẫu: information only a posteriority ¨ Thông tin khí hậu thực: information a priority

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 2 Đánh giá dự báo các biến liên tục Các điểm đánh giá (Các chỉ tiêu đánh giá) • Điểm kỹ năng của MSE • Nhạy cảm đối với kích thước mẫu (tính ổn định) và thông tin khí hậu dựa trên mẫu (các cực trị): Cần có tập mẫu lớn • Độ giảm phương sai (RV): Là điểm kỹ năng so với khí hậu. Do đó, nếu tập mẫu khí hậu được sử dụng thì Hệ số tương quan tuyến tính Hệ số góc của đường hồi qui: a 1=(s. O/s. F)/r. FO Bias

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha Dự báo pha và các biến phân hạng • Dự báo hiện tượng – Dự báo hai pha • Dạng nhị phân (0/1) ¨ ¨ ¨ Mưa – Không mưa Mưa tuyết – Không mưa tuyết Gió mạnh – Không có gió mạnh Sương giá ban đêm – Không có sương giá Sương mù – Không có sương mù • Thường qui về dạng Có/Không (Yes/No)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha Dự báo pha và các biến phân hạng • Dự báo nhiều pha ¨ Mưa dạng lỏng Có thể chia thành nhiều ¨ Mưa tuyết cấp khác nhau, nhiều khoảng khác nhau ¨ Gió mạnh • Các pha vẫn có dạng Có/Không (0/1) Dạng nhị phân

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha Bảng ngẫu nhiên

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha Bảng ngẫu nhiên • a: Dự báo đúng hiện tượng CÓ xuất hiện • d: Dự báo đúng hiện tượng KHÔNG xuất hiện • c: Dự báo sai (Hiện tượng CÓ xuất hiện nhưng dự báo hiện tượng KHÔNG xuất hiện) • b: Dự báo khống (Hiện tượng KHÔNG xuất hiện nhưng dự báo CÓ hiện tượng xuất hiện) • a+c=Số trường hợp quan trắc CÓ hiện tượng • b+d=Số trường hợp quan trắc KHÔNG CÓ hiện tượng • a+b=Số trường hợp dự báo CÓ hiện tượng xuất hiện • c+d=Số trường hợp dự báo KHÔNG CÓ hiện tượng xuất hiện

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha Bảng ngẫu nhiên • Ví dụ: Kết quả dự báo mưa của mô hình và số liệu quan trắc: • Sự kiện cần đánh giá: Lượng mưa tích lũy 24 h >0. 1 • Ở đây lượng mưa được chia thành hai cấp ứng với hai sự kiện: ¨ R>0. 1 ¨ R 0. 1

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO • Không cần làm dự báo, chỉ cần ngày nào cũng nói “không có”, 6. 2 Đánh giá dự báo pha độ chính xác còn cao hơn (!) Chú ý cần nhớ

KHÔNG dự báo đúng, KHÔNG dự báo sai, QUÁ NHIỀU dự báo sót ! Kết quả ban đầu Cần phải đưa vào một số chỉ số đánh giá (hay điểm đánh giá – Score)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 1. Chỉ số FBI (Frequency Bias Index)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 1. Chỉ số FBI (Frequency Bias Index) • FBI không phản ánh được mức độ chính xác của dự báo đúng Ø a=0, b=c FBI=1

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 2. Chỉ số PC (Proportion Correct) • Không dùng để đánh giá các sự kiện cực trị, sự kiện hiếm

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 3. Chỉ số POD (Probability Of Detection) hay H (Hit Rate) • Nhạy với dự báo sai chứ không phải với dự báo khống • Có thể được cải thiện một cách giả tạo do dự báo vượt quá • Là phần bù của chỉ số Miss Rate MR = 1 -H = c/(a+c)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 4. Chỉ số FAR (False Alarm Ratio) • Nhạy với dự báo khống chứ không phải với dự báo sai • Có thể được cải thiện một cách giả tạo do dự báo thấp (ít) hơn • POD tăng thì FAR giảm và ngược lại

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 5. Chỉ số PAG (Post Agreement) • Là phần bù của FAR (=1–FAR) • Nhạy với dự báo khống chứ không phải đối với dự báo sai • Ít được sử dụng rộng rãi

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 6. Chỉ số False Alarm Rate hay Probability of False Detection (POFD) • Chỉ nhạy với dự báo khống (không phải với dự báo sai) • Có thể bị cải thiện một cách giả tạo do dự báo thấp (ít) hơn • Thường sử dụng với H (hoặc POD)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 7. Chỉ số Threat Score (TS) hay Critical Success Index (CSI) • Thường dùng cho các sự kiện hiếm • Đưa vào tính cả dự báo đúng, dự báo sai và dự báo khống do đó cân bằng hơn POD hoặc FAR • Không tính đến dự báo đúng những t/h hiện tượng KHÔNG x/h • Nhạy đối với tần suất khí hậu của hiện tượng

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 8. Chỉ số Equitable Threat Score (ETS) hay Gilbert Skill Score (GSS) • Dùng để đánh giá khả năng dự báo đúng do nhân tố ngẫu nhiên (dự báo ngẫu nhiên)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 9. Chỉ số Hanssen & Kuiper’s Skill Score hay True Skill Statistics (KSS) • Kết hợp các chỉ số kỹ năng H & F • Đánh giá khả năng tách biệt những t/h CÓ (H) ra khỏi những t/h KHÔNG (F) • Đối với những sự kiện hiếm: d lớn F nhỏ KSS gần với POD

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 10. Chỉ số Heidke Skill Score (HSS) Dạng đơn giản hơn

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 10. Chỉ số Heidke Skill Score (HSS) • Là một trong những độ đo kỹ năng phổ biến đối với dự báo pha • Đánh giá (đo) được phần cải thiện vượt trên dự báo ngẫu nhiên • Có thể được so sánh trên các tập mẫu khác nhau

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 11. Chỉ số Odds Ratio (OR) (Tạm gọi là tỷ số khác biệt)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha 11. Chỉ số Odds Ratio (OR) (Tạm gọi là tỷ số khác biệt) • Đo khả năng dự báo đúng theo chỉ số H so với mức độ báo động sai theo chỉ số F: • Không phụ thuộc vào độ lệch tiềm tàng giữa quan trắc và dự báo • Khi chuyển sang điểm số kỹ năng, phạm vi biến thiên là – 1 đến 1: • Rất ít được dùng trong đánh giá cho khí tượng

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha • Bảng tóm tắt

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha • Bảng tóm tắt Tên gọi Frequency Bias Index Proportion Correct Probability Of Detection, Hit Rate False Alarm Ratio Post Agreement False Alarm Rate, Probability of False Detection Threat Score, Critical Success Index Equitable Threat Score, Gilbert Skill Score Hanssen & Kuiper’s Skill Score, True Skill Statistics Heidke Skill Score Ký hiệu B, FBI Công thức tính (a+b)/(a+c) Miền giá Giá trị lý Mực không trị tưởng kỹ năng 0 1 PC (a+d)/n 0 1 1 POD, H a/(a+c) 0 1 1 FAR b/(a+b) 0 1 0 PAG a/(a+b) 0 1 1 F, POFD b/(b+d) 0 1 0 TS, CSI 0 1 1 0 1 0 a/(a+b+c) ETS, GSS (a ar)/(a+b+c ar); 1/3 1 ar=(a+b)(a+c)/n KSS, TSS (ad bc)/[(a+c)(b+d)] 1 1 (=H F) HSS (PC ref)/(1 ref); 1 ref=[(a+b)(a+c)+(b+d) (c+d)]/n 2

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha • Đánh giá dự báo nhiều pha (>2 pha) • Là sự mở rộng của trường hợp dự báo 2 pha ¨ Dạng giáng thủy: Mưa (nước lỏng)/tuyết/băng: k=3 ¨ Cảnh báo gió: Gió rất mạnh/gió không mạnh: k=3 • Chỉ có chỉ số PC (Proportion Correct) có thể tính được trực tiếp ¨ Ví dụ PC=(r+v+z)/

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha • Đánh giá dự báo nhiều pha (>2 pha) • Để tính các chỉ số khác cần phải chuyển đổi về các bảng ngẫu nhiên dạng 2 x 2 (hai pha)

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 3 Đánh giá dự báo pha • Đánh giá dự báo nhiều pha (>2 pha) • Các chỉ số KSS và HSS được tính theo công thức • Trong đó ¨ p(fi, oi) là xác suất có điều kiện của dự báo fi khi cho trước quan trắc oi của pha i ¨ p(fi), p(oi) tương ứng là xác suất riêng của dự báo và quan trắc của pha i

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 4 Đánh giá dự mưa • Những khái niệm cơ bản • Đặc điểm của đánh giá dự báo mưa ¨ Mưa là một trường bất liên tục ¨ Mưa có thể được xét như đánh giá dự báo hiện tượng, dự báo pha, dự báo yếu tố (định lượng mưa) ¨ Tùy thuộc vào mục đích của bài toán, có thể đánh giá theo các chỉ tiêu khác nhau: • Sự phù hợp về diện mưa • Sự phù hợp về lượng mưa • Kết hợp đánh giá giữa diện mưa và các cấp định lượng mưa • Lượng mưa tích lũy trong một khoảng thời gian: từng 6 h, 12 h, 24 h, 48 h, … hoặc tổng lượng mưa trung bình tháng, năm, hoặc lượng mưa trung bình ngày của tháng, đợt, …

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 4 Đánh giá dự mưa • Số liệu • Để tính các chỉ số đánh giá, cần có hai tập số liệu: ¨ Số liệu dự báo (sản phẩm dự báo của mô hình) ¨ Số liệu quan trắc • Các tập số liệu này phải đồng bộ: ¨ Hoặc được cho trên lưới mô hình ¨ Hoặc được cho tại các vị trí trạm quan trắc • Với số liệu cho trên lưới mô hình: ¨ Cần nội suy (phân tích khách quan) số liệu quan trắc về lưới • Với số liệu cho tại các trạm quan trắc: ¨ Cần nội suy số liệu dự báo của mô hình về vị trí trạm • Nói chung mỗi phương pháp đều có những ưu, nhược điểm riêng

CHƯƠNG 6. ĐÁNH GIÁ DỰ BÁO 6. 4 Đánh giá dự mưa • Chọn ngưỡng (phân cấp lượng mưa)