Ln k hoch v qun l d n

Lên kế hoạch và quản lý dự án Tham khảo chương 3 * Paulraj Ponniah, Data warehousing fundamentals, John Wiley & Sons Inc. , 2001

Mục tiêu của chương • Trình bày nội dung bản chất của lập kế hoạch cho một kho dữ liệu • Phân biệt được một dự án DW với một dự án hệ thống OLTP • Tích hợp với tiếp cận chu trình sống của một dự án DW • Lưu ý một số dấu hiệu dự báo và yếu tố thành công

Lý do lên kế hoạch dự án DW: • Nhiều lỗi và nhiều yếu tố gây ra lỗi (xem hỏi – đáp ở trên) • Lên kế hoạch không đúng đắn và quản lý dự án không toàn diện hướng tới kết quả lỗi: hơn mọi nhân tố khác • Tác dụng của việc lên kế hoạch • Lưu ý với dự án HTTT: các tài liệu công bố từ 50% - 80% dự án không thành công (Khái niệm dự án, dự án thành công)

Một số vấn đề cốt lõi: • Đặt ra các mục tiêu đúng, định đúng giá trị của DW được xây dựng • Định giá được rủi ro: quan trọng hơn sự thiếu hụt về định giá của dự án • Lựa chọn cách tiếp cận: chú ý tài liệu mô tả cách tiếp cận • Xây dựng hoặc mua DW: Vấn đề chính của mọi tổ chức. Không ai xây dựng DW chỉ thông qua bàn luận sơ sài theo lập trình nội bộ. Nhiều nội dung cần phải tính toán như § bao nhiêu Data. Mark tự xây dựng? § bao nhiêu DMark trong số đó kết hợp với giải pháp đã có ? § Các kiểu trộn và ghép nào sẽ được làm ? • Mua cũng là phương án hiệu quả.

• Một số lựa chọn: Nhà cung cấp đơn hoặc nhiều nhà cung cấp “lựa chọn tốt nhất”. • Mỗi phương án có lợi thế tương ứng (xem phần dưới: nhà • cung cấp đơn như IBM, NCR có nhiều kinh nghiệm) Giải pháp cung cấp đơn có một vài lợi điểm • Tích hợp công cụ mức cao Xem xét và nắm bắt không đổi Cộng tác liền nét các thành phần Quản lý thông tin tập trung Giá tổng hợp không đáng kể Lợi điểm chính của giải pháp lựa chọn đặc thù tốt nhất mà kết hợp nhiều nhà cung cấp Xây dựng được môi trường phù hợp khớp tới tổ chức Không cần dàn xếp giữa CSDL và công cụ hỗ trợ Chọn được sản phẩm phù hợp nhất với chức năng

MỘT SỐ CHỦ ĐỀ CHÍNH • Dẫn dắt quá trình xây dựng KDL là do Nhu cầu về kinh doanh mà không phải là công nghệ • Nhân tố thành công: cần đảm bảo nhu cầu từ quản lý và điều hành: “Dự án KDL không có hỗ trợ đầy đủ từ quản lý cao nhất và không có sự đầu tư mạnh và nhiệt tình thì bị sẽ kết án trong một ngày”. • Tính lợi ích và luận giải. Lợi ích thực sự của Dự án KDL chỉ xuất hiện sau khi người dùng đã áp dụng toàn diện; Lưu ý, việc tính toán luận giải ích lợi từ Dự án KDL không dễ dàng nên nhiều công ty đã không giới thiệu được quá trình KDL với một phân tích luận giải về giá thành đầy đủ; Một số ích lợi: § § § Ích lợi từ tích hợp dữ liệu Tăng cường chất lượng dữ liệu Dễ dàng truy nhập thông tin

• • • Một số thông tin chung tất yếu - yếu tố nguyên thủy của báo cáo tổng quan Sứ mạng và chức năng của mỗi nhóm người dùng Hệ thống máy tính dùng cho nhóm Chỉ số hiệu năng chính đánh giá nhóm người dùng Các yếu tố tác động tới thành công của nhóm người dùng Khách hàng và phương pháp phân loại Kiểu dữ liệu nắm vết cho khách hàng (cá thể và nhóm) Sản phẩm được sản xuất và bán Phân lớp các sản phẩm và dịch vụ Địa danh mà kinh doanh hướng tới Các mức độ của ích lợi được đo lường cho khách hàng, cho sản phẩm và cho khu vực • Các mức độ chi tiết giá và thuế • Truy vấn hiện có và báo cáo thông tin chiến lược Lưu ý • Nhân tố tác động tới thành công của mỗi nhóm người sử dụng • Các cấp độ đo lợi ích • Không thể thiếu sự hỗ trợ từ quản lý chính yếu của công ty: xây dựng kho dữ liệu như một phần trong chiến lược phát triển của đơn vị

• Một số tiếp cận chuẩn bị cho sự luận giải Chẳng hạn, phần cứng 31%, phần mềm gồm cả hệ QT CSDL 24%, nhân viên và tích hợp hệ thống 35% và quản lý 10%. Một số tiếp cận tính toán: Tính toán giá thành công nghệ hiện thời để tạo ra ứng dụng và báo cáo hỗ trợ tạo quyết định: so sánh lợi ích chưa KDL/làm KDL Tính toán giá trị của KDL được đề xuất (ước tính): lợi ích, cổ tức, tăng thu nhập, tăng thị phần. Đối sánh theo tiền: lập luận giá trị thu được <> giá đầu tư KDL

• Một số tiếp cận chuẩn bị cho sự luận giải Làm thử nghiệm đủ lớn, mô phỏng mọi thành phần được tác động bởi/ và tác động tới KDL đề xuất - Một số tiếp cận tính toán như ví dụ: (1) Bắt đầu với các mục chi phí (mua/thuê phần cứng, phần mềm nhà cung cấp, phần mềm nội bộ, khởi tạo và nâng cấp, hỗ trợ đang tiến hành và chi phí duy trì (2) Quy đổi thành tiền mọi lợi ích hữu hình và vô hình: giảm giá, tăng thu nhập và hiệu quả trong cộng đồng kinh doanh (3) Đi theo thực hiện phân tích dòng chảy tiền tệ

Kế hoạch tổng thể • Phương án hình thức khởi tạo định hướng, phong thái và mục tiêu khởi tạo DW • Mẫu kế hoạch tổng thể

• Một số nét chung về kế hoạch tổng thể • Giới thiệu • Khái quát về sứ mạng • Phạm vi • Mục đích và mục tiêu • Vấn đề trọng tâm và lựa chọn • Giá trị và kỳ vọng • Luận giải đúng đắn • Trách nhiệm của nhà đầu tư • Chiến lược thi hành • Lịch dự kiến • Bản quyền dự án

• Sự khác biệt của Dự án DW với OLTP xây dựng CSDL thông thường OLTP có ba miền chức năng chính: tập dữ liệu trực tuyến, thực hiện giao dịch kinh doanh, xử lý thứ tự các áp dụng OLTP DW tương ứng có ba bộ phận kế tiếp nhau (như mô tả ở trên): thu thập dữ liệu, các thành phần lưu trữ dữ liệu, các thành phần cung cấp thông tin. Sự khác biệt chi tiết ở bảng bên

Một số tiêu chí Dự án DW khác với Dự án CSDL thông thường Thu nhận dữ liệu (nguồn dữ liệu) Lưu trữ dữ liệu Kết xuất thông tin Thu thập dữ liệu Lưu trữ dữ liệu Cung cấp thông tin Số lượng lớn nguồn DL Nguồn DL hỗn tạp Hạ tầng tính toán khác nhau Nguồn DL bên ngoài Tải ban đầu đồ sộ Cân nhắc nhân bản DL Tích hợp DL khó khăn Biến đổi DL phức hợp Làm sạch DL Lưu giữ DL dung lượng lớn Độ tăng trưởng nhanh Nhu cầu xử lý song Lưu DL khi dàn dựng Kiểu chỉ số phức Lưu giữ kiểu DL mới Lưu giữ DL cũ Tương thích các bộ công cụ RDBMS & MDDBMS Một vài kiểu người dùng Truy vấn được kéo dài tới hạn Kiểu truy vấn phức Kích hoạt dựa trên Web Phân tích đa chiều Giao diện với ứng dụng DSS Chất liệu cho DM Công cụ đa nhà cung cấp

• Một số lưu ý điển hình Dự án KDL phạm vi lớn hơn theo hướng phức tạp hơn, đòi hỏi nhiều công nghệ khác nhau Cho phép mở rộng về thời gian với nhiều kiểu hoạt động hơn Nguồn nhân lực bên trong không dư có nhiều bài toán khác thường Về siêu dữ liệu: cần có tầm nhìn xa

• Một số lưu ý điển hình (*): lịch biểu thời gian Thời gian đủ rộng để xây dựng và hoàn thiện hạ tầng Thời gian để thiết kế kiến trúc Thu hút người sử dụng ở mọi bước của Dự án Huấn luyện người sử dụng Phát triển song

• Đánh giá về tính sẵn sàng: Cần sự trợ giúp của các chuyên gia ngoài Cần báo cáo đánh giá tính sẵn sàng trước khi hoàn thiện kế hoạch dự án Mục đích của báo cáo: Giảm rủi ro từ bất thường lớn xẩy ra, Cung cấp tiếp cận nội tại trong giải pháp Đánh giá lại hội đồng của công ty Nhìn và xác định lại phạm vi và kích thước Định danh các nhân tố thành công Xác định kại kỳ vọng người sử dụng Tinh chỉnh như cầu huấn luyện

• Tiếp cận theo chu trình sống: Ưu điểm của tiếp cận theo chu trình sống Hoàn thành mọi mục đích chính trong quá trình phát triển Tuân thủ tiếp cận hệ thống khi xây dựng HT MT Phân rã tính phức tạp, gán công việc tới các thành viên Tập dự báo về bài toán và phân phối Lý giải: Tiếp cận chu trình sống phân rã độ phức tạp của dự án

Các thành phần chức năng của DW và phát triển hệ thống theo tiếp cận theo chu trình sống (system development life cycle (SDLC): Xuyên qua các thành phần dữ liệu và thông tin. Mối liên hệ và lộ trình như hình vẽ trên.

Các giai đoạn phát triển DW: Các bước (pha) phát triển DW. Lập kế hoạch tổng thể. Xác định yêu cầu. Thiết kế. Xây dựng Triển khai Mở rộng và duy trì Mỗi quan hệ tới ba thành phần chức năng: thu thập, lưu giữ và cung cấp thông tin

Các giai đoạn phát triển DW: Pha thiết kế và pha xây dựng 3 thành phần của DW có thể song. Các pha cần bao gói bài toán xác định kiến trúc với 3 thành phần.

Đội phát triển dự án: Vai trò của đội phát triển. Hai nguyên nhân chính làm dự án thất bại. Quá phức tạp Nhu cầu mơ hồ Cách thức làm việc của đội phát triển.

Tổ chức của Đội phát triển dự án: Liệt kê được mọi thách thức và các kỹ năng chuyên biệt cần có của dự án Lên được danh mục các vai trò cần có để phát triển hệ thống Gán vai trò của đội với từng cá nhân trong đội Thành viên: Kỹ năng, kinh nghiệm và tri thức là quan trọng đối với thành viên + Toàn đội: phong cách, tinh thần làm việc theo nhóm, sự say mê phát triển DW và quyết tâm cao (cam kết) của từng thành viên

Đội phát triển dự án: Vai trò và trách nhiệm (1) Phân vai trò và công việc theo nhiều cách. Phân chia bề rộng sau đó bao gồm công việc riêng vào phân lớp này phù hợp nhất với môi trường của đội. Có thể đưa ra hai cách thức tiếp cận bề rộng rồi kết hợp. Mỗi khi xác định phân lớp bề rộng gán mỗi việc riêng trong mỗi phân lớp đó

Đội phát triển dự án: Vai trò và trách nhiệm (2): Sáu loại phân lớp vai trò trong đội phát triển: Phân loại: Cung cấp nhân viên cho sự phát triển ban đầu, nhân sự để thử nghiệm, nhân sự để bảo trì liên tục, nhân sự cho kho dữ liệu quản lý Phân loại bề rộng : CNTT và End-Users, sau đó phân loại con (subclassifications) trong mỗi của cặp phân loại rộng, tiếp tục phân loại con Phân loại: vai trò nhân viên mặt tiền, vai trò nhân viên mặt hậu Phân loại: Người huấn luyện, đội hình thường trực, đội đặc biệt Phân loại: Quản lý, phát triển, hỗ trợ Phân loại: Quản trị, thu thập dữ liệu, lưu trữ dữ liệu, cung cấp thông tin

Tiêu đề vai trò Nhà tài trợ điều hành Chuyên gia cung cấp DL Giám đốc dự án Nhà phân tích kinh doanh Quản lý dự án Quản trị hệ thống Quản lý đại diện người sử dụng Chuyên gia di trú dữ liệu Quản trị kho dữ liệu Chuyên gia chuẩn bị (tiền XL) dữ liệu Quản lý sự thay đổi tổ chức Trưởng nhóm Data Mark Quản trị CSDL Chuyên gia hạ tầng Quản lý siêu dữ liệu Người dùng chính yếu (power user) Phân tích yêu cầu kinh doanh Trưởng nhóm đào tạo Kiến trúc kho DL Biên tập kỹ thuật Phát triển thu thập dữ liệu Chuyên gia công cụ Phát triển truy cập dữ liệu Chuyên gia quan hệ nhà cung cấp Phân tích chất lượng DL Quản lý web (web master) Kiểm thử kho DL Dựng mẫu dữ liệu Người phát triển bảo trì Kiến trúc sư an ninh

Danh sách các vai trò và chức năng, nhiệm vụ Nhà tài trợ điều hành Quản trị KDL Chỉ đạo, hỗ trợ, làm trọng tài. Chức năng DBA Người quản lý dự án Chuyên gia chuyển đổi DL Giao nhiệm vụ, giám sát, kiểm tra. Trích xuất, trích hợp, chuyển dạng DL Người quản lý quan hệ người dùng Người phân tích đảm bảo chất lượng Phối hợp với các nhóm người dùng Kiểm soát chất lượng DL của KDL Kiến trúc sư chính Người đồng điều phối kiểm thử Thiết kế kiến trúc Kiểm thử chương trình, hệ thống, công cụ Chuyên gia hạ tầng Chuyên gia ứng dụng người dùng cuối Thiết kế / xây dựng cơ sở hạ tầng Xác nhận ngữ nghĩa và quan hệ của DL Người phân tích kinh doanh Lập trình viên phát triển Xác định yêu cầu Lập trình nội bộ và scripts Người mô hình hóa DL (Data Modeler) Trưởng nhóm đào tạo Mô hình hóa quan hệ và chiều Đồng điều phối đào tạo người dùng và đội phát triển

Đội phát triển dự án: Danh sách các mức độ kỹ năng và kinh nghiệm Nhà tài trợ điều hành Cấp điều hành cao cấp, kiến thức kinh doanh chuyên sâu, có nhiệt tình và năng lực làm ôn hóa và phân xử khi cần thiết. Người quản lý dự án Kỹ năng con người, kinh nghiệm quản lý dự án, định hướng kinh doanh và người sử dụng, năng lực thực tế và hiệu quả. Người quản lý quan hệ người dùng Kỹ năng con người, được tôn trọng trong cộng đồng người dùng, có kỹ năng tổ chức, làm việc nhóm, kiến thức hệ thống từ quan điểm người dùng. Kiến trúc sư chính Kỹ năng phân tích, năng lực nhìn khung cảnh lớn, chuyên môn trong giao tiếp, kiến thức về khái niệm kho dữ liệu. Chuyên gia hạ tầng Chuyên gia về phần cứng, hệ điều hành, hạ tầngmáy tính, kinh nghiệm như chuyên viên HĐH. Người phân tích kinh doanh Kỹ năng phân tích, khả năng tương tác với người dùng, kinh nghiệm công nghiệp đầy đủ như nhà phân tích Người mô hình hóa DL (Data Modeler) Chuyên gia mô hình hóa quan hệ và chiều với các công cụ trường hợp, kinh nghiệm như nhà phân tích dữ liệu.

Đội phát triển dự án: Danh sách các mức độ kỹ năng và kinh nghiệm Người quản trị KDL Chuyên gia thiết kế và thi hanh cơ sở dữ liệu vật lý, có kinh nghiệm như DBA, MDDBMS quan hệ bổ sung. Chuyên gia chuyển đổi dữ liệu Kiến thức về cấu trúc dữ liệu, kiến thức chuyên sâu về các hệ thống nguồn, có kinh nghiệm như nhà phân tích. Người phân tích đảm Kiến thức về kỹ thuật chất lượng dữ liệu, kiến thức về dữ bảo chất lượng liệu hệ thống nguồn, kinh nghiệm như nhà phân tích. Người điều phối kiểm thử Quen thuộc với các phương pháp và tiêu chuẩn kiểm thử, sử dụng công cụ kiểm thử, có kiến thức của một số công cụ cung cấp thông tin kho dữ liệu, kinh nghiệm người lập trình / nhà phân tích. Chuyên gia chương trình ứng dụng người dùng cuối Có kiến thức sâu về ứng dụng nguồn Lập trình viên phát triển Có kỹ năng lập trình và phân tích, có kinh nghiệm lập trình bằng ngôn ngữ và DBMS được lựa chọn. Trưởng nhóm đào tạo Có kỹ năng đào tạo, có kinh nghiệm trong đào tạo CNTT / người dùng, có kỹ năng phối hợp và tổ chức.

Sự tham gia của người sử dụng: Tương tác người sử dụng là trực tiếp và bản chất. nếu có một khác biệt cơ bản giữa OLTP và DW: từ dùng hệ thống của người sử dụng họ cần là một phần của đội phát triển. Dự án DW gọi tới kỹ thuật phát triển ứng dụng kết hợp.

Đội phát triển dự án: Sự tham gia của người dùng Lập kế hoạch dự án Cung cấp mục đích, mục tiêu, kỳ vọng, thông tin kinh doanh trong quá trình khảo sát sơ bộ; hỗ trợ hoạt động quản lý mức đỉnh, khởi tạo dự án là nhà tài trợ điều hành. Xác định yêu cầu Tham gia tích cực các cuộc họp để xác định yêu cầu, định danh mọi hệ thống nguồn, xác định độ đo để đo lường thành công kinh doanh, và các chiều kinh doanh để phân tích, xác định thông tin cần thiết từ kho dữ liệu. Thiết kế Khảo sát lại mô hình DL chiều; thiết kế trích xuất và chuyển đổi dữ liệu, cung cấp sử dụng dự kiến cho kích thức CSDL; xem xét lại thiết kế kiến trúc và siêu dữ liệu; tham gia lựa chọn công cụ, xem xét lại thiết kế cung cấp thông tin. Xây dựng Tham gia tích cực kiểm thử chấp nhận người dùng; kiểm thử công cụ cung cấp thông tin; công nhận chức năng thu nhận dữ liệu và chuyển đổi; xác nhận chất lượng dữ liệu, kiểm thử sử dụng siêu dữ liệu; kiểm chuẩn chức năng truy vấn, kiểm thử chức năng OLAP; tham gia vào tài liệu ứng dụng. Triển khai Kiểm tra dấu vết kiểm toán và xác nhận tải ban đầu dữ liệu; làm phù hợp với phân phôi khác với kỳ vọng; sắp xếp và tham gia vào đào tạo người dùng, cung cấp chấp nhận cuối cùng. Bảo trì Cung cấp đầu vào cho các cải tiến, kiểm thử và chấp nhận cải tiến.

Quan tâm quản lý dự án: Dự án DW thành công khi quản lý dự án hiệu quả nhất có thể được. Nguyên lý quản lý dự án, dấu hiệu khuyến cáo, nhân tố thành công, tính phù hợp với thực tiễn

Một số nguyên lý hướng dẫn: Liên quan tới quyết định và hành động quản lý dự án: Trách nhiệm của nhà đầu tư, người quản lý và người sử dụng. Sự tiến hóa mới. Chất lượng dữ liệu. Xây dựng cho tăng trưởng Chính sách dự án Mô hình dữ liệu chiều Người quản lý dự án. Vai trò của đội phát triển Yêu cầu người dùng Kỳ vọng thực tế Dữ liệu ngoài

Phù hợp với tiếp cận thực tiễn: bản chất chung, pha trộn hợp lý từng trải thực tiễn và lý thuyết cốt lõi. động lực từ yêu cầu kinh doanh

Kịch bản lỗi có thể có: Nền móng dữ liệu không tốt chất lượng tồi, không đúng cách dữ liệu xa xỉ truy nhập và hiệu năng kém Mục đích xa rời không gắn với người sử dụng Thiếu hụt dữ liệu sụp đổ trước khi hoàn thiện Tính cô lập của dữ liệu KDL chuyên đề đứng độc lập Tính tù hãm của dữ liệu: người dùng không thể/khó nhận

Tín hiệu cảnh báo Nguyên nhân Hành động Bước xác định yêu cầu vượt qua hạn định mục tiêu Mất năng lực phân tích Ngừng thu nhận thông tin không mong muốn. Hủy bỏ mọi vấn đề đã họp với người sử dụng. Đặt lại mục tiêu cuối của công ty. Tự công ty tốn quá nhiều công sức viết chương trình. Lựa chọn công cụ của bên thứ ba lỗi thời Nếu có thời gian và ngân sách, xem xét các công cụ khác nhau. Nếu không thì cần tăng cnhân viên lập trình. Người sử dụng không hợp tác cung cấp dữ liệu chi tiết Có biểu hiện lo ngại về quyền sở hữu dữ liệu. Vấn đề này rất tinh tế Làm việc với nhà tài trợ điều hành để giải quyết vấn đề. Người sử dụng không thoải mái với các công cụ truy vấn Người sử dụng không được đào tạo đầy đủ. Đầu tiên, đảm bảo rằng các công cụ truy vấn được lựa chọn là thích hợp. Sau đó, tiến hành việc đào tạo bổ sung. Vấn đề tiếp nhận dữ liệu vượt quá vùng dàn dựng. Chuyển đổi và lập bản đồ dữ liệu không hoàn chỉnh Xem lại toàn bộ việc chuyển đổi dữ liệu và tiện ích tích hợp. Đảm bảo rằng không thiếu dữ liệu. Cùng đại diện người sử dụng tham gia quá trình xác minh. Một số dấu hiệu cảnh báo và hành động - Theo sát vòng đời, quan sát - Một điểm báo và hành động tương ứng

Nhà tài trợ, điều hành: Đảm bảo hỗ trợ liên tục, dài hạn, cam kết thiết lập được xác định lên phía trước, rõ, thực sự, và đồng ý giá trị kinh doanh từ kho dữ liệu. Quản lý được kỳ vọng của người sử dụng thực tế Nhận được nhiệt tình tham gia người dùng trong suốt dự án. Việc khai phá dữ liệu, chuyển đổi và tải (ETL) chức năng là hầu hết thời gian, nhiều lao động hoạt động. Không ước tính thời gian và công sức cho hoạt động này dưới hạn. Đầu tiên ghi nhận kiến trúc, sau đó công nghệ, sau đó công cụ. Chọn một kiến trúc là đúng cho môi trường. Các truy vấn và các công cụ thông tin cho người dùng là cực kỳ quan trọng. Chọn những công cụ hữu ích và dễ sử dụng nhất, tránh chọn theo tính “quyến rũ” (“hiện đại nhất”) của công cụ. Tránh chảy máu công nghệ. Kế hoạch cần là tăng trưởng và cách mạng. Quan tâm xem xét hiệu suất. Người quản lý dự án cần theo định hướng người sử dụng. Tập trung thiết kế theo truy vấn, mà không theo giao dịch. Xác định các nguồn dữ liệu thích hợp. Chỉ tải dữ liệu cần thiết. Một số nhân tố thành công

Thể hiện một dự án DW thành công: Ngữ cảnh kinh doanh Công nghệ và tiếp cận Lợi ích thu được. Thách thức (khuynh hướng) Nhân tố thành công