Recommended
More Related Content
What's hot
What's hot (20)
Similar to 資料倉儲
Similar to 資料倉儲 (20)
資料倉儲
- 1. 資料倉儲 黃柏翰
- 4. 何為資料倉儲系統? 1.資料倉儲:儲存組織內不同來源的整合資料之資料庫。 2.一份為了查詢與分析為目的建置的系統。系統中包含所有 組織做決定有用處且經過整合的資料。 3.特性: – 主題導向 – 經過整合 – 依時間而不同 – 不會改變
- 7. 資料來源層 1.資料倉儲資料來源，包含在組織外任何一種有分析價值的 資料。 2.包含 – 與營業有關的作業系統 – 組織內部體制結構 – 組織內市場調查 – 組織外任何具有分析價值的資料 3.多種存放的方式
- 8. 資料提取層 1.使用不同的技術將資料轉入臨時資料儲存區內 2.資料集中而非資料處理 3.常見的技術： – COBOL – Perl – SQL或其他資料庫語言 – 資料移動與轉換工具 – EAI – C/C++程式
- 11. 操作型資料商店 1.操作性資料商店是一個經過整合的分析系統。 2.目的為前端支援操作，具備以下特性： – 主題導向 – 經過整合 – 經常被補充 – 細節資料 – 最新資料，無歷史資料 – 會改變 3.依照資料進入的頻率而分級： – 第一級：即刻，需高昂的硬體軟體架構 – 第二級：二至四小時 – 第三級：一天 – 第四級：有需要時
- 12. 資料超市 1.與資料倉儲同樣定義，不同之處只包含一部分特定資 料，使用者也侷限於某些人 2.資料超市優點： – 成本較資料倉儲低 – 建置速度較資料倉儲快 – 易管理 3.建置方式有兩種： – 由資料倉儲提供資料 – 臨時資料儲放區經過轉換直接進入 4.資料孤島 5.一致性維度
- 13. 操作型資料商店、資料倉儲、資料超市 操作型資料商店 資料倉儲 資料超市 歷史性資料 不包含 包含 包含 主要用處 提供即時資料給前端 操作系統 存放整個組織的整合 資料 提供特定部分的資料 以進行分析 資料模式類別 3NF 3NF或維度模式 維度模式 直接開放給使用者 用於做簡單的報表 視情況而定 開放 數目 可多於１，也可能不 存在 最多１ 可多於１，也可能不 存在
- 19. 瀑布式 • 每一個階段都需要結束後，下個階段才可進行 • 需求須於專案開始時確定 • 需要龐大的時間 – 無法跟隨著企業或產業結構的變化 – 使用者的耐心考驗 • 金錢花費過大 – 需對於軟硬體一次買齊 • 失去資料倉儲應有的本益效應
- 20. 旋轉式 • 整個系統的建置是一直不斷的再進行 • 建置分期進行 • 程序： – 與使用者討論需求 – 針對需求做評估，決定其所在期數 – 與使用者達成共識 – 建置測試第一期 – 系統上線後依序進行下一期建置 • 優點： – 系統能迅速上線 – 本益效應容易顯現 – 使用者的意見可以很快的反應在系統設計上
- 21. 資料倉儲專案團隊 • 外請顧問： – 對系統建置過程與工具熟悉 – 最佳做法 – 花費較高 – 專案經理、業界專家、技術專家 • 內部員工： – 工作時間上配合 – 缺乏建置專案經驗 – 對於組織專業領域熟悉 外請顧問 內部員工 責任 資料倉儲系統 資料倉儲系統與本 身分內工作 價格 較高 較低 資料倉儲經 驗 較多 較少 專業領域 非常熟悉 不一定 資料倉儲工 具使用 100% 非全職
- 23. 專案經理 職責: – 直接影響專案的成敗 – 確保專案的穩定進行 – 降低專案範圍逐漸移動所造成的負面影響 – 風險管理、人力管理 – 做為專案團隊的領導 所需技能: – 良好的組織企劃、溝通協調能力 – 了解公司運作方式及內部環境 – 能應變處理突發狀況
- 24. 資料設計師 職責: – 建立資料模式 – 負責中繼資料的建置 – 負責資料驗證的過程 – 確認組織中相關人員都明白及同意資料的定義 所需技能: – 熟悉個體關係及維度模式 – 熟悉資料模式工具 – 了解資料庫提供的功能
- 25. 資料倉儲建築師 職責: – 建立與維持資料倉儲系統的技術基準 – 策劃硬體與軟體的架構 – 確認資料倉儲系統架構可以支持未來資料量與分析的 需求 – 主導各種硬體及軟體工具評鑑 所需技能: – 瞭解資料倉儲的業界走向 – 對系統各層面有深入的了解 – 了解軟體功能與所需的硬體資源
- 26. 資料倉儲工具 一個資料倉儲專案會利用到以下工具: – 主機及資料庫 – 資料移動與轉換工具 – 線上分析系統工具 – 報表工具 – 中繼資料工具 – 資料模式工具 自行研發軟體、購買套裝軟體
- 27. 套裝軟體、自行研發軟體 套裝： – 立即使用 – 容易使用 – 以包含一個中繼資料的儲存 處，並可以自動產生出中繼 資料 – 提供充足文件說明 – 功能齊全 自行研發： – 對軟體有完全控制權 – 可以針對專案需求產生 套裝軟體 自行研發軟體 優點 立即使用 容易使用 充足說明文件 中繼資料 功能齊全 高控制權 可針對專案需求 可利用單元測試 缺點 受制於廠商能力 價格昂貴 系統上線較晚 通常不適用於其他專 案 花費考 量 軟體費用 每年維修升級價格 人員訓練 顧問費用 程式開發員薪資 眾多人數與分析要求 需求量小
- 28. 採用最好的工具 1.對於每一項工具都選擇最佳的 2.優點： – 每種工具可獲得最佳功能 – 容易替換 – 風險較低 3.缺點： – 需花較多時間進行整合
- 29. 工具的選擇方式 制定條件 研究市面上現 有的最佳工具 邀請廠商示範 講解並建置測 試系統 選擇工具 上面評估 條件 分數 比重 總分 條件１ ３ ３ ９ 條件２ １ ２ ２ 條件３ ２ １ ２ 合計 １６ 條件 分數 比重 總分 條件１ １ ３ ３ 條件２ ３ ２ ６ 條件３ ３ １ ３ 合計 １２ 產品一 產品二
- 31. 使用者需求 1.資訊需求 – 資料倉儲最主要目的 2.使用者人數及使用量 – 人數多寡對於系統設計上有很大的關係 3.使用者所在地 – 架構防火牆 4.使用者的資訊背景 – 資訊背景影響到前端程式的介面及功能 不滿足需求 FAILURE
- 32. 使用者類別 資料倉儲中三種使用者族群： 1.高階主管 – 簡易一目瞭然的系統、圖表條列呈現 2.普通使用者 – 具有統計試算表與線上分析功能的系統、減少產生報 表的時間、中繼資料 3.超級使用者 – 對於資料模式與SQL有一定的瞭解、直接接觸資料庫
- 33. 收集使用者需求的步驟 分為三階段:訪談之前、實際訪談、訪談之後 訪談之前準備: – 對業界有一定程度的瞭解 – 降低誤解、提高訪談率 – 對組織本身有一定的瞭解 – 技術層面、政治層面 – 初次決定誰是使用者及面談對象及方式 – 設計問卷 – 依對象層級不同設計問卷
- 34. 收集使用者需求的步驟 實際訪談過程: 1.單獨訪談 – 訪談時間容易敲定 – 內容容易控制 – 費時 2.團體訪談 – 擷取需求時間花費少 – 發掘新的觀點 訪談之後: 1.使用者同意書- 範圍依據、人數、所在地、資料權限 收集資 料 單獨訪 談 團體訪 談 產生需 求書 建議步驟:
- 35. 訪談注意事項 1.使用者期望管理 2.對臨時特定目的需求所負的責任 – 取得平衡點 – 團隊存在的目的、可促成實際行動 的、專案時間範圍合理、成功的使用者期望管理 3.專案範圍管理 4.上線後與使用者的交流 5.使用者無法提出需求 時間 專案開始 截止日 專案結束 需求
- 37. 資料模式制定 分為三階段:概念資料模式、邏輯資料模式、實體資料模式 1.概念資料模式 – 只包含重要的個體以及關係 – 屬性不會被顯示出來 – 主鍵不會被定出 2.邏輯資料模式 – 所有的個體，以及不同個體之間的關係 – 每個個體中的屬性被列出－種類、定義域、空值與否 – 主鍵與外來鍵定出 – 解開多對多關係 – 資料正規化
- 38. 資料正規化 第一正規化： – 不能有重複欄位 – 欄位須為最小單位 – 每筆資料皆有主鍵 第二正規化： – 符合1NF – 無部分相依，除主鍵為多時 – 不同表格以外來鍵連結 第三正規化 – 符合2NF – 無轉移相依
- 39. 維度模式 1.傳統第三正規化不適合做分析系統的資料模式，其因： – 資料查詢時，表格連接數偏高 – 多種不同的查詢法 – 第三正規形式對使用者不易理解 事實表格（計量欄位、維度外來鍵）、維度表格（資料分析的窗口） DAY_KEY DAY_DESC MONTH OUARTER YEAR DAY_KEY STORE_KEY PRODUCT_KEY SALES_AMOUNT UINT_SOLD STORE_KEY STORE_NAME STATE REGION PRODUCT_KEY PRODUCT_NAME CATEGORY BRAND 事實表格 維度表格 維度表格 維度表格
- 40. 維度模式 事實表格的計量以情況分為三種: 1.總和性計量:任何維度下相加都是具有意義 – 銷售金額 2.非總和性計量:無論任何維度都不適合相加起來 – 利潤 3.半總和性計量:於有些維度相加起來有意義 – 銀行帳戶餘額 無計量事實表格 STUDEN T DIMENSI ON STUDENT_ KEY CLASS_KE Y CLASS DIMENSI ON
- 44. 維度模式設計 由使用者需求為起頭 【我要一個每一季營業金額報表。報表上我要看到地區及產品類別。我能 夠選擇我要看的季份。同時從一個報表中，我需要可以鑽取到日及單一產 品。】 1.計量：營業金額 2.屬性：地區、產品類別、季份、日、單一產品 – 時間維度：季份、日 – 產品維度：產品類別、單一產品 – 地區維度：地區 由個體關係模式為起頭 1.找出含計量的個體 2.找出與計量有關的相關屬性 3.將屬性導出維度及其餘屬性
- 49. 線上分析系統(OLAP) 1.一個能快速做出多維度分析的系統 – 可以用來做分析使用,而非單純簡報工具 – 高速度需求 – 以多維度的方式展現資料 1.向下鑽取 – 在同維度中高往低階分析 2.向上鑽取 – 在同維度中低往高階分析 3.跨維度鑽取 – 在多維度分析 YEAR SALES 2001 $71400 0 YEAR SALES Q1 2001 $145000 Q2 2001 $178000 Q3 2001 $230000 Q4 2001 $161000 YEAR SALES Q1 2001 $145000 YEAR SALES 2001 $71400 0 REGION SALES NORTH $145000 CENTRAL $178000 EAST $230000 SOUTH $161000 YEAR SALES 2001 $714000 向下鑽取 向上鑽取 跨維度鑽取