大數(shù)據(jù)建模、分析、挖掘技術應用研修班的通知

隨著2015年9月國務院發(fā)布了《關于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》，各類型數(shù)據(jù)呈現(xiàn)出了指數(shù)級增長，數(shù)據(jù)成了每個組織的命脈。今天所產(chǎn)生的數(shù)據(jù)比過去幾年所產(chǎn)生的數(shù)據(jù)大好幾個數(shù)量級，企業(yè)有了能夠輕松訪問和分析數(shù)據(jù)以提高性能的新機會，如何從數(shù)據(jù)中獲取價值顯得尤為重要，也是大數(shù)據(jù)相關技術急需要解決的問題。大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。數(shù)據(jù)建模不僅僅是任意組織數(shù)據(jù)結構和關系，還必須與最終用戶的需求和問題聯(lián)系起來，并提供指導，幫助確保正確的數(shù)據(jù)正確使用正確的方法獲得正確的結果。

為響應科研及工作人員需求，根據(jù)《國務院關于推行終身職業(yè)技能培訓制度的意見》提出的“緊跟新技術、新職業(yè)發(fā)展變化，建立職業(yè)分類動態(tài)調整機制，加快職業(yè)標準開發(fā)工作”要求，特舉辦“大數(shù)據(jù)建模、分析、挖掘技術應用研修班”。本次培訓采用實戰(zhàn)培訓模式。

2022年3月10日 — 2022年3月14日 北京(同時轉線上直播)

聯(lián)系人：任老師 13331040142

一、大數(shù)據(jù)概述

1.大數(shù)據(jù)及特點分析

2.大數(shù)據(jù)關健技術

3.大數(shù)據(jù)計算模式

4.大數(shù)據(jù)應用實例

二、大數(shù)據(jù)處理架構Hadoop

1.Hadoop項目結構

2.Hadoop安裝與使用

3.Hadoop集群的部署與使用

4.Hadoop 代表性組件

三、分布式文件系統(tǒng)HDFS

1.HDFS體系結構

2.HDFS存儲

3.HDFS數(shù)據(jù)讀寫過程

四、分布式數(shù)據(jù)庫HBase

1.HBase訪問接口

2.HBase數(shù)據(jù)類型

3.HBase實現(xiàn)原理

4.HBase運行機制

5.HBase應用

五、MapReduce

1.MapReduce體系結構

2.MapReduce工作流程

3.資源管理調度框架YARN

4.MapReduce應用

六、Spark

1.Spark生態(tài)與運行架構

2.Spark SQL

3.Spark部署與應用方式

案例：

1.Python Spark 安裝

2.本地運行pyspark程序

3.在Hadoop YARN 運行pyspark

4.Spark Web UI

七、IPython Notebook運行Python Spark程序

1.Anaconda

2.IPython Notebook使用Spark

3.使用IPython Notebook在Hadoop YARN模式運行

案例：

1.在不同模式運行IPython Notebook運行Python Spark命令

2.Python 程序開發(fā)

八、Python Spark集成開發(fā)環(huán)境

1.Python Spark集成開發(fā)環(huán)境部署配置

2.Spark數(shù)據(jù)分析庫MLlib的開發(fā)部署

九、Python Spark決策樹二分類與多分類

1.決策樹原理

2.大數(shù)據(jù)問題

3.決策樹二分類

4.決策樹多分類

案例：

1.搜集數(shù)據(jù)

2.數(shù)據(jù)準備：導入并轉換數(shù)據(jù)、提取特征字段、提取標簽

3. Python Spark建模，訓練模型

4.預測數(shù)據(jù)

5.評估數(shù)據(jù)，給出評價指標并得到評估結果

十、Python Spark支持向量機

1.支持向量機SVM 原理與算法

2.Python Spark SVM程序設計

案例：

1.數(shù)據(jù)準備

2.建立SVM模型，訓練模型

3.評估參數(shù)并找出最優(yōu)參數(shù)

4.根據(jù)模型進行預測

十一、Python Spark 貝葉斯模型

1.樸素貝葉斯模型原理

2.Python Spark貝葉斯模型程序設計

案例：

1.建模貝葉斯模型，并進行對參數(shù)估計

2.訓練模型，得到最優(yōu)參數(shù)

3.根據(jù)模型進行預測

十二、Python Spark邏輯回歸

1.邏輯回歸原理

2.Python Spark邏輯回歸程序設計

案例：

1.Python Spark邏輯回歸建模

2.根據(jù)模型進行分類

十三、Python Spark回歸分析

1.大數(shù)據(jù)分析

2.數(shù)據(jù)集介紹

3.Python Spark回歸程序設計

案例：

1.數(shù)據(jù)準備

2.訓練回歸模型

3.建立評估指標

4.訓練回歸模型，并找到最優(yōu)參數(shù)

5.根據(jù)模型進行預測

十四、Spark ML Pipeline 機器學習流程分類

1.機器學習流程組件：StringIndexer、OneHotEncoder、VectorAssembler等

2.使用Spark ML Pipeline 機器學習流程分類程序設計

案例：

1.數(shù)據(jù)準備

2.建立機器學習Pipeline流程

3.使用Pipeline流程訓練

4.使用PipelineModel預測

5.評估模型準備率

審核編輯：湯梓紅