分布式計算框架作為現(xiàn)代機器學習的基礎支撐，本階段重點攻克Hadoop生態(tài)與Spark技術棧的協(xié)同工作機制。從HDFS分布式存儲到YARN資源調度，系統(tǒng)建立大數(shù)據(jù)處理的核心認知體系。
| 技術組件 | 應用場景 | 版本要求 |
|---|---|---|
| Spark SQL | 結構化數(shù)據(jù)處理 | 3.0+ |
| PySpark | 機器學習流水線 | 3.7+ |
基于NASA肯尼迪航天中心真實日志數(shù)據(jù)，構建訪問模式分析系統(tǒng)。涉及用戶地理分布解析、異常訪問檢測、API調用頻次監(jiān)控等核心功能模塊開發(fā)。
整合Hive數(shù)據(jù)倉庫與Spark Streaming，實現(xiàn)淘寶用戶畫像構建。包含商品點擊熱力圖生成、購物車轉化分析、實時推薦算法等關鍵功能實現(xiàn)。
課程采用云端實驗平臺進行教學，學員可直接在瀏覽器中完成Spark集群的配置與調試。重點技術模塊配備3D可視化演示，幫助學員理解分布式計算任務的執(zhí)行過程。
