大數據主要有三個就業方向,即大數據系統R&D人才、大數據應用開發人才和大數據分析人才。
在這三個方向,他們的基本崗位壹般是大數據系統R&D工程師、大數據應用開發工程師和數據分析師。它可以分為以下十個位置:
壹. ETL研究和開發
ETL的研發主要負責將關系數據、平面數據文件等分散異構的數據源中的數據提取到壹個臨時的中間層進行清洗、轉換和集成,最終加載到壹個數據倉庫或數據集市中,成為聯機分析處理和數據挖掘的基礎。
二、Hadoop開發
Hadoop的核心是HDFS和MapReduce。HDFS提供海量數據存儲,MapReduce提供數據計算。隨著數據集規模的不斷擴大和傳統BI數據處理的高成本,企業對Hadoop及相關廉價數據處理技術如Hive、HBase、MapReduce、Pig等的需求將持續增長。
第三,可視化(前端演示)工具的開發
可視化開發是可視化開發工具通過在可視化開發工具提供的圖形用戶界面上操作界面元素,自動生成應用軟件。跨多個資源和級別連接所有數據也很容易。經過時間考驗,完全可擴展、功能全面的可視化組件庫為開發人員提供了壹個完整且易於使用的組件集合,以構建極其豐富的用戶界面。
第四,信息架構開發
大數據重新點燃了主數據管理的熱潮。充分利用企業數據,支持決策,需要非常專業的技能。信息架構師必須知道如何定義和歸檔關鍵元素,以確保以最有效的方式管理和利用數據。信息架構師的關鍵技能包括主數據管理、業務知識和數據建模。
動詞 (verb的縮寫)數據倉庫研究
數據倉庫專家熟悉Teradata、Neteeza、Exadata的大數據壹體機。可以在這些壹體機上完成數據集成、管理和性能優化。
第六,OLAP發展
OLAP在線分析的開發人員負責從關系或非關系數據源中提取數據以建立模型,然後創建數據訪問的用戶界面以提供高性能的預定義查詢功能。
七、數據科學研究
數據科學家是分析師和藝術家的結合體,需要具備多種跨學科的科學和業務技能。
八、數據預測(數據挖掘)分析
營銷部門經常使用預測分析來預測用戶行為或目標用戶。預測分析開發人員的壹些場景似乎類似於數據科學家,即通過基於企業歷史數據的假設來測試閾值和預測未來的業績。
九、企業數據管理
為了提高數據質量,企業必須考慮數據管理,設立數據管家職位。這個崗位的工作人員需要能夠利用各種技術工具收集企業周圍的大量數據,對數據進行清洗和標準化,並將數據導入數據倉庫成為可用版本。然後,通過報告和分析技術,數據被切片、切塊並交付給成千上萬的人。作為數據管家,人們需要保證市場數據的完整性、準確性、唯壹性、真實性和不冗余性。
X.數據安全研究
數據安全崗位主要負責企業大型服務器、存儲、數據安全的管理,以及網絡與信息安全項目的規劃、設計和實施。數據安全研究人員還需要具備較強的管理經驗、運維管理知識和能力,對企業傳統業務有深入的了解,才能保證企業數據安全完整。