當前位置:商標查詢大全網 - 商標註冊 - 大數據平臺的核心軟件是

大數據平臺的核心軟件是

大數據平臺的核心軟件是:

首先,鳳凰城

這是壹個Java中間層,允許開發人員在Apache HBase上執行SQL查詢。Phoenix完全用Java編寫,代碼位於GitHub上,並提供了可由客戶端嵌入的JDBC驅動。

Phoenix查詢引擎將把SQL查詢轉換成壹個或多個HBase掃描,並安排執行以生成標準的JDBC結果集。直接使用HBase API、協處理器和自定義過濾器,性能級對於簡單查詢是毫秒級,對於百萬行是秒級。

第二,毒刺

最初被稱為Tez,下壹代Hive,Hortonworks領導了開發,運行在YARN DAG計算框架上。在壹些測試下,Stinger可以提升大約10倍的性能,同時讓Hive支持更多的SQL。其主要優勢包括:允許用戶在Hadoop中獲得更多的查詢匹配。包括OVER-like語句分析功能,支持WHERE查詢,使得Hive風格的系統更加符合SQL模型。

第三,很快

臉書開源數據查詢引擎Presto可以快速交互式分析250PB以上的數據。該項目於2012年秋季開始開發。目前,該項目已被超過1000名臉書員工使用,運行超過30000次查詢,每日數據處於1PB的水平。臉書聲稱Presto的性能比Hive和Map*Reduce好10倍。

第四,鯊魚

鯊魚是火花上的蜂巢。本質上是通過Hive的HQL解析將HQL翻譯成Spark上的RDD操作,然後通過Hive的元數據獲取數據庫中的表信息。關於HDFS的實際數據和文件將由Shark獲得,並放在Spark上運行。

動詞 (verb的縮寫)豬

簡介:Pig是壹種編程語言,它簡化了Hadoop的常見任務。Pig可以加載數據、表達轉換後的數據並存儲最終結果。Pig的內置操作使得半結構化數據變得有意義(比如日誌文件)。同時,Pig可以擴展Java中添加的自定義數據類型的使用,支持數據轉換。