Slide
Slide
Slide
Hitachi_AI_HCI
Hitachi_HCI
HCI
previous arrow
next arrow

Elastic推出6.0版本 簡化操作擴充性能

 

X-Pack
X-Pack的機器學習功能,一旦遇上不尋常的活動,馬上會自動在Kibana標示出來,供進一步調查

Elastic擁有最廣泛使用開源產品集合Elastic Stack(Elasticsearch、Kibana、Beats 和Logstash),不少用於解決搜索、日誌和數據分析等,不少投資銀行,甚至是客戶支援中心,都利用Elastic方案來支援。

不少雲計算用戶,很快發現了Elastic快速建立數據索引,迅速視覺化數據的優點,AWS和Azure都設有Elasticsearch雲服務,甚至中國亦有不少Elastic用戶。今年10月,Elastic與阿里雲達成合作夥伴關係,發布「阿里雲」托管式Elasticsearch服務,只須通過簡單配置,就可添加到雲計算服務。

Elastic特點為搜索速度極高,且擴充力強,數據量愈大,愈可感受其威力。Elastic主要均為免費開源軟件,卻具企業級的性能。不少知名的企業;包括直播平台Netfix和投資銀行高盛,都以Elastic組件,管理大量資料。

Elastic安裝和使用,可能較Splunk略為複雜,搜索速度卻是極快,有過之而無不及,設計支援RESTful API和JSON,並且屬分散式搜索和分析引擎,極具擴充性,以開放Sharding和複製技術,充份利用分散運算的優點。

分散架構確保性能

Elastic亦採用標準化JSON數據儲存格式和API。JSON作儲存格式,應用極其廣泛,甚至新一代Firebase數據庫,亦全以JSON作數據格式。不少網站結構化數據和地圖,甚至物聯網數據,紛紛轉化為JSON,以方便呈現、分析和處理;JSON是網上最流行數據格式,亦馬上可加入Elasticsearch一同搜索,再以Kibana呈現圖表。

Elastic方案構架師王德成說,Elastic的6.0版本;從操作、升級、數據中心之間的複製,大幅提高可用性,以應付關鍵系統要求。Elastic利用開源的Lucene作搜索引擎;新版本也整合了Lucene 7.0優點,空白位置再不佔用儲存,節省大量空間。

簡化監察基建

Elasticsearch版本升級,亦比以往簡單,具備升級助手,可完全不停頓下升級系統,又改良不同數據中心之間複製程序,以及多個叢集升級及搬遷數據的步驟;而數據複製框架,亦可加快數據復原,提高系統的可用性。

Elastic的Kibana儀表板,可實時加入搜索的指令,以視覺化呈現實時或歷史數據。王德成說,除了改良Kibana儀表板圖表呈現格式,也加入全熒幕顯示等功能,Kibana儀表板數據,亦可輸出為CVS,供試算表分析甚至重新建立專用圖表,方便製作交付給管理層的報告。

除了免費的Elasticsearch、Kibana和Logstash工具,Elastic推出多項商業化收費工具;類似Beats 和X-Pack,方便蒐集資料和監察基建系統;包括了從保安(Security)、預警(Alerting)、監察(Monitoring)、報表(Reporting)、Graph分析及機器學習功能。

Elastic可處理大量實時數據,也可實時檢索更多數據,從浩瀚的數據,自動化搜索發現系統入侵端倪,因此極合適作系統保安。

Elastic新版本Logstash,亦可於同一JVM內,支援多Pipeline處理程序,情況有如多緒執行一樣,加快日誌檔,轉化成JSON的格式;製作視覺化圖表,或通過自動化警報,加快偵察入侵。

X-Pack加強保安

以Elastic的Beats工具為例子,可從不同的平台,建立監察基建活動的資料來源;例如從不同基建設備,蒐集日誌至Logstash或Elasticsearch;包括專門傳送網絡設備封包的Packetbeat,監察機器是否仍正常運作的Heartbeat,蒐集Windows系統日誌Winlogbeat等;Beats將多種日誌檔,直接轉成JSON格式,以Kibana呈現。

不少Linux系統亦會加入Auditd日誌,審核系統的使用過程,以建立追蹤的Audit Trail檔案乎合法規遵從。以往系統管理員,往往要轉換Auditd日誌的格式,才能分析或製成圖表。Auditbeat直接輸出Auditd日誌成為JSON格式,供Kibana呈現,毋須再經轉換;任何系統異常情況,馬上無所遁形。

王德成說,Elastic的X-Pack加入了機器學習模組,資料出現異常,系統會自動標示異常的情況,包括出現的時間和資料來源,馬上提醒系統人員;包括系統遇到了多次破解密碼攻擊(Brute force attack),或者是系統有機器不斷掃描埠位(Portscan),自動發出警告,以便保安人員馬上反應。

Elastic可實時處理大量數據,優越的性能對系統保安,尤其饒具意義。保安系統必須快速反應,具自動化機制,系統人員警惕事故發生,才能馬上堵塞漏洞,以確保安全。

Leave a Reply

Your email address will not be published. Required fields are marked *