科學大數據智能分析軟件的現狀與趨勢 _ 中國發展門戶網-國家發展門08靠設計公仔戶

requestId:68c454b18f0b22.74454284.

發展現狀

數據密集型科學發現離不開軟件系統的支撐,本文的研究對象聚焦于近 10 年來面向科學大數據智能分析的典型軟件系統。從適用范圍來看,科學大數據智能分析軟件可以簡單分為通用型和領域專用型兩類。通用型智能分析軟件是大數據、人工智能等領域的通用分析軟件,并被科學廣告設計家團隊應用于特定領域的研究工作,如 Matlab。領域專用型智能分析軟件是指針展覽策劃對特定科學領VR虛擬實境域的專有分析軟件,如地啟動儀式學、資源環境科學領域流行的 Google Earth Engine。

通用型科學大數據智能分析軟件

大數據和人工智能技術發活動佈置展迅速,涌現了大量軟件系統,本活動佈置文選取科學家團隊較為常用、具有代表性的智能分析軟件,并依據軟件系統的部署模式,將這些軟件分為 3 類——單機環境、分布式環境和云計算環境,同時這也是智能分析軟件發展的 3 個階段。

單機環境智能分析軟件。在商業數據分析軟件方面,Matlab 提供了用于算法開發、數品牌活動據可視化、數據分析以及數值經典大圖計算的高級編程語言和交互式環境,在眾多科學領域應用廣泛。在眾多開源免費數據分析軟件中,R 語言、Scikit-Learn、Weka是典型代表。R 語言是一包裝盒種用于統計分析和繪圖的語言,提供了豐富的統計分析功能,用戶還可以通過開發并安裝擴記者會展包增強 R 的功能。 Python廣告設計 語言擁有大量科學數據分析的算法庫,其中就包括被廣泛應用于機沈浸式體驗器學習和數據挖經典大圖掘的 Scikit-Learn。Weka 數據道具製作挖掘平臺基于 Java 語言開發,提供了可視化、拖拽式的分析流程設計界面,并集成了大量數據預處理和機器學習算法。這些軟件系統在設計之初是以單機模式運行,無法針對基于分布式存儲的大數據進行處理,在大數據模型場景下存在先天不足。此外,這些軟件系統還缺乏對深度學習技術的有效支持。

分布式環境智能分析軟件。在分布式環境開幕活動下,包裝設計開源社區提供的大數據分析軟件成為主流,Hadoop Mahout、Spark MLlib是其中的典型代表,研究人員借助于 Hadoop、Spark 框架,解決了分布式并行挖掘問題,并提供包裝盒了典型的VR虛擬實境機器學習算法和模型。近年來,涌現出一批開源深度學習框架,例如 Tensor Flow、Caffe、C品牌活動NTK玖陽視覺、MXNet 等,用于深度神經網絡模型的構建及訓練,支持分布式計算和異構計算。盡管這些開源軟件提供了豐富的算法庫和高效的分布式計算平臺,但仍需要專業的編程開發和系統配置技能,且學習曲線陡峭,不利于科學家團隊使用。

云計算環境沈浸式體驗智能分析軟件。通過云平臺提供大數據智能分析服務已成為大型公有云平臺的標配服務,“機器學習即服務”(machine learning as a service,MlaaS互動裝置)也成為多家領先云平臺廠商的發展趨勢。Azure Machine品牌活動 Learning(Azure ML)是微軟 Azu奇藝果影像re 云平臺提供的機器學習分析服務,在提供大量通用機器學習分析算法基礎上,Azure ML 還面向數據科學家用戶提供了交互式的圖形化開發界面。類沈浸式體驗似的 MLaaS 還包括包裝設計 Ali沈浸式體驗yun PAI 等。這些系統通常僅支持某種特定開發語言和應用程序編程接口(API),用戶無法自主擴充算法庫,存在平臺鎖展覽策劃定(lock-in全息投影)問題。除了上述公有云廠商提供的大數據智能分析服務,一些科學家團隊將具有“瀏覽器/服務器”架構模式的交互式分析軟策展件部署在公有云或私有云,實現了“簡化版”的 MLaaS。例如,Jupyter Notebook是支持“瀏覽器/服務器”架構的交互式分析軟件,支持通過瀏覽器編輯運行多種編程語言,在服務器端進行數據處理、數值模擬、統計建模、機器學習以及可視化等。

  

TC:08designfollow

CATEGORIES:

Tags:

Comments are closed