Alluxio
Alluxio是一個開源的虛擬分布式文件系統( Virtual Distributed File System, VDFS)。 Alluxio最初起源於一個叫Tachyon的研究項目,它是加州大學伯克利分校AMPLab實驗室由師從Scott Shenker教授和Ion Stoica教授的李浩源博士的博士論文課題[2] 。Alluxio位於大數據棧中的計算和存儲之間。它為計算框架提供了數據抽象層,使得應用能夠通過一個共同的接口連接底層不同的存儲系統。這個軟體是以Apache License的開源協議進行發布的。
原作者 | Haoyuan Li |
---|---|
開發者 | UC Berkeley AMPLab |
首次發布 | 2013年4月8日 |
當前版本 |
|
原始碼庫 | https://github.com/Alluxio/alluxio |
程式語言 | Java |
作業系統 | macOS, Linux |
語言 | Java |
許可協議 | Apache License 2.0 |
網站 | www |
2019年, 首屆數據編排峰會[3]在位於加州山景城的計算機歷史博物館舉辦。眾多業界巨擘介紹了他們在構架數據編排平台方面的觀點和經驗。數據分析、機器學習和人工智慧等一系列數據驅動型應用能夠通過Alluxio提供的API(例如Hadoop HDFS API, S3 API, FUSE API)高速交互訪問底層多種存儲系統中的數據。另外,Alluxio之上還能夠運行多種流行的計算框架,包括Presto, Apache Spark,Apache Hive, 以及Tensorflow等。
Alluxio能夠部署在私有環境,雲環境(例如Microsoft Azure, AWS, Google Cloud Platform),或者混合雲環境中。它可以直接運行在物理機之上或者類似於Kubernetes, Docker, Apache Mesos的容器化環境當中。
歷史
編輯Alluxio最初由李浩源於2013年在加州大學伯克利分校AMP實驗室創建並在2014年進行了開源。直至2018年,Alluxio開源項目已經有超過1000名貢獻者[4],從這個數據來看Alluxio已經成為了數據生態系統中最為活躍的項目之一。
版本號 | 初始發布日期 | 最終版本 | 發布日期 |
---|---|---|---|
0.2 | 2013-04-08 | 0.2.1 | 2013-04-25 |
0.3 | 2013-10-21 | 0.3.0 | 2013-10-21 |
0.4 | 2014-02-02 | 0.4.1 | 2014-02-25 |
0.5 | 2014-07-20 | 0.5.0 | 2014-07-20 |
0.6 | 2015-03-01 | 0.6.4 | 2015-04-23 |
0.7 | 2015-07-17 | 0.7.1 | 2015-08-10 |
0.8 | 2015-10-21 | 0.8.2 | 2015-11-10 |
1.0 | 2016-02-23 | 1.0.1 | 2016-03-27 |
1.1 | 2016-06-06 | 1.1.1 | 2016-07-04 |
1.2 | 2016-07-17 | 1.2.0 | 2016-07-17 |
1.3 | 2016-10-05 | 1.3.0 | 2016-10-05 |
1.4 | 2017-01-12 | 1.4.0 | 2017-01-12 |
1.5 | 2017-06-11 | 1.5.0 | 2017-06-11 |
1.6 | 2017-09-24 | 1.6.1 | 2017-11-02 |
1.7 | 2018-01-14 | 1.7.1 | 2018-03-26 |
1.8 | 2018-07-07 | 1.8.2 | 2019-08-05 |
2.0 | 2019-06-27 | 2.0.1 | 2019-09-03 |
2.1 | 2019-11-06 | 2.1.2 | 2020-02-04 |
2.2 | 2020-03-11 | 2.2.2 | 2020-06-24 |
2.3 | 2020-06-30 | 2.3.0 | 2020-06-30 |
2.4 | 2020-10-19 | 2.4.1 | 2020-11-20 |
2.5 | 2021-03-10 | 2.5.0 | 2021-03-10 |
2.6 | 2021-06-23 | 2.6.2 | 2021-09-17 |
2.7 | 2021-11-16 | 2.7.4 | 2022-04-19 |
2.8 | 2022-05-04 | 2.8.1 | 2022-08-17 |
2.9 | 2022-11-16 | 2.9.0 | 2022-11-16 |
格式: 舊版本 舊版本,仍被支援 當前版本 最新的預覽版 |
使用Alluxio的企業機構
編輯以下是一些使用Alluxio的知名企業的名錄列表:
參看
編輯參考來源
編輯- ^ Release 2.9.4. 2024年6月11日 [2024年6月20日].
- ^ Li, Haoyuan. Alluxio: A Virtual Distributed File System (技術報告). EECS Department, University of California, Berkeley. 7 May 2018 [2019-07-14]. UCB/EECS-2018-29. (原始內容存檔於2019-09-19).
- ^ Data Orchestration Summit 2019. [2019-12-16]. (原始內容存檔於2019-12-14).
- ^ Open HUB Alluxio development activity. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ This New Open Source Project Is 100X Faster than Spark SQL In Petabyte-Scale Production. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ Making the Impossible Possible with Tachyon: Accelerate Spark Jobs from Hours to Seconds. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ China Unicom's big bet on open source. [2019-12-16]. (原始內容存檔於2019-07-14).
- ^ Operationalizing Machine Learning—Managing Provenance from Raw Data to Predictions. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ Cray Analytics and Alluxio – Wrangling Enterprise Storage. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ Alluxio's Use and Practice in Didi. [2019-07-14]. (原始內容存檔於2019-09-19).
- ^ Data Transformation in Financial Services. [2019-12-16]. (原始內容存檔於2019-07-14).
- ^ ArcGIS and Alluxio - Using Alluxio to enhance ArcGIS data capability and get faster insights from all your data. [2019-07-14]. (原始內容存檔於2019-02-19).
- ^ Huawei hugs open-sourcey Alluxio: Thanks for the memories. [2019-07-14]. (原始內容存檔於2019-02-19).
- ^ How Alluxio is Accelerating Apache Spark Workloads. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ Getting Started with Tachyon by Use Cases. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ Using Alluxio as a fault-tolerant pluggable optimization component of JD.com's compute frameworks. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ World’s Largest Computer Maker Lenovo Selects Alluxio for Data Management of Worldwide Smartphone Data. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ Enhancing the Value of Alluxio with Samsung NVMe SSDs. [2019-07-14]. (原始內容存檔於2019-07-14).
- ^ Tencent Delivering Customized News to Over 100 Million Users per Month with Alluxio. [2019-07-14]. (原始內容存檔於2019-02-19).
- ^ The Practice of Alluxio in Near Real-Time Data Platform at VIPShop. [2019-07-14]. (原始內容存檔於2019-09-19).
- ^ Bringing Data to Life - Data Management and Visualization Techniques. [2019-07-14]. (原始內容存檔於2019-02-20).