1.概述
Apache Arrow 是 Apache 基金會(huì)全新孵化的一個(gè)頂級項(xiàng)目。它設(shè)計(jì)的目的在于作為一個(gè)跨平臺的數(shù)據(jù)層，來加快大數(shù)據(jù)分析項(xiàng)目的運(yùn)行速度。
2.內(nèi)容
現(xiàn)在大數(shù)據(jù)處理模型很多，用戶在應(yīng)用大數(shù)據(jù)分析時(shí)，除了將 Hadoop 等大數(shù)據(jù)平臺作為一個(gè)存儲(chǔ)和批處理平臺之外，同樣也得關(guān)注系統(tǒng)的擴(kuò)展性和性能。過去開源社區(qū)已經(jīng)發(fā)布了很多工具來完善大數(shù)據(jù)分析的生態(tài)系統(tǒng)，這些工具包含了數(shù)據(jù)分析的各個(gè)層面，例如列式存儲(chǔ)格式（Parquet，ORC），內(nèi)存計(jì)算模型（Drill，Spark，Impala 和 Storm）以及其強(qiáng)大的 API 接口。而 Arrow 則是最新加入的一員，它提供了一種跨平臺應(yīng)用的內(nèi)存數(shù)據(jù)交換格式。
在數(shù)據(jù)快速增長和復(fù)雜化的情況下，提高大數(shù)據(jù)分析性能一個(gè)重要的途徑是對列式數(shù)據(jù)的設(shè)計(jì)和處理。列式數(shù)據(jù)處理借助了向量計(jì)算和 SIMD 使我們可以充分挖掘硬件的潛力。而 Apache Drill 其大數(shù)據(jù)查詢引擎無論是在硬盤還是內(nèi)存中數(shù)據(jù)都是以列的方式存在的，而 Arrow 就是由 Drill 中的 Value Vector 這一數(shù)據(jù)格式發(fā)展而來。此外，Arrow 也支持關(guān)系型和動(dòng)態(tài)數(shù)據(jù)集。
Arrow 的誕生為大數(shù)據(jù)生態(tài)帶來了很多可能性，有了 Arrow 作為今后標(biāo)準(zhǔn)數(shù)據(jù)交換格式，各個(gè)數(shù)據(jù)分析的系統(tǒng)和應(yīng)用之間的交互性可以說是揭開了新的篇章。過去大部分的 CPU 周期都花在了數(shù)據(jù)的序列化與反序列化上，現(xiàn)在我們則能夠?qū)崿F(xiàn)不同系統(tǒng)之間數(shù)據(jù)的無縫鏈接。這意味著使用者在不同系統(tǒng)結(jié)合時(shí)，不用在數(shù)據(jù)格式上話費(fèi)過多的時(shí)間。
3.Arrow Group
Arrow 的內(nèi)存數(shù)據(jù)結(jié)構(gòu)如下所示：
