前言

在國(guó)內(nèi)編譯Spark項(xiàng)目需要從Maven源下載很多依賴包,官方源在國(guó)內(nèi)大環(huán)境下的下載速度大家都懂得,那個(gè)煎熬啊,簡(jiǎn)直是浪費(fèi)生命。

如果你的下載速度很快,你現(xiàn)在就可以無(wú)視這篇文章了。

阿里云給國(guó)內(nèi)開(kāi)發(fā)者提供了一個(gè)非常的良心的服務(wù):提供了一個(gè)國(guó)內(nèi)Maven鏡像,可以讓我們拜托這種煎熬。

地址信息

阿里云的Maven也是基于nexus構(gòu)建。

地址:http://maven.aliyun.com/
倉(cāng)庫(kù)地址:http://maven.aliyun.com/nexus/content/groups/public/

Spark支持sbt及Maven兩種編譯方式,接下來(lái)分別介紹,如何修改構(gòu)建配置,采用阿里云的maven倉(cāng)庫(kù)加速Spark編譯過(guò)程。

提速sbt構(gòu)建速度

網(wǎng)上有資料介紹如何使用國(guó)內(nèi)鏡像加速編譯,比如這個(gè):http://blog.csdn.net/mmical/article/details/41925823

然,對(duì)于Spark項(xiàng)目而言,并卵!因?yàn)镾park單獨(dú)定義了項(xiàng)目的構(gòu)建規(guī)則,并不會(huì)加載默認(rèn)的倉(cāng)庫(kù)解析配置。

我們需要修改Spark源碼下的

網(wǎng)友評(píng)論