前言
在國內(nèi)編譯Spark項目需要從Maven源下載很多依賴包,官方源在國內(nèi)大環(huán)境下的下載速度大家都懂得,那個煎熬啊,簡直是浪費生命。
如果你的下載速度很快,你現(xiàn)在就可以無視這篇文章了。
阿里云給國內(nèi)開發(fā)者提供了一個非常的良心的服務:提供了一個國內(nèi)Maven鏡像,可以讓我們拜托這種煎熬。
地址信息
阿里云的Maven也是基于nexus構(gòu)建。
地址:http://maven.aliyun.com/
倉庫地址:http://maven.aliyun.com/nexus/content/groups/public/
Spark支持sbt及Maven兩種編譯方式,接下來分別介紹,如何修改構(gòu)建配置,采用阿里云的maven倉庫加速Spark編譯過程。
提速sbt構(gòu)建速度
網(wǎng)上有資料介紹如何使用國內(nèi)鏡像加速編譯,比如這個:http://blog.csdn.net/mmical/article/details/41925823
然,對于Spark項目而言,并卵!因為Spark單獨定義了項目的構(gòu)建規(guī)則,并不會加載默認的倉庫解析配置。
我們需要修改Spark源碼下的
延伸閱讀
學習是年輕人改變自己的最好方式