一句話說(shuō)，在Spark中對(duì)數(shù)據(jù)的操作其實(shí)就是對(duì)RDD的操作，而對(duì)RDD的操作不外乎創(chuàng)建、轉(zhuǎn)換、調(diào)用求值。
什么是RDD
RDD（Resilient Distributed Dataset），彈性分布式數(shù)據(jù)集。
它定義了如何在集群的每個(gè)節(jié)點(diǎn)上操作數(shù)據(jù)的一系列命令，而不是指真實(shí)的數(shù)據(jù)，Spark通過(guò)RDD可以對(duì)每個(gè)節(jié)點(diǎn)的多個(gè)分區(qū)進(jìn)行并行的數(shù)據(jù)操作。
之所以稱彈性，是因?yàn)槠溆懈呷蒎e(cuò)性。默認(rèn)情況下，Spark會(huì)在每一次行動(dòng)操作后進(jìn)行RDD重計(jì)算，如想在多個(gè)行動(dòng)操作中使用RDD,可以將其緩存（以分區(qū)的方式持久化）到集群中每臺(tái)機(jī)器的內(nèi)存或者磁盤(pán)中。當(dāng)一臺(tái)機(jī)器失效無(wú)法讀取RDD數(shù)據(jù)時(shí)，可通過(guò)此特性重算丟掉的分區(qū)，從而恢復(fù)數(shù)據(jù)，此過(guò)程對(duì)用戶透明。
如何創(chuàng)建RDD
可通過(guò)以下幾種方式創(chuàng)建RDD：
通過(guò)讀取外部數(shù)據(jù)集 （本地文件系統(tǒng)/HDFS/...）
通過(guò)讀取集合對(duì)象 （List/Set/...）
通過(guò)已有的RDD生成新的RDD
