Spark SQL數(shù)據(jù)加載和保存實戰(zhàn)

一：前置知識詳解： 
Spark SQL重要是操作DataFrame，DataFrame本身提供了save和load的操作， 
Load：可以創(chuàng)建DataFrame， 
Save：把DataFrame中的數(shù)據(jù)保存到文件或者說與具體的格式來指明我們要讀取的文件的類型以及與具體的格式來指出我們要輸出的文件是什么類型。 
二：Spark SQL讀寫數(shù)據(jù)代碼實戰(zhàn)：

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.sql.*;import org.apache.spark.sql.types.DataTypes;import org.apache.spark.sql.types.StructField;import org.apache.spark.sql.types.StructType;import java.util.ArrayList;import java.util.List;public class SparkSQLLoadSaveOps {    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("SparkSQLLoadSaveOps");
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext = new SQLContext(sc);        /**
         * read()是DataFrameReader類型，load可以將數(shù)據(jù)讀取出來         */
        DataFrame peopleDF = sqlContext.read().format(&qu
        
		

        		
網(wǎng)友評論
     		
				

			
			
			
		
		
		
    	
    	
        	

        		
更多精彩分享
        		

        			
        		
        			
	        		
	        		學習是年輕人改變自己的最好方式