Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫（例如 ： MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫中。Sqoop項目開始于2009年，最早是作為Hadoop的一個第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨(dú)立成為一個Apache項目。

　　總之Sqoop是一個轉(zhuǎn)換工具，用于在關(guān)系型數(shù)據(jù)庫與HDFS之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換。

移動開發(fā)培訓(xùn),Android培訓(xùn),安卓培訓(xùn),手機(jī)開發(fā)培訓(xùn),手機(jī)維修培訓(xùn),手機(jī)軟件培訓(xùn)

 

　　注意：sqoop1與sqoop2完全不兼容，1.4.6及之前的版本是sqoop1，之后的是sqoop2

Sqoop1和Sqoop2的對比

sqoop2比sqoop1的改進(jìn)

  1.  引入sqoop server，集中化管理connector等

  2.  多種訪問方式：CLI,Web UI，REST API

  3.  引入基于角色 的安全機(jī)制

sqoop1與sqoop2的優(yōu)缺點

  1. sqoop1的架構(gòu)，僅僅使用一個sqoop客戶端，sqoop2的架構(gòu)，引入了sqoop server集中化管理connector，以及rest api，web，UI，并引入權(quán)限安全機(jī)制。

  2. sqoop1優(yōu)點架構(gòu)部署簡單

  3. sqoop1的缺點命令行方式容易出錯，格式緊耦合，無法支持所有數(shù)據(jù)類型，安全機(jī)制不夠完善，例如密碼暴漏，

  4. 安裝需要root權(quán)限，connector必須符合JDBC模型

  5. sqoop2的優(yōu)點多種交互方式，命令行，web UI，rest API，conncetor集中化管理，所有的鏈接安裝在sqoop server上，完善權(quán)限管理機(jī)制，connector規(guī)范化，僅僅負(fù)責(zé)數(shù)據(jù)的讀寫。

  6. sqoop2的缺點，架構(gòu)稍復(fù)雜，配置部署更繁瑣。

 sqoop1架構(gòu)圖

移動開發(fā)培訓(xùn),Android培訓(xùn),安卓培訓(xùn),手機(jī)開發(fā)培訓(xùn),手機(jī)維修培訓(xùn),手機(jī)軟件培訓(xùn)

 sqoop2架構(gòu)圖

 移動開發(fā)培訓(xùn),Android培訓(xùn),安卓培訓(xùn),手機(jī)開發(fā)培訓(xùn),手機(jī)維修培訓(xùn),手機(jī)軟件培訓(xùn)

　　由于sqoop2還不是很完善，官方建議生產(chǎn)環(huán)境不建議使用，在此就sqoop1.4.6來作介紹

安裝環(huán)境：

Cenos7系統(tǒng)
sqoop版本：1.4.6
Hadoop：2.7.3
MySQL：5.7.15
JDK ：1.8

下載并解壓sqoop1.4.6

安裝在一臺節(jié)點上就可以了
點擊 sqoop 下載地址，下載Sqoop安裝文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz。將文件上傳到服務(wù)器的/usr/local文件夾中。
下面執(zhí)行以下命令

1. cd ~ #進(jìn)入當(dāng)前用戶的用戶目錄2. cd /usr/local3. sudo tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local #解壓安裝文件5. sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop146 #修改文件名6. sudo chown -R hadoop:hadoop sqoop146 #修改文件夾屬主，如果你當(dāng)前登錄用戶名不是hadoop，請修改成你自己的用戶名 （hadoop為用Hadoop創(chuàng)建的用戶組和用戶名，sqoop將與Hadoop組合使用）

 修改配置文件sqoop-env.sh

1. cd sqoop146/conf/
2. cat sqoop-env-template.sh >> sqoop-env.sh #將sqoop-env-template.sh復(fù)制一份并命名為sqoop-env.sh3. vi sqoop-env.sh #編輯sqoop-env.sh

修改sqoop-env.sh的如下信息，若有其它的可以都加上

 export HADOOP_COMMON_HOME=/usr/local/hadoop273
 export HADOOP_MAPRED_HOME=/usr/local/hadoop273

　　export HBASE_HOME=/usr/local/hbase
　　export HIVE_HOME=/usr/local/hive
　　export ZOOCFGDIR= #如果讀者配置了ZooKeeper,也需要在此配置ZooKeeper的路徑

配置環(huán)境變量

打開當(dāng)前用戶的環(huán)境變量配置文件：

vi ~/.bash_profile

在配置文件第一行鍵入如下信息：

export SQOOP_HOME=/usr/local/sqoop146
export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib

保存該文件，退出vim編輯器。
然后，執(zhí)行下面命令讓配置文件立即生效:

 source ~/.bash_profile

 將mysql驅(qū)動包拷貝到$SQOOP_HOME/lib

下面要把MySQL驅(qū)動程序和hadoop-connector jar包拷貝到$SQOOP_HOME/lib目錄下，不存在先下載驅(qū)動包。

cp ./mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/sqoop146/lib

cp $HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.3.jar $SQOOP_HOME/lib

修改$SQOOP_HOME/bin/configure-sqoop

注釋掉HCatalog，Accumulo檢查(除非你準(zhǔn)備使用HCatalog，Accumulo等HADOOP上的組件)     

移動開發(fā)培訓(xùn),Android培訓(xùn),安卓培訓(xùn),手機(jī)開發(fā)培訓(xùn),手機(jī)維修培訓(xùn),手機(jī)軟件培訓(xùn)

##Moved to be a runtime check in sqoop.#if[ ! -d "${HCAT_HOME}" ]; then#  echo "Warning: $HCAT_HOME does notexist! HCatalog jobs will fail."#  echo 'Please set $HCAT_HOME to the root ofyour HCatalog installation.'#fi
 #if[ ! -d "${ACCUMULO_HOME}" ]; then#  echo "Warning: $ACCUMULO_HOME does notexist! Accumulo imports will fail."#  echo 'Please set $ACCUMULO_HOME to the rootof your Accumulo installation.'#fi
 #Add HCatalog to dependency list#if[ -e "${HCAT_HOME}/bin/hcat" ]; then# TMP_SQOOP_CLASSPATH=${SQOOP_CLASSPATH}:`${HCAT_HOME}/bin/hcat-classpath`#  if [ -z "${HIVE_CONF_DIR}" ]; then#   TMP_SQOOP_CLASSPATH=${TMP_SQOOP_CLASSPATH}:${HIVE_CONF_DIR}#  fi#  SQOOP_CLASSPATH=${TMP_SQOOP_CLASSPATH}#fi
 #Add Accumulo to dependency list#if[ -e "$ACCUMULO_HOME/bin/accumulo" ]; then#  for jn in `$ACCUMULO_HOME/bin/accumuloclasspath | grep file:.*accumulo.*jar |cut -d':' -f2`; do#    SQOOP_CLASSPATH=$SQOOP_CLASSPATH:$jn#  done#  for jn in `$ACCUMULO_HOME/bin/accumuloclasspath | grep file:.*zookeeper.*jar |cut -d':' -f2`; do#    SQOOP_CLASSPATH=$SQOOP_CLASSPATH:$jn#  done#fi

移動開發(fā)培訓(xùn),Android培訓(xùn),安卓培訓(xùn),手機(jī)開發(fā)培訓(xùn),手機(jī)維修培訓(xùn),手機(jī)軟件培訓(xùn)

測試與MySQL的連接

首先請確保mysql服務(wù)已經(jīng)啟動了，如果沒有啟動，請執(zhí)行下面命令啟動：

 service mysql start

然后就可以測試sqoop與MySQL之間的連接是否成功：

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -password root

root為數(shù)據(jù)庫的用戶名和密碼，mysql的數(shù)據(jù)庫列表顯示在屏幕上表示連接成功。

作者：歡醉 
公眾號【一個碼農(nóng)的日?！?1號群： 437802986 2號群： 340250479 
出處：http://zhangs1986.cnblogs.com/ 
本文版權(quán)歸作者和博客園共有，歡迎轉(zhuǎn)載，但未經(jīng)作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接，否則保留追究法律責(zé)任的權(quán)利。

http://www.cnblogs.com/zhangs1986/p/7052621.html