序:map客戶端使用jdbc向數(shù)據(jù)庫發(fā)送查詢語句,將會拿到所有數(shù)據(jù)到map的客戶端,安裝jdbc的原理,數(shù)據(jù)全部緩存在內(nèi)存中,但是內(nèi)存沒有出現(xiàn)爆掉情況,這是因為1.3以后,對jdbc進(jìn)行了優(yōu)化,改進(jìn)jdbc內(nèi)部原理,將數(shù)據(jù)寫入磁盤存儲了。
原文和作者一起討論: http://www.cnblogs.com/intsmaze/p/6775034.html
微信:intsmaze
Sqoop是apache旗下一款“Hadoop和關(guān)系數(shù)據(jù)庫服務(wù)器之間傳送數(shù)據(jù)”的工具。Sqoop架構(gòu)非常簡單,其整合了Hive、Hbase和Oozie,通過map-reduce任務(wù)來傳輸數(shù)據(jù),從而提供并發(fā)特性和容錯。
導(dǎo)入數(shù)據(jù):MySQL,Oracle導(dǎo)入數(shù)據(jù)到Hadoop的HDFS、HIVE、HBASE等數(shù)據(jù)存儲系統(tǒng)。
導(dǎo)出數(shù)據(jù):從Hadoop的文件系統(tǒng)中導(dǎo)出數(shù)據(jù)到關(guān)系數(shù)據(jù)庫mysql等。