Sqoop

Sqoop 是 Apache 开源工具，专用于在 Hadoop 生态系统（HDFS/Hive/HBase） 和 关系型数据库（如 MySQL、Oracle、PostgreSQL） 之间高效传输数据。即sql-to-hadoop。

原理

• JDBC 连接：通过 JDBC 驱动与数据库交互。
• MapReduce 并行化：
  • Import：将表数据拆分为多个分片（split），每个 Map 任务处理一个分片，结果写入 HDFS。
  • Export：将 HDFS 文件拆分为多个 Map 任务，并行写入数据库。
• 事务管理：导出时默认使用多事务提交，非原子操作（可通过 --staging-table 参数优化）。

功能

• 导入（Import）：将关系型数据库数据迁移到 HDFS、Hive 或 HBase。
• 导出（Export）：将 HDFS 或 Hive 数据写回关系型数据库。
• 批量操作：基于 MapReduce 实现并行化，高效处理大数据量。

基本操作

1.  连接数据库

-connect jdbc:mysql://192.168.137.128:3306/ –username root –password 123456

[root@hadoop100 sqoop-1.4.7]# bin/sqoop list-databases --connect jdbc:mysql://192.168.137.128:3306/ --username root --password 123456

2. 查询数据库、数据表

[root@hadoop100 sqoop-1.4.7]# bin/sqoop list-databases --connect jdbc:mysql://192.168.137.128:3306/ --username root --password 123456
[root@hadoop100 sqoop-1.4.7]# bin/sqoop list-tables --connect jdbc:mysql://192.168.137.128:3306/usr --username root --password 123456

3. Mysql导入HDFS

需要表中有主键

添加主键：alter table TABLE_NAME add id int not null primary key Auto_increment

sqoop import \
--connect jdbc:mysql://hadoop100:3306/usr \
--username root \
--password 123456 \
--table xg \
--target-dir /hdfs_path \
--fields-terminated-by '\t'

4. HDFS导入Mysql

sqoop export \
--connect jdbc:mysql://hadoop100/usr \
--username root \
--password 123456 \
--table xg \
--export-dir /hdfs_path
--input-fields-terminated-by "\t"