帮助与文档
大数据操作系统 > 用户操作指南 > 数据工厂 > 数据导出FTP
新增数据导出FTP
数据导出FTP是指通过sqoop插件把HDFS系统或者Hive数据库中的数据导出到FTP目录下。
新增一条Sqoop连接记录,设置导出FTP目标和源,配置数据导出规则。保存后可在工作流中以Sqoop脚本形式调用。
相关参数说明:
字段 | 说明 |
基本信息 | |
资源名称 | 数据导出的业务名称。 |
导出方式 | 数据从Hive或HDFS中导出。 |
源 | |
数据源 | 加载出配置中心配置的类型为hive的资源名称。选择待导出数据存储的Hive源。 |
数据库 | 根据所选的Hive目标源,加载出该项目有权限的所有数据库名称。选择待导出数据存储的Hive库。 |
表名 | 根据选择的Hive目标库,加载出该库下有权限的所有表名。选择待导出数据存储的Hive表。 |
源导出地址 | Hdfs的绝对路径,待导出数据存储的目录。 |
目标 | |
目标源 | 加载出配置中心配置的FTP的所有资源名称。 |
资源文件目录 | 资源文件目录: FTP文件的路径,必须为有权限的路径。支持动态时间规则文件名,时间规则如yyyy-mm-dd,目录名/时间规则拼起来为最终资源文件目录,从此目录中读取数据,参数根据任务运行日期更新替换。 |
配置完成后,执行sqoop操作验证配置是否成功。当分区值为变量时,执行Sqoop时需要输入分区变量值。过程日志:点击执行按钮可以查看过程日志;结果日志:执行完成后查看结果日志。可以查看是否导出成功。
图 执行Sqoop导出数据
编辑数据导出FTP
编辑数据导出FTP的配置。
删除数据导出FTP
删除数据导出FTP的配置。
查询数据导出FTP
可以根据资源名称查询,支持模糊查询。
图 查询数据导出FTP