阿里云 阿里云 专有云敏捷版 专有云敏捷版 大数据计算服务 大数据计算服务 开发指南 开发指南 产品版本：Agility-v3.5.0r 文档版本：20210127 产品版本：Agility-v3.5.0r 文档版本：20210127 大数据计算服务 开发指南· 法律声明 法律声明 阿里云提醒您在阅读或使用本文档之前仔细阅读、充分理解本法律声明各条款的内容。 如果您阅读或使用本文档，您的阅读或使用行为将被视为对本声明全部内容的认可。 1. 您应当通过阿里云网站或阿里云提供的其他授权通道下载、获取本文档，且仅能用 于自身的合法合规的业务活动。本文档的内容视为阿里云的保密信息，您应当严格 遵守保密义务；未经阿里云事先书面同意，您不得向任何第三方披露本手册内容或 提供给任何第三方使用。 2. 未经阿里云事先书面许可，任何单位、公司或个人不得擅自摘抄、翻译、复制本文 档内容的部分或全部，不得以任何方式或途径进行传播和宣传。 3. 由于产品版本升级、调整或其他原因，本文档内容有可能变更。阿里云保留在没有 任何通知或者提示下对本文档的内容进行修改的权利，并在阿里云授权通道中不时 发布更新后的用户文档。您应当实时关注用户文档的版本变更并通过阿里云授权渠 道下载、获取最新版的用户文档。 4. 本文档仅作为用户使用阿里云产品及服务的参考性指引，阿里云以产品及服务 的“现状”、“有缺陷”和“当前功能”的状态提供本文档。阿里云在现有技术的 基础上尽最大努力提供相应的介绍及操作指引，但阿里云在此明确声明对本文档内 容的准确性、完整性、适用性、可靠性等不作任何明示或暗示的保证。任何单位、 公司或个人因为下载、使用或信赖本文档而发生任何差错或经济损失的，阿里云不 承担任何法律责任。在任何情况下，阿里云均不对任何间接性、后果性、惩戒性、 偶然性、特殊性或刑罚性的损害，包括用户使用或信赖本文档而遭受的利润损失， 承担责任（即使阿里云已被告知该等损失的可能性）。 5. 阿里云网站上所有内容，包括但不限于著作、产品、图片、档案、资讯、资料、网 站架构、网站画面的安排、网页设计，均由阿里云和/或其关联公司依法拥有其知识 产权，包括但不限于商标权、专利权、著作权、商业秘密等。非经阿里云和/或其关 联公司书面同意，任何人不得擅自使用、修改、复制、公开传播、改变、散布、发 行或公开发表阿里云网站、产品程序或内容。此外，未经阿里云事先书面同意，任 何人不得为了任何营销、广告、促销或其他目的使用、公布或复制阿里云的名称 （包括但不限于单独为或以组合形式包含“阿里云”、“Aliyun”、“万网”等阿 里云和/或其关联公司品牌，上述品牌的附属标志及图案或任何类似公司名称、商 号、商标、产品或服务名称、域名、图案标示、标志、标识或通过特定描述使第三 方能够识别阿里云和/或其关联公司）。 6. 如若发现本文档存在任何错误，请与阿里云取得直接联系。 > 文档版本：20210127 I 大数据计算服务 开发指南· 通用约定 通用约定 格式 危险 说明 该类警示信息将导致系统重大变更甚至故 障，或者导致人身伤害等结果。 样例 危险 重置操作将丢失用户配置数据。 警告 警告 该类警示信息可能会导致系统重大变更甚 至故障，或者导致人身伤害等结果。 重启操作将导致业务中断，恢复业务 时间约十分钟。 注意 注意 用于警示信息、补充说明等，是用户必须 了解的内容。 说明 用于补充说明、最佳实践、窍门等，不是 用户必须了解的内容。 权重设置为0，该服务器不会再接受新 请求。 说明 您也可以通过按Ct rl+A选中全部文 件。 > 多级菜单递进。 单击设置 > 网络 > 设置网络类型 。 粗体 表示按键、菜单、页面名称等UI元素。 在结果确认 页面，单击确定 。 Courier字体 斜体 命令或代码。 表示参数、变量。 执行 cd /d C:/window 命令，进入 Windows系统文件夹。 bae log list --inst anceid Inst ance_ID [] 或者 [a|b] 表示可选项，至多选择一个。 {} 或者 {a|b} 表示必选项，至多选择一个。 > 文档版本：20210127 ipconfig [-all|-t ] swit ch {act ive|st and} I 大数据计算服务 开发指南· 目录 目录 1.Java SDK 06 1.1. Java SDK介绍 06 1.2. 环境准备 06 1.2.1. 概述 07 1.2.2. 获取Accesskey 07 1.2.2.1. 登录Apsara Uni-manager运营控制台 07 1.2.2.2. 获取组织Accesskey 07 1.2.2.3. 获取阿里云AccessKey 08 1.2.3. 获取Endpoint 1.3. 核心接口 08 11 1.3.1. AliyunAccount 11 1.3.2. Odps 11 1.3.3. Projects 11 1.3.4. Project 12 1.3.5. SQLTask 12 1.3.6. Instances 13 1.3.7. Instance 13 1.3.8. Tables 14 1.3.9. Table 15 1.3.10. Resources 15 1.3.11. Resource 16 1.3.12. Functions 16 1.3.13. Function 17 1.3.14. Spark Shell 17 1.3.15. Spark R 18 1.3.16. Spark SQL 18 > 文档版本：20210127 I 开发指南· 目录 1.3.17. Spark JDBC 19 1.3.18. Document APIs 19 1.3.19. Search APIs 19 1.3.20. CheckPermissionTest 20 2.Python SDK II 大数据计算服务 21 > 文档版本：20210127 大数据计算服务 开发指南· Java SDK 1.Java SDK 1.1. Java SDK介绍 本章节为您介绍MaxComput e提供的SDK包整体信息，并提供完整接口信息的链接。 MaxComput e完整接口信息。 您可以通过Maven管理配置新SDK的版本，Maven的配置示例如下。 <dependency> <groupId>com.aliyun.odps</groupId> <artifactId>odps-sdk-core</artifactId> <version>0.36.2</version> </dependency> MaxComput e提供的SDK包整体信息，如下表所示。 包名 描述 MaxCompute基础功能。 odps-sdk-core odps-sdk-core-internal odps-sdk-commons 封装了基础的MaxCompute概念及其编程接口，包括Odps、Project和T able 等，T unnel相关的功能也在此包。 MaxCompute扩展功能。 封装了一些不常用的MaxCompute概念和操作，例如Event和XFlow等。 MaxCompute基础设施。 包含T ableSchema、Column、Record和OdpsT ype等基础设施以及一些Util的封装。 odps-sdk-udf MaxCompute UDF编程接口。 odps-sdk-mapred MaxCompute MapReduce作业编程接口。 odps-sdk-graph MaxCompute Graph编程接口。 SDK包下载地址为SDK包下载。 说明 对于MaxComput e提供的SDK包，如果您使用的MaxComput e版本在V3.0.0以下，请下 载0.27.2版本的SDK包使用；如果您使用的MaxComput e版本是V3.0.0到V3.3.0，请下 载0.30.8或0.30.9版本的SDK包使用；如果您使用的MaxComput e版本是V3.4.0及以上，请下载0.36.2版 本的SDK包使用。 1.2. 环境准备 > 文档版本：20210127 6 开发指南· Java SDK 大数据计算服务 1.2.1. 概述 本章节为您介绍使用SDK前需要进行的环境准备。 需要一个授权账号以及一对AccessKey ID和AccessKey Secret 。 需要获取产品的Endpoint 。 1.2.2. 获取Accesskey 1.2.2.1. 登录Apsara Uni-manager运营控制台 本节主要向您介绍如何登录Apsara Uni-manager运营控制台。 前提条件 登录Apsara Uni-manager运营控制台前，确认您已从部署人员处获取Apsara Uni-manager运营控制台的 服务域名地址。 推荐使用Chrome浏览器。 操作步骤 1. 在浏览器地址栏中，输入Apsara Uni-manager运营控制台的访问地址，按回车键。 2. 输入正确的用户名及密码。 请向运营管理员获取登录控制台的用户名和密码。 说明 首次登录Apsara Uni-manager运营控制台时，需要修改登录用户名的密码，请按照提示 完成密码修改。为提高安全性，密码长度必须为 8~20 位，且至少包含以下两种类型： 英文大写或小写字母（A~Z、a~z） 阿拉伯数字（0~9） 特殊符号（感叹号（！）、at （@）、井号（#）、美元符号（$）、百分号（%）等） 3. 单击登录 。 1.2.2.2. 获取组织Accesskey 本章节为您介绍如何获取组织AccessKey。 前提条件 只有运营管理员和一级组织管理员可以获取组织AccessKey。 操作步骤 1. 管理员登录Apsara Uni-manager运营控制台。 2. 在页面顶部菜单栏上，单击企业 。 3. 在企业 页面的左侧导航栏中，单击组织管理 。 4. 在组织结构中，单击要添加的上级组织后面的 7 。 > 文档版本：20210127 大数据计算服务 开发指南· Java SDK 5. 在弹出的下拉菜单中，选择获取 accesskey 。 6. 在弹出的对话框中，查看组织Accesskey信息。 说明 一级组织的AccessKey为系统自动分配，下级组织使用一级组织的AccessKey。 1.2.