ODPS产品帮助文档目录
一、ODPS介绍 (4)
(一)、ODPS简介 (4)
1、什么是ODPS (4)
2、概念解读 (4)
(二)、功能特性 (6)
(三)、ODPS常用命令语法 (7)
1、Use Project (7)
2、Create Table (7)
3、Drop Table (8)
4、Describe Table (8)
5、Show Tables (10)
6、Show Partitions (10)
7、Upload/Download Data (10)
8、Show Instances (11)
9、Status Instance (12)
10、Kill Instance (12)
11、Log (13)
12、Whoami (14)
二、ODPS CLT(command line tools) 参考手册 (14)
(一)、ODPS CLT 概要 (14)
1、文档说明 (14)
2、下载odpscmd(未开放) (15)
3、安装JRE (15)
4、配置和运行odpscmd (15)
(二)、ODPS客户端配置参数 (16)
1、查看帮助信息 (16)
2、 Project选项 (18)
3、 Endpoint选项 (18)
4、 ACCESS_ID和ACCESS_KEY配置 (19)
5、指定命令执行脚本 (19)
6、参数指定运行语句 (19)
7、查看Version选项 (20)
三、ODPS SQL 手册 (20)
(一)、DDL语法 (20)
1、创建表(CREATE TABLE) (20)
2、删除表(DROP TABLE) (23)
3、重命名表(RENAME TABLE) (24)
4、创建视图(CREATE VIEW) (24)
6、重命名视图(RENAME VIEW) (25)
7、添加分区(ADD PARTITIONS) (26)
8、删除分区(DROP PARTITION) (27)
9、修改表的注释 (28)
10、添加列 (28)
11、修改列名 (28)
12、修改列、分区注释 (28)
13、修改表的生命周期属性 (29)
14、修改表、分区的修改时间 (29)
(二)DML语法 (30)
1、更新表中的数据(INSERT OVERWRITE/INTO) (30)
2、多路输出(MULTI INSERT) (31)
3、输出到动态分区(DYNAMIC PARTITION) (33)
4、SELECT操作 (34)
5、子查询 (36)
6、UNION ALL (37)
7、JOIN操作 (38)
8、MAPJOIN HINT (39)
9、CASE WHEN表达式 (40)
四、安全参考手册 (42)
(一)概述 (42)
1、目标用户 (42)
2、快速入门 (42)
(二)ODPS 用户认证 (49)
1、简介 (49)
2、关于云账号认证 (49)
3、云账号的使用方法 (49)
(三)项目空间的用户与授权管理【基础篇:自主访问控制】 (50)
1、简介 (50)
2、项目空间 (50)
3、项目空间的用户管理 (51)
4、项目空间的角管理 (52)
5、对用户或角进行授权 (52)
6、ACL授权 (54)
7、Policy授权 (55)
8、ACL授权 v.s Policy授权 (57)
mysql帮助文档9、查看权限 (58)
10、查看指定用户的权限 (59)
11、查看指定角的权限 (60)
12、查看指定对象的授权列表 (60)
(四)访问策略语言 (60)
1、基本术语 (60)
2、访问策略语言结构 (61)
(五)快速开始 (68)
五、公测须知 (69)
1、申请条件 (69)
2、申请流程 (69)
3、审核周期 (70)
4、公测时间 (70)
六、技术分享 (70)
1、ODPSSQL、Hive和Mysql的对比 (70)
一、ODPS介绍
(一)、ODPS简介
1、什么是ODPS
ODPS提供海量数据处理及分析服务,让用户远离大数据运算烦恼。
开放数据处理服务(Open Data Processing Service,ODPS)是基于飞天内核构建的海量数据处理和分析的服务平台,它以RESTful API形式提供服务,具有PB级别的数据处理能力, 主要适用于实时性要求不高的海量数据处理,如数据分析、海量数据统计、数据挖掘和商业智能领域。
ODPS提供了数据上传下载通道,SQL处理操作,并且提供了完善的安全解决方案,其包括的功能有:
数据通道:提供高并发的数据上传下载服务
SQL计算
安全:给ODPS里所有的对象提供安全服务
2、概念解读
2.1项目空间(Project)
用户空间Project(有时也称项目)是ODPS的基本组织单元,它很类似传统数据库的Database 或Scheme的概念,它是进行多用户隔离和访问控制的主要边界。在ODPS中,所有对象都是属于某个项目空间的。一个用户可以同时拥有多个项目空间的权限。
项目空间有多个属性,通过配置这些属性,可以达到控制项目空间及项目空间下所有对象行为的目的。目前ODPS对外开放的属性包括:
用户可以通过”use <project_name>;”命令进入一个项目空间,例如:
use test_project;  --    进入一个名为test_project的项目空间
备注:此命令运行后,用户会进入一个名为”test_project”的项目空间,从而可以操作该项目空间下的对象,例如:表、实例等,而不需要关心操作对象所在的项目空间。”use
<project_name>”是属于ODPS命令。
2.2表(Table)
表是ODPS的数据存储单元,类似于关系数据库中的表,它在逻辑上也是由行和列组成的二维结构,每行代表一条记录,每列表示相同数据类型的一个字段,一条记录可以包含一个或多个列,各个列的名称和类型构成这张表的schema,比如一条记录包含以下字段
- user_id BIGINT,标识唯一用户ID
- view_time BIGINT1,表示页面访问时间戳
- page_url STRING,页面URL
- referrer_url STRING,来源URL
-
IP STRING,请求访问的机器IP
ODPS中表的概念与MYSQL,ORACLE中表的概念基本等同。表中的任意列可以是ODPS支持的任意种数据类型(Bigint,Double,String,Boolean,Datetime)。在ODPS中的各种不同类型任务的操作(输入、输出)对象都是表。用户可以创建表,删除表以及向表中导入数据。为了提高处理效率,可以在创建表时进行分区(Partition),即指定表内的某几个字段作为分区列。这时数据可以看成由逻辑上许多独立的块组成,在使用数据时如果指定了需要访问的分区名称,则只会读取相应的分区,避免全表扫描。
2.3数据类型
ODPS表中的列必须是下列描述的任意一种类型,各种类型的描述及取值范围包括:
各种数据类型均可以为NULL
ODPS不支持如Array这样复杂的数据类型。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。