插入hive ORC表格数据

xota5871

Hive  ORC表中的数据不能通过Hive客户端加载数据文件加载，也不能使用HDFS  DFS  -put上传到该目录。只能通过insert  into  orc  _ table  select  * from  tmp插入数据。

由于Select  * from  tmp查询子句的灵活性，orc表数据的插入由hive客户端分别执行：order  by、distribute  by、sort  by、

通过Distribute  by  sort  by、cluster  by或trafodion访问hive表以加载数据。

1、指定用于加载数据的order  by

insert  into  orders  _ orc  _ idx  _ F11 select  * fromordersorderbyo  _ orderkey；

-具有orders  _ orc  _ idx  _ f11:行组索引的orc表；Order:一般textfile表格

由于可以为数据加载指定order  by、对全局数据进行排序，并且只能在一个reduce中处理，因此HDFS在表目录中创建一个数据文件，并在相同的数据量上指定order  by插入数据的性能比以下方法慢：

2、指定sort  by进行数据加载

insert  into  orders  _ orc  _ idx  _ F11 select  * fromorderssortbyo  _ orderkey；

-具有orders  _ orc  _ idx  _ f11:行组索引的orc表；Order:一般textfile表格

为了加载数据，指定sort  by，在相应的reduce中单独排序，因此无法确保全局顺序。也就是说，HDFS下的每个数据文件内部都是有序的，但所有数据文件都不是有序的。如果将Reduce指定为1 (set  mapred.reduce.tasks=1)，则sort  by和order  by是相同的。

3、指定distribute  by进行数据加载

insert  into  orders  _ orc  _ idx  _ F11 select  * fromordersdistributebyo  _ order  status；

-具有orders  _ orc  _ idx  _ f11:行组索引的orc表；订单：纯文本表；O_ORDERSTATUS表uec值为3。Reduce值为26

如果指定distribute  by进行数据加载，distribute  by将控制hash的输出除以reduce的方式。也就是说，如果根据distribute  by指定字段的值执行散列计算，然后除以reduce值，则会为相同的reduce处理分配相同的结果，但不会影响查询性能(因为单个数据看起来不均匀，但HDFS系统会合并所有磁盘，数据文件均匀存储在磁盘上，不会影响查询扫描速度)。

4、指定distribute  by+sort  by进行数据加载

insert  into  orders  _ orc  _ idx  _ F11 select  * fromordersdistributebyo  _ orderstatussortbyo  _ orderkey；

-具有orders  _ orc  _ idx  _ f11:行组索引的orc表；Order:一般textfile表格

指定distribute  by  order  by进行数据加载，将地图的输出除以reduce，然后对每个reduce进行排序(请参阅了解其特性)。

5、指定distribute  by+sort  by进行数据加载

insert  into  orders  _ orc  _ idx  _ F11 select  * fromordersclusterbyo  _ order  status；

-具有orders  _ orc  _ idx  _ f11:行组索引的orc表；Order:一般textfile表格

通过指定

Cluster  by与distribute  by和sort  by一起用于数据加载与clusterby相同，但不能指定将cluster  by排序为ASC或desc的规则。只能按升序排序。

5、trafodion访问hive表进行数据加载

insert  into  hive  . hive  . orders  _ orc  _ idx  _ F11 select  * from  hive  . hive  . orders；

-具有orders  _ orc  _ idx  _ f11:行组索引的orc表；Order:一般textfile表格

通过Trafodiong访问hive表以加载数据。hive客户端创建表时，无论是否指定了行组索引(“orc  . create  . index”=“true”)，加载数据后查看HDFS下数据文件的元数据都是最小值、最小值

附录：

行组索引：http://blog  . itpub  . net/69985104/viewspace-2758737/

icomocbajumaf

有竞争才有进步嘛

ZdXWHR560663

学习了，谢谢分享、、、

poYNkM421376

写的真的很不错

ZUx6uF465030

沙发！沙发!

ld3vfe819487

写的真的很不错

WallaceJbu

看帖回帖是美德！

FXYCOk338255

没看完~~~~~~ 先顶，好同志

2Q6YLH621796

路过，学习下

76wP5q29736

相当不错，感谢无私分享精神！