课程表

Apache Pig 基础

Apache Pig 诊断运算符

Apache Pig 分组和连接

Apache Pig 合并和拆分

Apache Pig 过滤

Apache Pig 排序

Pig Latin 内置函数

Apache Pig 其他执行模式

工具箱
速查手册

Union运算符

当前位置:免费教程 » 大数据/云 » Apache Pig

Pig Latin的 UNION 运算符用于合并两个关系的内容。要对两个关系执行UNION操作,它们的列和域必须相同。

语法

下面给出了 UNION 运算符的语法。

  1. grunt> Relation_name3 = UNION Relation_name1, Relation_name2;

假设在HDFS的 /pig_data/ 目录中有两个文件,即 student_data1.txt student_data2.txt ,如下所示。

Student_data1.txt

  1. 001,Rajiv,Reddy,9848022337,Hyderabad
  2. 002,siddarth,Battacharya,9848022338,Kolkata
  3. 003,Rajesh,Khanna,9848022339,Delhi
  4. 004,Preethi,Agarwal,9848022330,Pune
  5. 005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar
  6. 006,Archana,Mishra,9848022335,Chennai.

Student_data2.txt

  1. 7,Komal,Nayak,9848022334,trivendram.
  2. 8,Bharathi,Nambiayar,9848022333,Chennai.

将这两个文件加载到Pig中,通过关系 student1 student2 ,如下所示。

  1. grunt> student1 = LOAD 'hdfs://localhost:9000/pig_data/student_data1.txt' USING PigStorage(',')
  2. as (id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray);
  3. grunt> student2 = LOAD 'hdfs://localhost:9000/pig_data/student_data2.txt' USING PigStorage(',')
  4. as (id:int, firstname:chararray, lastname:chararray, phone:chararray, city:chararray);

现在,让我们使用 UNION 运算符合并这两个关系的内容,如下所示。

  1. grunt> student = UNION student1, student2;

验证

使用 DUMP 运算子验证关系student,如下所示。

  1. grunt> Dump student;

输出

它将显示以下输出,显示关系student的内容。

  1. (1,Rajiv,Reddy,9848022337,Hyderabad) (2,siddarth,Battacharya,9848022338,Kolkata)
  2. (3,Rajesh,Khanna,9848022339,Delhi)
  3. (4,Preethi,Agarwal,9848022330,Pune)
  4. (5,Trupthi,Mohanthy,9848022336,Bhuwaneshwar)
  5. (6,Archana,Mishra,9848022335,Chennai)
  6. (7,Komal,Nayak,9848022334,trivendram)
  7. (8,Bharathi,Nambiayar,9848022333,Chennai)
转载本站内容时,请务必注明来自W3xue,违者必究。
 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号