如何在HBASE中存放PIG袋？

罗伯特·德里勒

我想做的是HBASE在内部创建嵌套数组PIG

所以基本上我会执行以下操作：

//Loading some address data
CITY = LOAD '/user/root/landingzone/ADRPCDCITY.csv' using PigStorage(';')
AS (dPOST_CODE:chararray, dCITY_CODE:chararray);

//Create the BAG by grouping postal code
B = GROUP CITY by dPOST_CODE;

//Store it in HBASE
STORE B INTO 'hbase://TEST_ADDRESS_VALIDATION'
       USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
       'f1: group, f1:CITY' );

我面临的问题是BAG无法将其强制转换为HBASEMap类

java.lang.ClassCastException: org.apache.pig.data.InternalCachedBag cannot be cast to                                                    java.util.Map

非常感谢您的帮助！

罗伯特·德里勒

更好的是，我得到了一个我想分享的解决方案

CITY = LOAD '/user/root/landingzone/CITY_Test.csv' using PigStorage(';')
AS (POST_CODE:chararray, CITY_CODE:long, CITY_NAME:chararray);

A = FILTER CITY BY (POST_CODE) IS NOT NULL;

result = FOREACH A GENERATE POST_CODE, TOMAP(UPPER(CITY_NAME), CITY_CODE);

STORE result INTO 'CITY_ADDRESS_VALIDATION' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage( 'f1' );

使用TOMAP并通过HbaseStorage保存它，但不在那里分配映射，就可以了。

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。