脚本宝典收集整理的这篇文章主要介绍了

Hive的Python异步客户端

脚本宝典小编觉得挺不错的,现在分享给大家,也给大家做个参考,希望能帮助你少写一行代码,多一份安全和惬意。

最近在做一个面向Hive的查询服务,主程序是Python写的。
Hive的查询时间通常都要在1分钟以上,让用户等待不太友好,因此我们想到了用HiveServer2的异步接口,第一时间给用户返回,下次用户再访问的时候,利用密钥重建上次的查询,获取上个查询的状态,如果用户等待太久了还可以主动取消。

环境搭建
我们的Hadoop版本是CDH5.1.0,对应Hive版本是0.12.0。
Python与HiveServer2的通信是通过Thrift这种跨语言的协议实现的,所以首先要安装Python的Thrift依赖库。Thrift和Hive的版本更迭很快,对于0.12.0版本,推荐用y-lan同学的安装包,反正我亲证是没什么问题。
要注意的是,默认是需要SASL客户端中转的,对安全性要求不高的同学可以关掉SASL验证:
在Cloudera Manager控制台进入Hive->Configuration->HiveServer2 Default Group->Advanced
「HiveServer2 Advanced Configuration Snippet (Safety Valve) for hive-site.xml」的配置中加入一行:

<property><name>hive.server2.authentication</name><value>NOSASL</value></property>

客户端
HiveServer2异步的实现原理是,HiveServer2对每个operation都配置了惟一的ID(其实是guid和secret两个参数),通过ID可以恢复上次的operation(其实session也是)。
旧版本的异步激活方式很简单:

SET hive.server2.blocking.query=true

但在0.12.0试验无效,grepcode查到TExecuteStatementReq加入了一个runAsync的布尔型参数,猜想可能与异步有关,结果一试就灵。
附上源码hiveserver2.py,有需要的同学自取吧。
至于同样走HiveServer2的Impala了,官方明确表示是不支持异步的啦(Async Queries Over Thrift / Beeswax)。

来自:建造者说

总结

以上是脚本宝典为你收集整理的

Hive的Python异步客户端

全部内容,希望文章能够帮你解决

Hive的Python异步客户端

所遇到的程序开发问题,欢迎加入QQ群277859234一起讨论学习。如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典网站推荐给程序员好友。 本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。

80%的人都看过