脚本宝典收集整理的这篇文章主要介绍了Hive的Python异步客户端，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。
最近在做一个面向Hive的查询服务，主程序是Python写的。
Hive的查询时间通常都要在1分钟以上，让用户等待不太友好，因此我们想到了用HiveServer2的异步接口，第一时间给用户返回，下次用户再访问的时候，利用密钥重建上次的查询，获取上个查询的状态，如果用户等待太久了还可以主动取消。
环境搭建
我们的HadooP版本是CDH5.1.0，对应Hive版本是0.12.0。
Python与HiveServer2的通信是通过Thrift这种跨语言的协议实现的，所以首先要安装Python的Thrift依赖库。Thrift和Hive的版本更迭很快，对于0.12.0版本，推荐用y-lan同学的安装包，反正我亲证是没什么问题。
要注意的是，默认是需要SASL客户端中转的，对安全性要求不高的同学可以关掉SASL验证：
在Cloudera Manager控制台进入Hive->configuration->HiveServer2 Default Group->Advanced，
「HiveServer2 Advanced Configuration SnipPEt (Safety Valve) for hive-sITe.XMl」的配置中加入一行：
<PRoperty><name>hive.server2.authentication</name><value>NOSASL</value></property>
客户端
HiveServer2异步的实现原理是，HiveServer2对每个operation都配置了惟一的ID（其实是guid和secret两个参数），通过ID可以恢复上次的operation（其实session也是）。
旧版本的异步激活方式很简单：
SET hive.server2.blocking.query=true
但在0.12.0试验无效，grepcode查到TExecuteStatementReq加入了一个runAsync的布尔型参数，猜想可能与异步有关，结果一试就灵。
附上源码hiveserver2.py，有需要的同学自取吧。
至于同样走HiveServer2的Impala了，官方明确表示是不支持异步的啦（Async Queries Over Thrift / Beeswax）。
来自：建造者说
以上是脚本宝典为你收集整理的Hive的Python异步客户端全部内容，希望文章能够帮你解决Hive的Python异步客户端所遇到的问题。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。