python读取hive数据库

在大数据工作中经常碰到需要将hive查询数据导入到mysql的需求，常见的方法主要有两种，一是impala，另一种则是pyhive。

一、pyhive方式连接hive数据库

首先是配置相关的环境及使用的库。sasl、thrift、thrift_sasl、pyhive。

 其中sasl安装较为麻烦一点，在Linux下直接安装可能会出现sasl.h头文件丢失问题，原因是sasl的源码已经许久没有维护了，代码结构与现有的代码结构不一样，下面分别给出win及Linux下的安装方法。https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl

windows下：

1.下载sasl安装文件，进行离线安装sasl,下载网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl，版本选择适合自己的即可。

2.安装:

pip install sasl-0.2.1-cp36-cp36m-win_amd64.whl
pip install thrift -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install thrift_sasl==0.3.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pyhive -i https://pypi.tuna.tsinghua.edu.cn/simple

Linux下：

如果存在sasl.h头文件问题，可以通过pip安装libsasl2-dev包，再安装sasl

apt-get install libsasl2-dev
pip install sasl
pip install thrift 
pip install thrift-sasl
pip install PyHive

注意不要漏装，否则报错。

二、impala方式连接hive数据库

直接 pip install impala 即可

下载好相关库后，我们直接上代码。

from impala.dbapi import connect from impala.util import as_pandas import pandas as pd from pyhive import hive  class LinkHive(object):     def __init__(self,host,port,database):         self.host = host         self.port = port         # self.username = username         # self.password = password         self.database = database      def __link(self):         # 1、pyhive连接         self.conn = hive.Connection(host=self.host,port=self.port,database=self.database)                  #2、impla连接         # self.conn = connect(host=self.host, port=self.port, database=self.database)         self.cur = self.conn.cursor()         # CUSTOM  LDAP     def selectdata(self,sql):         try:             self.__link()         except Exception as e:              print('link error:')             print(e)         try:             #c = self.cur.fetchall()             pd.read_sql(sql,self.conn) //pihive读取数据             # self.cur.execute(sql) //impala读取数据             # result = as_pandas(self.cur) //impala读取数据后转为pandas的DataFrame         except Exception as e:              print('query error:')             print(e)         # 关闭连接 释放资源         self.cur.close()         self.conn.close()         return result