admin管理员组

文章数量:1794759

python读parquet文件 pandas读parquet文件

python读parquet文件 pandas读parquet文件

如何使用gzip压缩后的parquet文件

今天我们来学习使用python读取parquet文件

背景

有一个parquet文件，而且还用gzip压缩了。

那该如何读取呢？ 准备工作

安装

pandas和pyarrow

# 安装 pandas and pyarrow: pip3 install pandas pyarrow 读取 # 使用 read_parquet 加载parquet文件 import pandas as pd from pandas import read_parquet data = read_parquet("myFile.parquet.gzip") print(data.count()) data.head()

本文标签： 文件PythonparquetPandas

版权声明：本文标题：python读parquet文件 pandas读parquet文件 内容由林淑君副主任自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.xiehuijuan.com/baike/1687006562a127950.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。