如何将 CSV 转换为 Parquet
上传或粘贴 CSV
添加 CSV、TSV、文本文件，或粘贴来自表格、导出、日志、报告和数据工具的数据。
检查 schema
选择分隔符，确认表头，检查推断类型、null 值和 Parquet 压缩。
下载 Parquet
创建适用于 DuckDB、Spark、Databricks、Athena、BigQuery、数据湖和分析工具的列式文件。
在线将 CSV 转换为 Parquet
CSV 简单易分享，但在分析、存储和大数据集场景下并不总是高效。Parquet 按列存储数据，通常能让分析查询更快，并减少文件大小。
CSVall 的 CSV 转 Parquet 转换器可以快速创建 Apache Parquet 文件，适合数据管道、报表数据集、云数仓、数据湖、机器学习、ETL、日志和大型导出。
它适合开发者、数据工程师、分析师、数据库用户、学生和业务团队，无需编写 Python、Spark 或命令行脚本。
什么是 CSV 转 Parquet 转换器
它会把 CSV 文件转换为 Apache Parquet。CSV 用文本行列保存数据，Parquet 是为高效存储、压缩和分析处理设计的列式格式。
转换时会读取表头、行、分隔符和值，然后写入带 schema、类型列、元数据和压缩列数据的 Parquet 文件。
生成文件可用于 DuckDB、Spark、Hive、Trino、Presto、Athena、BigQuery、Snowflake、Databricks 等平台。
为什么使用 CSVall 的 CSV 转 Parquet 转换器
CSV 容易打开，但数据变大后会慢且占空间。Parquet 让分析工具只读取需要的列。
CSVall 无需安装额外软件，也不用手写脚本，就能生成适合数仓、lakehouse、分析引擎和现代数据流程的文件。
主要功能
快速转换
快速把 CSV 转为 Parquet，用于分析、存储或导入。
Apache Parquet 输出
创建可用于数据工具、查询引擎和云平台的标准文件。
类型检测
检测文本、数字、布尔、日期、时间戳和空值。
Schema 检查
下载前检查列名和类型。
压缩选项
支持 Snappy、Zstd、Gzip 或不压缩。
分隔符支持
支持逗号、分号、制表符、竖线和自定义分隔符。
表头支持
使用第一行作为有意义的字段名。
适合分析
为 BI、ETL、数据湖和数据工程准备文件。
常见用途
当你需要更好性能、更小文件或带类型列时，会把 CSV 转换为 Parquet。
数据工程师可用于数据湖加载前处理，分析师可加速 DuckDB，开发者可准备测试数据，业务团队可压缩大型报表导出。
也适合日志、事件、销售、库存、客户、产品目录、财务、机器学习和云存储。
CSV 转 Parquet 示例
CSV 输入
id,name,country,order_total,active
1,John Smith,United States,120.50,true
2,Sarah Lee,Canada,85.00,false
3,David Khan,United Kingdom,210.75,true面向数据工程的 CSV 转 Parquet
数据工程师常在构建管道前把 CSV 转为 Parquet。它在数据湖中常见，因为支持列式存储、压缩和元数据。
适合周期加载、批处理、云存储和分析任务。
面向 DuckDB 的 CSV 转 Parquet
DuckDB 可以直接查询本地 Parquet 文件，不必先导入传统数据库。
面向 Spark 和 Databricks
Spark 和 Databricks 常用 Parquet 处理大型分析数据。转换可以减少重复解析 CSV。
使用前检查列名、类型、null 和日期格式。
面向 BigQuery、Athena 和云存储
云分析工具常支持 Parquet，因为它适合大规模查询。
面向机器学习
机器学习流程常反复读取同一数据集。Parquet 保留类型，也可能比 CSV 更小。
适合特征表、训练数据、评估数据和模型输入。
CSV 与 Parquet
CSV 适合简单交换、手动编辑和电子表格。
Parquet 更适合分析、存储效率、类型数据和查询性能。
转换时会发生什么
转换器读取 CSV，分离行列，检测表头，推断类型，并写入 Parquet schema。
文本数据会变成带类型的列式格式，因此日期、布尔、整数、小数和 null 需要认真确认。
类型错误可能导致后续工具读取错误。下载前请检查 schema。
转换前建议
选择合适压缩
Snappy 常作为默认选择，速度和压缩平衡较好。Zstd 往往能生成更小文件。Gzip 压缩强，但部分流程较慢。
快速分析通常选 Snappy。节省存储时，可在工具支持的情况下选择 Zstd。
Parquet 文件注意事项
Parquet 是二进制文件，不能像 CSV 一样用文本编辑器查看。请使用 DuckDB、PyArrow、Pandas、Spark、Parquet 查看器或兼容平台。
CSV 对 schema 要求较轻，Parquet 依赖 schema。列名和类型更重要。
转换大文件或进入生产前，请先测试小样本。
谁适合使用这个工具
适合数据工程师、开发者、分析师、数据库用户、BI 团队、学生、研究人员、机器学习团队，以及处理大型 CSV 的业务用户。
不需要写代码。添加 CSV，检查设置，转换并下载 Parquet。
CSV 转 Parquet 常见问题
关于把 CSV 转为 Apache Parquet 的常见问题。