Solves coding, math, email, an…

# Python批量合并CSV脚本指南

一、核心方案

使用 pandas + os/glob 读取D盘“订单”文件夹下所有CSV，合并后按某列去重，导出Excel。

二、环境准备

```bash

pip install pandas openpyxl

```

三、完整脚本

```python

import pandas as pd

import glob

import os

# 1. 获取所有CSV文件路径

folder = r"D:\订单"

files = glob.glob(os.path.join(folder, "*.csv"))

# 2. 批量读取并合并

df_list = []

for f in files:

try:

# 编码按需调整：utf-8 / gbk / utf-8-sig

df = pd.read_csv(f, encoding="utf-8-sig")

df_list.append(df)

except Exception as e:

print(f"读取失败: {f}, 原因: {e}")

merged = pd.concat(df_list, ignore_index=True)

# 3. 按日期列去重（列名改成你的实际列名）

merged["日期"] = pd.to_datetime(merged["日期"], errors="coerce")

merged = merged.drop_duplicates(subset=["日期", "订单号"]) # 可调整去重依据

merged = merged.sort_values("日期")

# 4. 导出Excel

merged.to_excel(os.path.join(folder, "合并结果.xlsx"), index=False)

print(f"完成！共 {len(files)} 个文件，合并后 {len(merged)} 行")

```

四、关键注意点

• 编码问题：中文CSV常见GBK编码，读不出来时把 encoding 改成 "gbk" 或 "gb18030"
• 去重依据：drop_duplicates 的 subset 参数按需修改；若想保留最新记录，加 keep="last"
• 300个文件性能：此规模pandas轻松处理，无需担心内存
• 列名不一致：若各文件列名有差异，建议先统一列名或只保留公共列
• 日期格式：errors="coerce" 会把异常日期置为NaT，可用 merged.dropna(subset=["日期"]) 清理

五、可扩展方向

• 加 if __name__ == "__main__" 结构化代码
• 失败文件写入日志文件，方便排查
• 若单文件超大数据，可改用 chunksize 分块读取