Aggregate per-unit ACU/Nugget …

# ACU/Nugget标注结果聚合方案

一、需先确认的信息

• Excel列结构：是否含 doc_id、句/nugget_id、0/1打分列
• “最终得分”口径：doc级比例（命中nugget数/该doc总nugget数）还是二值判定

以下按最常见的结构给出通用方案：每行一条判断，含 doc_id, item_id, score。

二、Python脚本（pandas实现）

```python

import pandas as pd

df = pd.read_excel("标注结果.xlsx") # 或 read_csv

# 按doc聚合：最终得分 = 1的占比（也可改为求和、均值等）

result = (

df.groupby("doc_id")["score"]

.agg(final_score="mean", n_items="count", n_hits="sum")

.reset_index()

)

result.to_csv("doc_scores.csv", index=False, encoding="utf-8-sig")

```

三、输出CSV字段说明

• doc_id：文档编号
• final_score：该doc下打1的比例（0~1区间）
• n_items：该doc包含的判断条数（可用于过滤样本过少的doc）
• n_hits：打1的总数

四、常见坑与处理建议

• 列名不匹配：先用 df.columns 检查，按实际列名替换代码中的 doc_id、score
• 评分异常值：检查是否只有0/1，若有空值或非0/1，用 df["score"].unique() 排查后清洗
• doc_id缺失：缺失行会干扰聚合，建议先 df = df.dropna(subset=["doc_id"])
• utf-8-sig编码：避免Excel打开中文乱码
• 样本不均衡：某些doc可能只有1条判断，得分不可靠，可在结果中按 n_items 加一列置信标记或过滤阈值

五、若需要更严格的口径

• 若要求“doc级ACU判断”（如全部命中才算1），改用：result["final_score"] = df.groupby("doc_id")["score"].apply(lambda x: (x==1).all())
• 若是多标注者一致性场景，需先算kappa再聚合，当前信息不足以判断，如需要可补充说明

运行前建议先用 df.head(10) 核对数据结构，确认列名后执行。