数据清洗一般做哪些事？

我的清洗流程：先摸底——行数、字段类型、缺失率、唯一值分布；重复——按主键判断完全重复与业务重复分别处理；缺失——看机制，完全随机缺失可删可插补、有结构性缺失要当作类别处理，插补用中位数或按组插补并标记来源；异常——用业务规则加统计方法（箱线、3 倍标准差）识别，先核实再决定纠正或保留；格式——单位、时区、大小写、全半角统一。全程记录清洗日志。

我讲踩过的坑：销售额字段混着『万』结尾的文本与纯数字，dtype 变 object 直接求和错得离谱——之后我养成了先查 dtype 再算的习惯；时区混用导致日活双算，统一 UTC 落库、展示层转本地；用户 ID 大数被 Excel 转成科学计数法尾部变零，从此关键链路禁止过 Excel。清洗占我工作六成时间，但我把它模板化成函数库，复用率很高。

我把清洗上升到数据质量工程：定义质量维度——完整性、一致性、准确性、时效性、唯一性，每个维度配检测规则与阈值告警；清洗分两层——入库前的自动标准化管道（规则可版本化）和分析前的项目级处理（逻辑可追溯）；防再生——质量规则反馈给采集端与业务系统，从源头修。清洗的最高境界是让新数据不需要清洗。

追问『异常值一定要删吗』：不——欺诈检测里异常就是信号；分场景：错误数据纠正、极端真实值保留并做稳健统计、分析目的一分位截断要披露；『插补会不会引入偏差』：会，简单插补低估方差，多重插补或模型插补更稳，关键分析做插补敏感性检验；『怎么保证可复现』：清洗代码化加随机过程设种子，禁手工改数。