要点
- Property Finder 发现评估集中 96.8% 标签直接继承自现任视觉模型预测，导致替代模型系统性吃亏。
- 专家重标 356 张阿联酋房源图后，Llama 4 Maverick 17B 在优化提示下 Micro F1 达 0.80，相对旧设置成本约降 86%。
- 方法要点：独立标注、多标签、Micro/Macro F1，以及把提示迭代当成可评分的优化循环（至 v27）。
换模型失败，未必因为新模型更差。Property Finder 与 AWS 生成式 AI 创新中心的联合复盘显示：评估集里 96.8% 的标签来自现任模型输出，答案键被写成了“像不像现任”。
论点：在迁移视觉质检工作负载时，真正的稀缺资产是无偏的人类标注；提示优化只有在裁判不被现任俘获之后才有意义。
[1]该公司每天处理中东北非海量房源图，每图评估约 11 个质量属性。为降本迁到 Bedrock 时，相对旧标签任何替代模型都显得更差。团队用领域专家重标 356 张阿联酋图（256 开发 / 全量评估），埃及集作区域复核；从单标签改为多标签，并用 Micro F1 主指标、Macro F1 与逐标签精确率/召回辅助。
[1]提示从 v0 迭代到 v27，后期引入 MIPROv2 等自动优化。报告称 Llama 4 Maverick 17B Instruct 在评估集 Micro F1 0.80，同设定下专有模型 A 为 0.56；开发集上从专有模型 A 的 0.55 提到 0.81。部分属性 exact-match 很高（旋转 100%、水印 94%），房间面积等仍仅 65%。成本估算约 $2.35/千图，相对旧方案降约 86%，延迟降约 40–60%。
[1]钢人反驳：356 图对稀有类别功率不足；单专家标注存在主观性；AWS 联合署名下的成本数字是区域估算。
未充分公开：专有模型 A 身份、完整混淆矩阵、埃及集结果。置信度：评估偏差机制高；跨行业可移植的精确 F1 数字中等。
[1]任何用生产模型自标签当金标的团队，都在做循环论证。模型目录越丰富，无偏小样本金标的边际价值越高——它决定你看不看得见更便宜的模型。
[1]观察点：团队是否把“现任一致率”从主指标里拿掉，以及提示优化是否仍在金标刷新后继续增益。若金标不动只调提示，看起来像进步，其实是在拟合旧偏见。
[1]