AWS Machine Learning Blog· Khaled Thabit·· 6 小时前AI 评分38
Property Finder 如何修复 Amazon Bedrock 上的评估偏差以选出更优模型
Fix evaluation bias to unlock better models on Amazon Bedrock
AI 导读
Property Finder 发现其评估标签中 96.8% 直接来自现有视觉语言模型的预测而非人工核验,导致任何替代模型在比较中结构性处于劣势。团队通过专家重新标注 356 张 UAE 图像、改用多标签分类并运行从 v0 到 v27 的提示词优化循环,在 Amazon Bedrock 上实现更高准确率且成本降低 86%。
来源:AWS Machine Learning Blog · aws.amazon.com