Hugging Face Blog·· 2 小时前精选AI 评分60
Ai2 发布 Old Ideas, Novel Problems:LLM 能否可靠判断研究想法的新颖性
Can we trust LLMs to judge whether a research idea is novel?
AI 导读
Ai2 发布研究 Old Ideas, Novel Problems,并公开用于测试 LLM 新颖性判断的基准、数据和代码。研究基于 ICLR 2026 评审意见构建 154 条高新颖性与 145 条低新颖性人类想法池,测试 GPT-5.1 至 GPT-5.4、Claude Sonnet 4.5 至 Opus 4.6 六个模型。
推荐理由
Ai2 用 ICLR 2026 评审意见构建新颖性评测基准,量化了提示词微调就能让同一判断大幅翻转。
来源:Hugging Face Blog · huggingface.co