跳到正文
在个人 Reader 中保存进度、批注和阅读笔记进入 Reader →
原文
Hugging Face Blog·· 2 小时前精选AI 评分60

Ai2 发布 Old Ideas, Novel Problems:LLM 能否可靠判断研究想法的新颖性

Can we trust LLMs to judge whether a research idea is novel?

AI 导读

Ai2 发布研究 Old Ideas, Novel Problems,并公开用于测试 LLM 新颖性判断的基准、数据和代码。研究基于 ICLR 2026 评审意见构建 154 条高新颖性与 145 条低新颖性人类想法池,测试 GPT-5.1 至 GPT-5.4、Claude Sonnet 4.5 至 Opus 4.6 六个模型。

推荐理由

Ai2 用 ICLR 2026 评审意见构建新颖性评测基准,量化了提示词微调就能让同一判断大幅翻转。

来源:Hugging Face Blog · huggingface.co