【Hacker News搬运】ResearchAgent：基于LLM的迭代研究思想生成

[hackernews]

Title: ResearchAgent: Iterative Research Idea Generation Using LLMs

ResearchAgent：基于LLM的迭代研究思想生成

Text:

hn link

Url: https://arxiv.org/abs/2404.07738

标题：ResearchAgent：利用大型语言模型迭代地从科学文献中生成研究想法
作者：提交日期为2024年4月11日
发布日期：未提供
顶部图片链接：无
文本：

摘要：科学研究对于改善人类生活至关重要，但其固有的复杂性、缓慢的进度以及需要专业知识专家的限制而受到阻碍。为了提高其生产力，我们提出了一个名为ResearchAgent的研究想法生成代理，这是一个由大型语言模型驱动的代理，它可以自动从科学文献中生成问题、方法和实验设计，并基于科学文献迭代地完善它们。具体来说，从核心论文作为主要焦点开始生成想法，我们的ResearchAgent不仅通过连接学术图中的相关出版物得到增强，而且还基于他们的潜在概念从实体中心知识库中检索实体，这些实体挖掘并共享于众多论文之中。此外，为了模仿人类通过同行讨论迭代改进想法的方法，我们利用多个ReviewingAgents提供评论和反馈进行迭代。进一步地，它们被实例化为与人类偏好一致的大型语言模型，其评估标准源于实际的人类判断。我们在多个学科的科学出版物上实验验证了我们的ResearchAgent，展示了其在基于人类和基于模型的评估结果生成新颖、清晰和有效的研究想法方面的有效性。

提交历史：来自Jinheon Baek[查看电子邮件] [v1]
2024年4月11日13:36:29 UTC（7,918 KB）

Post by: milliondreams

Comments:

pedalpete: I've found where LLMs can be useful in this context is around free-associations. Because they don't really "know" about things, they regularly grasp at straws or misconstrue intended meaning. This, along with the volume of language (let's not call it knowledge) result in the LLMs occasionally bringing in a new element which can be useful.

pedalpete: I-；我发现LLM在这种情况下有用的地方是围绕着自由联想。因为他们不；t真的&quot；知道“；对于事物，他们经常抓住救命稻草或误解其本意。这与语言的量（让我们不称之为知识）一起导致LLM偶尔引入可能有用的新元素。

barathr: This strikes me as similar to Cargo Cult Science.<p><a href="https://calteches.library.caltech.edu/51/2/CargoCult.htm" rel="nofollow">https://calteches.library.caltech.edu/51/2/CargoCult.htm</a><p><a href="https://metarationality.com/upgrade-your-cargo-cult" rel="nofollow">https://metarationality.com/upgrade-your-cargo-cult</a>

barathr: 这让我觉得类似于Cargo Cult Science<p> <a href=“https://；&#x2F；calteches.library.caltech.edu&#x2F：51&#x2F，2&#x2F！CargoCult.htm”rel=“nofollow”>https://&#x2F；calteches.library.caltech.edu；51；2；CargoCult.htm</a><p><a href=“https://x2F；&#x2F；metarationality.com&#x2F：升级您的货物崇拜”rel=“nofollow”>https://x2F&#x2F；元理性；升级您的货运狂热</a>

KhoomeiK: A group of PhD students at Stanford recently wanted to take AI/ML research ideas generated by LLMs like this and have teams of engineers execute on them at a hackathon. We were getting things prepared at AGI House SF to host the hackathon with them when we learned that the study <i>did not pass ethical review</i>.<p>I think automating science is an important research direction nonetheless.

KhoomeiK: 斯坦福大学的一群博士生最近想参加AI；LLM产生的ML研究想法是这样的，并让工程师团队在黑客马拉松上执行这些想法。当我们得知这项研究<i>没有通过伦理审查</i>时，我们正在AGI House SF准备与他们一起举办黑客马拉松<p> 尽管如此，我认为自动化科学是一个重要的研究方向。

not-chatgpt: Cool idea. Never gonna work. LLMs are still generative models that spits out training data, incapable of highly abstract creative tasks like research.<p>I still remember all the GPT-2 based startup idea generators that spits out pseudo-feasible startups.

not-chatgpt: 好主意。永远不会奏效。LLM仍然是生成模型，可以输出训练数据，无法完成研究等高度抽象的创造性任务<p> 我仍然记得所有基于GPT-2的创业想法生成器，它们吐出伪可行的创业公司。