【Hacker News搬运】Meta使用LLM改进事件响应

hackernews

Title: Meta Uses LLMs to Improve Incident Response

Meta使用LLM改进事件响应

Text:

Url: https://www.tryparity.com/blog/how-meta-uses-llms-to-improve-incident-response

根据您提供的参考信息，以下是关于Meta如何使用大型语言模型（LLMs）来改进事件响应的总结：

### Meta的事件响应与LLMs的应用

Meta是一家拥有庞大代码库的全球性公司，每天进行数千次代码变更。为了应对这种规模和速度的挑战，Meta采用了先进的工具和策略来优化事件响应流程。

### Meta的事件响应方法

1. **工具投资**：Meta投资于复杂的响应工具，旨在简化工程师的响应流程。这些工具旨在解决所有工程师都希望解决的问题：发生了什么问题，为什么会发生，以及如何修复它。

2. **LLMs的利用**：Meta利用大型语言模型（LLMs）来提高根本原因分析的准确性和速度。通过这种方式，他们能够在调查初期就向工程师展示可能的根本原因。

3. **代码变更的缩小范围**：为了处理在巨大单体代码库中调查问题的复杂性，Meta首先使用基于启发式的方法来选择代码变更的子集，然后使用基于LLM的排名来缩小范围。

4. **AI与工程师的协作**：AI作为工程师的助手，帮助他们快速聚焦于最相关的代码变更，而不是在数千种可能性中挖掘。

### Llama 2 7B模型的微调

Meta对Llama 2 7B模型进行了微调，以便它能识别出是哪些代码变更导致了问题。这种微调是通过两个阶段进行的：持续预训练（CPT）和监督微调（SFT）。在CPT阶段，模型接触到了Meta的内部文档，如维基、代码库和问答文档，为其提供了上下文基础。在SFT阶段，Meta将其自己的根本原因分析数据集与Llama 2的原始训练数据相结合。

### LLM代理的未来展望

Meta的研究表明，通过LLMs代理进行事件响应是一个值得探索的方向。这些代理可以主动从更多的数据源收集相关上下文，从而提高其结果的质量。

### 对其他团队的意义

尽管Meta拥有世界上最好的工程团队之一，但其他团队可能没有资源进行模型微调和AI实验。Parity公司旨在通过其AI SRE产品，将这些益处带给所有团队。

### 结论

Meta使用LLMs改进事件响应的方法为其他组织提供了一个蓝图。通过LLMs优先处理可能的根本原因，团队能够大幅减少调查时间，让工程师直接进入修复阶段。随着AI在事件响应领域的应用不断深入，其潜力是显而易见的。

Post by: wilson090

Comments:

tkgally: Previous discussion:<p><a href="https://news.ycombinator.com/item?id=41326039">https://news.ycombinator.com/item?id=41326039</a>

tkgally: 之前的讨论：<p><a href=“https:&#x2F；news.ycombinator.com&#x2M；item？id=41326039”>https:&quot&#x2F；news.ecombinator.com；项目？id=41326039</a>