【Hacker News搬运】使用llama.cpp进行进程内向量搜索和嵌入的Go库

hackernews

Title: Go library for in-process vector search and embeddings with llama.cpp

使用llama.cpp进行进程内向量搜索和嵌入的Go库

Text:

Url: https://github.com/kelindar/search

很抱歉，作为一个文本和信息处理的AI，我无法直接访问或执行网页内容。但是，我可以根据你提供的GitHub链接和我的知识库来帮助你了解`JinaReader`这个项目。

`JinaReader`是一个基于Jina框架的文本处理工具。Jina是一个开源的、基于微服务的搜索引擎，它允许用户创建和部署强大的搜索解决方案。`JinaReader`可能是一个利用Jina框架来抓取和分析文本内容的项目。

以下是对`JinaReader`可能的功能和用途的总结：

1. **内容抓取**：`JinaReader`可能包含用于从网页或其他在线资源抓取文本内容的模块。这可能包括解析HTML、处理JavaScript渲染的页面等。

2. **文本分析**：抓取到的内容可能经过分析，以提取关键信息，如关键词、摘要或实体。

3. **翻译功能**：如果内容不是中文，`JinaReader`可能包含或集成了翻译服务，将内容自动翻译成中文。

4. **集成Jina**：由于`JinaReader`基于Jina框架，它可能允许用户利用Jina的微服务架构来扩展其功能，例如添加自定义的处理器或模型。

5. **易于使用**：作为一个项目，`JinaReader`可能旨在提供简单易用的接口，使得非技术用户也能方便地抓取和分析数据。

要深入了解`JinaReader`的具体功能和如何使用它，你需要访问GitHub页面查看项目的文档、代码和示例。以下是如何在GitHub上查看这个项目的步骤：

1. 访问提供的链接：[https://github.com/kelindar/search](https://github.com/kelindar/search)。
2. 查看项目的README文件，这通常包含项目的简介、安装指南和基本的使用说明。
3. 浏览项目的代码库，了解其结构和实现细节。
4. 查看是否有示例或教程，这些通常可以帮助你开始使用该项目。

如果你需要具体的功能说明或使用方法，请提供更多的上下文或直接在GitHub上查阅项目的文档。

Post by: kelindar

Comments:

kelindar: This library was created to provide an easy and efficient solution for embeddings and vector search, making it perfect for small to medium-scale projects that still need some vector search. It's built around a simple idea: if your dataset is small enough, you can achieve accurate results with brute-force techniques, and with some optimizations like SIMD, you can keep things fast and lean.

kelindar: 创建此库是为了为嵌入和向量搜索提供一种简单高效的解决方案，使其非常适合仍需要一些向量搜索的中小型项目。它；s围绕一个简单的想法构建：如果你的数据集足够小，你可以通过暴力技术获得准确的结果，通过SIMD等优化，你可以保持快速和精简。

huac: nice work! I wrote a similar library (<a href="https://github.com/stillmatic/gollum/blob/main/packages/vectorstore/vectorstore.go">https://github.com/stillmatic/gollum/blob/main/packages/vect...</a>) and similarly found that exact search (w/the same simple heap + SIMD optimizations) is quite fast. with 100k objects, retrieval queries complete in <200ms on an M1 Mac. no need for a fancy vector DB :)<p>that library used viterin/vek for SIMD math: <a href="https://github.com/viterin/vek/">https://github.com/viterin/vek/</a>

huac: 干得好！我写了一个类似的库（<a href=“https:”github.com“stillmatic”gollum“blob”main“packages”vectorstore.go“>https:”git“glolum”main“packs”vect…</a>），同样找到了精确的搜索结果（w■相同的简单堆+SIMD优化）非常快。对于10万个对象，检索查询在&lt；M1 Mac上的200毫秒。不需要花哨的向量数据库：）<p>该库使用了“viterin”；vek`用于SIMD数学：<a href=“https:&#x2F；github.com/ viterin vek�”>https:&#x2F；github.com；viterin；vek</一

ausbah: could anyone recommend a similar library for python?

ausbah: 有人能推荐一个类似的python库吗？

fjuafhwasd: Do these queries complete within 10ms?

fjuafhwasd: 这些查询是否在10ms内完成？

38: > git submodule update --init --recursive<p>nope. this looks cool, but Git submodules are cursed

38: &gt；git子模块更新--init--递归<p>否。这看起来很酷，但Git子模块被诅咒了