⭐ 9 款开源工具助你将 AI 应用提升到全新境界 🚀🤖
人工智能生态系统正在蓬勃发展。
如果你已经开始构建 AI 驱动的应用程序，你可能错过了一些很棒的开源项目，这些项目可以帮助你使 LLM 查询更具相关性，并提高聊天机器人和 AI 应用程序的整体质量。
以下是 2023 年能让你的应用更上一层楼的 9 个项目。
LLMonitor（赞助）
LLMonitor是一款面向 AI 开发人员的一体化开源工具包，旨在帮助他们将应用程序投入生产环境，其功能包括：
- 💵成本和延迟分析
- 👪用户追踪
- 🐛便于调试的跟踪信息
- 🔍 检查和重放AI 请求
- 🏷️标注并导出微调数据集
- 🖲️ 收集用户反馈
- 🧪根据测试评估提示
当您准备好让用户试用您的应用程序时，使用可观测性解决方案至关重要。
我们邀请您试用 LLMonitor（每天最多 1000 个事件完全免费）。
⭐ 在 GitHub 上给 LLMonitor 点个赞 ⭐️
指导
Guidance 是微软发布的一种新的语言格式，允许创建复杂的代理流程。它的结构如下：
experts = guidance('''
{{#system~}}
You are a helpful and terse assistant.
{{~/system}}
{{#user~}}
I want a response to the following question:
{{query}}
Name 3 world-class experts (past or present) who would be great at answering this?
Don't answer the question yet.
{{~/user}}
{{#assistant~}}
{{gen 'expert_names' temperature=0 max_tokens=300}}
{{~/assistant}}
{{#user~}}
Great, now please answer the question as if these experts had collaborated in writing a joint anonymous answer.
{{~/user}}
{{#assistant~}}
{{gen 'answer' temperature=0 max_tokens=500}}
{{~/assistant}}
''', llm=gpt4)
这种生成与提示交错的方式可以实现精确的输出结构，从而有助于产生清晰易懂的结果。
LiteLLM
使用 OpenAI 格式调用任何 LLM API（Bedrock、Huggingface、Cohere、TogetherAI、Azure、OpenAI 等）。
例如，集成 Anthropic 的过程如下：
from litellm import completion
import os
## set ENV variables
os.environ["ANTHROPIC_API_KEY"] = "your-api-key"
response = completion(
model="claude-2",
messages=[{ "content": "Hello, how are you?","role": "user"}]
)
这样，您就可以在应用程序中集成不同的模型，而无需学习和集成新的 API。
齐柏林飞艇
Zep 允许您异步地汇总、嵌入和增强聊天记录和文档。它确保这些操作不会影响用户的聊天体验。
Zep 可以将聊天机器人的历史记录保存到数据库中，使您能够随着用户群的增长轻松扩展。
Zep 可以替代流行的 LangChain 组件，让您在几分钟内即可将应用程序投入生产，而无需重写现有代码。
朗链
现在还有谁没听说过LangChain呢？LangChain是目前最流行的AI框架，它允许你将模型连接成链，并结合向量存储等功能来构建强大的AI应用。
深度评估
DeepEval 是一个专为 LLM 应用设计的评估框架，它使用简单，并且是开源的。
它的功能与 Pytest 类似，但专门用于测试 LLM 应用。DeepEval 使用事实一致性、准确性和答案相关性等指标来评估 LLM 以及其他各种 NLP 模型。
pgVector
pgVector 是一个 Postgres 扩展，用于存储嵌入并执行相似性搜索等操作。
如果您使用的是 Supabase，则 pgVector 已经可用。
您可以使用 pgVector 代替专门的矢量数据库 Pinecone 来简化您的技术栈。
promptfoo
与 deepEval 类似，promptfoo 也允许您根据预定义的测试用例测试您的提示和模型。
通过并排比较 LLM 输出来评估质量并发现回归，通过定义测试用例自动对输出进行评分。
模型融合
Model Fusion 是一个 TypeScript 库，旨在构建 AI 应用程序、聊天机器人和代理。
它为各种模型提供支持，包括文本生成、图像生成、文本转语音、语音转文本和嵌入模型。
特征：
- 多模态：结合不同的模态，例如文本、图像和语音。
- 流式传输：模型融合支持多种生成模型的流式传输，包括文本流式传输、结构流式传输和全双工语音流式传输。
- 实用工具：模型融合提供了一组用于工具和工具使用、矢量索引和保护函数的实用函数。
- 类型推断和验证：模型融合利用 TypeScript 来推断类型并验证模型响应。
如果你更喜欢 TypeScript 而不是 Python，这将非常有用。
模型融合是一个相当新但非常有前景的项目。
感谢阅读！
我们是否遗漏了什么项目？请在评论区告诉我们 :)
如果您能在我们的 GitHub 项目上点个星，我们将感激不尽 🙏 点击猫咪图片让它开心 👇
