Wynnie 🦄 — 𝘠𝘰𝘶𝘳 𝘚𝘩𝘰𝘱𝘱𝘪𝘯𝘨, 𝘯𝘰𝘸 𝘰𝘯 𝘈𝘶𝘵𝘰𝘱𝘪𝘭𝘰𝘵!
由 Mux 主办的 DEV 全球展示挑战赛：展示你的项目！
𝗖𝗮𝘁𝗲𝗴𝗼𝗿𝘆 𝗦𝘂𝗯𝗺𝗶𝘀𝘀𝗶𝗼𝗻: Business Automation Voice Agent
注：我们也希望将我们的项目纳入实时语音表演类别考虑。
参与者：@neilblaze和@achalbajpai。
视频 ▶️
ㅤ
我们建造了什么🤔
Wynnie是您的智能自主 AI 购物助手/代理，它通过简单的自然语言彻底改变人们的在线购物方式。它就像一个私人购物精灵🧞，真正理解您的需求并自动处理一切，从查找商品到获取最佳优惠，无所不包！我们使用AssemblyAI 的语音识别技术构建了它，该技术可以实时识别 50 多种语言！⚡
💡 像这样的智能系统的核心理念在于，它能彻底消除繁琐的购物环节，让所有人都能轻松使用——无论你讲英语、印地语、西班牙语还是其他任何语言。此外，它的可扩展性极佳，因为每个用户都能拥有专属的个性化购物体验。更重要的是，它满足了庞大的老年人群体的需求，他们有消费能力，也需要购物，但却被专为数字原住民设计的繁琐流程拒之门外。数百万潜在客户就这样被拒之门外，感到沮丧和被忽视，而我们（以及企业主）都非常关心他们，因此，我们正在努力满足他们的需求！
🏠主页：https://wynnie-v1.vercel.app
🔗立即体验：https://wynnie.vercel.app
ㅤ
它是如何运作的？💣
用户只需使用 Google OAuth 注册，我们通过Firebase处理相关流程。注册成功后，用户即可进入控制面板，并在此提出任何需求，既可以输入文字，也可以语音输入。如果是语音输入，AssemblyAI的语音识别功能会实时转录所有内容，甚至精确到单词级别的时间戳和格式。转录结果随后会传输到OpenAI，OpenAI 会提取用户的需求、关键细节，甚至还能识别语气和情绪。之后，我们的 AI 代理会介入，利用SERP API和Perplexity Sonar查找最佳匹配产品，并考虑位置、优惠券以及用户之前的喜好等因素。产品准备就绪后，会添加到库存中，优惠券会通过 Synphase 自动应用，支付则通过UPI LiteX无缝完成。所有数据都会被跟踪并存储在Supabase中，确保一切清晰、安全且流畅。
ㅤ
应用商店🔗
Wynnie.AI 👉 https://github.com/achal-b/wynnie [GitHub 开源项目]
ㅤ
特色功能🎠
- 真正高效的自主AI购物助手！
- AssemblyAI的语音识别功能可自动处理50多种语言！
- 借助我们的多智能体编排架构，扩展性极强。
- 使用 Perplexity AI（ Sonar）和SERP API进行实时产品搜索
- 智能优惠查找器，自动优化您的购物车！
- 采用环保路线的智能配送计划
- 可作为渐进式 Web 应用 (PWA) 离线使用！
- AssemblyAI支持 50 多种语言，让您轻松掌握所需语言。
- 通过说话人识别功能识别说话人，并自动隔离背景噪音。
- 使用 Next.js 和 Tailwind 构建的简洁现代界面
- Google OAuth 通过 Google Firebase 单点登录
- 实时价格追踪和套餐推荐！
- 真正根据用户体验进行微调的AI推荐！
- Supabase 后端，带来极速性能！
- 通过 UPI-Litex 进行的无缝支付高度安全且采用端到端加密！
- 自带电池，并通过 GitHub actions 实现 CI/CD。
- 帮你省钱💰 + 节省大量时间！
- 适用于所有人——无障碍设计优先！
- 注重隐私保护，符合GDPR*规定！
ㅤ
系统架构📊
隐私与安全🔐
Wynnie 会处理您的购物数据和支付信息，这些都是非常敏感的信息。我们采取了极其严格的安全措施，以确保所有信息都受到严密保护，并100% 符合 GDPR 的要求。
所有通信均通过加密通道进行，我们使用 Supabase 内置的安全功能。语音数据通过 AssemblyAI 的端点进行安全处理。未来，我们计划对所有数据进行端到端加密。
背景📜
问题是——对很多人来说，网购仍然是一件令人头疼的事！语言障碍、令人困惑的界面，以及海量的选择，都让人们很难找到真正需要的东西，也很难买到物美价廉的商品。😔
ㅤ
大多数购物网站基本上都会把你引入一个迷宫，你必须：
浏览复杂的菜单，手动比较海量商品，找出真正划算的交易，还得自己想办法优化所有流程。如果你不精通当地语言，或者有无障碍需求，又或者只是觉得技术界面难以理解——那你就真的没辙了。都2025年了，我们居然还在让人们为了买东西而费这么大劲。
核心问题在于，电子商务平台的设计更像是数据库，而不是对话平台。没有人会通过填写表格来购物，我们都是边说边买，描述自己的需求。
ㅤ
|
|
|
|---|---|
| 🟠 用户手动搜索产品 | 🟢 AI驱动的意图检测 + 语音/文本输入 |
| 🟠 商品列表过多 | 🟢 个性化、情境感知推荐 |
| 🟠 目前尚不清楚最佳优惠或优惠券信息 | 🟢 通过 Synphase Scraper 自动应用优惠券 |
| 🟠 复杂的结账流程 | 🟢 精简的语音优先订购系统 |
| 🟠 静态仪表盘和有限的洞察力 | 🟢 具有对话式用户体验的动态仪表盘 |
| 🟠 无实时决策反馈 | 🟢 LLM-as-Judge 提供即时优化 |
| 🟠 客户互动有限 | 🟢 根据用户需求定制的对话式代理 |
| 🟠 服务孤岛和用户体验碎片化 | 🟢 统一人工智能编排器与代理协作 |
ㅤ
Wynnie 不会让你费力地浏览复杂的网站，而是让你自然地描述你想要的东西。人工智能会理解你的意图，自动搜索产品，找到最优惠的价格，并为你提供优化后的选项。就像拥有一个超级聪明的朋友，他无所不知，知道所有关于购物的事情！
Wynnie通过理解自然对话、独立做出智能决策并自动处理所有繁琐的优化工作，彻底改变了游戏规则！👪
除了能够理解你所说的话之外，Wynnie 还能通过 Perplexity AI 进行实时产品研究、自动交易优化和智能交付计划，从而完成繁重的工作。
最棒的是什么？用户无需学习任何新知识——只需自然地描述自己的需求即可！这使得购物变得人人皆可轻松，无论语言、技术水平或身体状况如何。
我们致力于通过人工智能对话，让购物变得快速、智能且真正实用。人工智能能够理解语境和偏好，并自动优化，从而提供最佳购物体验！✨
我们的使命是通过智能购物自动化，利用自然的AI对话将人们与他们真正需要的东西联系起来，从而使网上购物惠及所有人。
快照🖼️
为什么选择 AssemblyAI？
语音识别对于实现无障碍购物至关重要。AssemblyAI的通用语音模型能够提供我们所需的准确度和语言支持，而且操作简便。
AssemblyAI 能从 50 多种语言列表中自动检测用户所使用的语言，判断说话者是谁以及说话时间，并提供单词级别的时间信息。这使我们能够打造真正适用于真实用户进行真实对话的购物体验。
// AssemblyAI Voice Processor for Wynnie 🦄
async transcribeAudio({
file,
speech_model = 'universal',
language_code,
punctuate = true,
format_text = true,
speaker_labels = false,
speakers_expected,
}: AssemblyAITranscriptionRequest): Promise<AssemblyAITranscriptionResponse> {
try {
const audioUrl = await this.uploadAudio(file);
const transcriptionJob = await this.startTranscription(audioUrl, {
speech_model, language_code, punctuate,
format_text, speaker_labels, speakers_expected,
});
const completedTranscription = await this.pollForCompletion(transcriptionJob.id);
return completedTranscription;
} catch (error) {
console.error('Error transcribing audio with AssemblyAI:', error);
throw error;
}
}
AssemblyAI 处理我们所有的语音输入，并将自然语音转化为购物意图。多语言支持意味着无论用户使用哪种语言，我们都能为他们提供帮助。
另外，非常感谢您提供的50美元赠金，这帮助我们快速启动了项目！🙏🏻
我们的AI代理系统（由OpenAI的GPT-4o mini驱动）能够生成智能且快速的购物推荐，其中AssemblyAI负责处理语音输入，而我们的协调器则负责协调各个专业代理，以查找产品、优化交易并规划配送。所有环节完美协作！🙂
我们深入研究了AssemblyAI 的高级功能，例如说话人分割和置信度评分。构建语音优先界面绝对是一个学习过程，因为我们大多数人都是从传统的 Web 开发领域来的。我们必须从零开始学习语音交互模式和无障碍指南。
除了 AssemblyAI 之外，我们还学到了很多关于自主代理架构、实时 AI 协调以及如何构建真正可扩展的系统方面的知识。🌟
ㅤ
ㅤ
设计🎨
我们深受英国设计委员会推广的双钻设计流程修订版的启发，该模型不仅包括视觉设计，还包括一个完整的调研周期，在这个周期中，你必须在着手解决方案之前发现并定义你的问题，然后最终部署它。
- 探索：了解为什么目前的购物体验让这么多人失望。
- 定义：弄清楚自主购物代理实际需要做什么。
- 开发：构建能够处理真实对话的多智能体系统。
- 交付方式：推出支持 PWA 的版本，并持续从真实用户中学习。
我们大量使用了 Figma，重点关注语音交互流程和辅助功能模式。我们的朋友Praveen进行了用户测试，这帮助我们改进了 AI 的响应方式以及何时需要澄清。
鸣谢
- 设计资源：Figma 社区、Web 无障碍倡议
- 图标：Lucide React，注重无障碍设计的图标集
- 字体：采用 Manrope 和其他系统字体，以实现最佳可读性
我们遇到的挑战😤
构建自主购物代理带来了一些非常有趣的技术挑战，尤其是在实时协调多个 AI 服务方面。
最大的难题在于如何让所有人工智能服务顺畅协作，避免出现明显的延迟。我们需要 AssemblyAI 进行语音处理，Perplexity AI 进行产品研究，OpenAI 进行推理，所有这些服务都必须协同工作。为了协调这些不同的代理，同时保持快速响应，我们需要一些巧妙的响应机制和智能的备用策略。
要确保语音识别能够准确识别不同口音和说话风格的人，比预想的要困难得多。AssemblyAI 的自动检测功能帮了大忙，但我们仍然需要微调置信度阈值并构建智能的备用机制。
如何在不牺牲隐私的前提下实现实时优化是另一个难题。最终，我们尽可能多地在客户端进行处理，同时使用安全的 API 调用来调用 AI 服务。
我们非常自豪地打造出真正跨语言、智能优化的购物体验。多智能体架构无需人工干预即可成功处理复杂的购物任务！:)
ㅤ
接下来会发生什么？🚀
Wynnie 有巨大的潜力改变人们对网上购物的看法。我们希望它能最终让电子商务惠及所有人，无论语言、技术水平或身体状况如何！
接下来我们要开发的产品：
- 预测性购物：人工智能在你开口询问之前就能为你推荐商品。
- 视觉产品搜索：用摄像头对准目标，即可在线查找。
- 团购：与朋友和家人一起边聊天边购物
- 可持续性评分：查看您的购买行为对环境的影响
- 跨平台：原生移动应用和智能音箱集成
我们很高兴能够扩展语言支持、提高人工智能准确率，并与更多在线零售商建立联系！
ㅤ
尾注🙌🏻
非常感谢DEV主办这次挑战赛，感谢 AssemblyAI 团队提供的出色文档和 API 设计，还要感谢开源社区的启发和支持！🙌
许可 ⚖️
