跳到主要内容
版本：v0.3

我们的目标是什么？

我们致力于构建面向 Mixture-of-Models（MoM）的系统级智能，将集体智能带入 LLM 系统。

核心问题​

我们的项目针对 LLM 系统中的五项根本挑战：

1. 如何捕获缺失的信号？​

在传统 LLM 路由中，往往只看用户查询文本，但大量可用信息被忽略：

  • 上下文信号：查询属于哪个领域？（数学、代码、创意写作？）
  • 质量信号：是否需要事实核查？用户是否在给出反馈？
  • 用户信号：用户偏好是什么？满意度如何？

我们的方案：一套全面的信号提取机制，从请求、响应、用户与运行时上下文中捕获 16 类维护中的信号族。

2. 如何组合这些信号？​

拥有多个信号之后，如何协同使用以做出更好的决策？

  • 若同时检测到数学关键词与数学领域，是否应路由到数学模型？
  • 若检测到事实性问题或敏感领域，是否应启用事实核查？

我们的方案：可复用的信号目录，加上投影协调与 AND/OR 决策逻辑，在不重复编写策略的前提下组合信号。

3. 如何更高效地协作？​

不同模型各有所长，如何让它们像团队一样协同？

  • 数学问题交给数学专用模型
  • 创意写作交给更擅长创作的模型
  • 代码问题交给代码向模型
  • 简单任务用小模型，复杂任务用大模型

我们的方案：基于多种信号（而非简单规则）的智能路由，将查询匹配到最合适的模型。

4. 如何保障系统安全？​

LLM 系统面临特有的安全挑战：

  • 越狱攻击：试图绕过安全护栏的对抗性提示词
  • PII 泄露：意外泄露敏感个人信息
  • 幻觉：模型生成错误或误导性内容

我们的方案：插件链架构，叠加多层安全能力（越狱检测、PII 过滤、幻觉检测）。

5. 如何收集有价值的信号？​

系统应能随使用而学习与改进：

  • 跟踪哪些信号带来更好的路由结果
  • 收集用户反馈以改进信号检测
  • 构建可自我学习的系统

我们的方案：全面的可观测性与反馈收集，并反哺信号提取、投影调优与决策策略。

愿景​

我们期望的未来是：

  • LLM 系统在系统层面具备智能，而不仅限于单个模型内部
  • 多个模型无缝协作，各展所长
  • 安全内建，而非事后补丁
  • 系统从每次交互中学习、进化
  • 集体智能从信号、投影、决策与反馈的组合中涌现

为何重要​

对开发者​

  • 用更少精力构建更强的 LLM 应用
  • 无需复杂编排即可利用多模型
  • 内置安全与合规能力

对组织​

  • 通过路由到合适模型降低成本
  • 通过专用模型选择提升质量
  • 借助内置 PII 与安全控制满足合规

对用户​

  • 获得更准确、更好的回答
  • 通过缓存等方式更快得到响应
  • 安全与隐私得到加强

下一步​

进一步了解核心概念：