Octave 基于 Amazon Bedrock 构建多租户 AI 基础平台

Octave 面向医疗器械、制药和食品制造等受监管行业提供质量管理平台 Reliance，服务超过 650 家企业客户、覆盖 180 个国家。其数据隔离要求极高，投诉记录、审计发现和纠正措施不能跨租户泄漏。团队没有先做单个 AI 功能，而是先建横向基础平台，再做投诉摘要与分诊等垂直功能，这套基础平台把每个用例的部署时间缩短了 50%。 三层架构中，数据准备层用 Amazon Bedrock 上的 Cohere Embed v4 将文档写入按租户隔离的 Amazon OpenSearch Service 向量库；安全执行层通过 AgentCore Gateway 完成鉴权后，把请求交给隔离的微虚拟机会话调用 Claude 模型；内容防护层用 Bedrock Guardrails 在输入和输出两端各做一次过滤。每个用户会话跑在独立微虚拟机中，会话结束即停止并清理内存，凭证按用户和 Agent 限定且仅在会话期间有效。 Embed v4 把图片和文本放进同一向量空间，并原生支持多语言，省掉了两条预处理管线。团队按生产查询实测把输出维度从 1536 降到 512，准确率达标的同时存储下降约 66%。对需要在一个工作日内完成超大规模租户数据导入、且数据不能离开所属区域的平台团队来说，这些取舍直接决定了成本与合规边界。