Deepgram 将 Nova-3 语音模型移植到 AWS Trainium2，批量转写每美元音频量提升 11–70%

Deepgram 先用 TorchNeuron 把标准 PyTorch 版 Nova-3 跑在 Trainium2 上，检查到没有算子回退到 CPU 后，用 torch.compile 把编码器和解码器分别编译成静态图形状。随后替换 NKILib 中的融合算子，包括融合 QKV 投影、融合 FFN 和深度可分离一维卷积，并用 Neuron Explorer 定位瓶颈、用 NAD 工具改写内核：FFN 内核在批大小 96 下延迟降低 2.0 倍，深度卷积提速 1.5 倍，自写的 conv2d 内核让模型能编译到批大小 32 以上。最终配置在单台 trn2.3xlarge 上运行 8 个模型副本。 服务路径不经过 Python 和 PyTorch：Deepgram 用 Rust 写了工作窃取队列驱动的数据并行运行时，通过 libnrt 直接加载预编译的 NEFF，实测比多进程 Python 基线吞吐高 7.5%，低批大小下收益最大。 在离线批量转写这类吞吐型负载上，该配置每美元处理的音频比 Deepgram 原先的算力方案多 11–70%（按评估时实例价格计算）。对在自有 VPC 的 Amazon SageMaker AI 上自托管 Deepgram 模型的团队，同样是成本与部署便利性的直接改善。