Deepgram与AWS分享Nova-3移植Trainium2的优化实践

Deepgram与AWS合作将Nova-3语音转文字模型移植到AWS Trainium2芯片，在单台Amazon EC2 trn2.3xlarge实例上运行8个模型副本。在Deepgram的离线批处理任务中，该方案每美元处理的音频量比原有算力方案提升11%–70%，成本按评估时的实例价格计算。 Deepgram称，这一优化过程包括将Nova-3移植到AWS Neuron软件栈、内核级调优，以及开发数据并行Rust运行时，使Deepgram自有模型服务器能够调用Trainium。这些收益可延伸至在Amazon SageMaker AI上自托管Deepgram模型的客户。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。