Velma API 分析实时语音音频以获取情感、意图和欺诈
分析实时语音音频以获取情感、意图和欺诈信号，通过处理原始波形而不是依赖转录，从而实现亚秒级的行为警报。Modulate 的 Velma API 是一个音频原生智能 API，用于实时监控和代理协助。关键功能包括使用集成听觉模型进行直接音频分析、带说话者分离的转录、深度伪造检测等。它适合需要从语音流中获取实时行为信号的开发人员、呼叫中心团队和信任与安全小组。
你实际上可以用它做什么任务？
Velma 目标是实时语音分析任务：在 150 多个预设计提示中进行行为检测，使用 20 多个情感标签进行情感和语调分类，带有时间戳的说话者分离，以及用于编辑的 PII/PHI 标签。该 API 通过 REST 和 WebSocket 端点公开这些输出，以便集成到实时语音聊天、代理辅助工作流和通话后审查中。这些具体的输出使该工具适合于欺诈检测、合规监控和实时流中的客户情绪测量。
与人工审查相比，输出的准确性如何？
开发者报告了高转录质量和深度伪造检测的领先基准位置，该产品将转录与直接音频分析配对，而不仅仅是文本。该设计保留了诸如语调和节奏等信号，而转录通常会省略这些信号，这支持更细致的行为标签。亚秒延迟，转录和警报通常在 400 毫秒以内，使得近实时决策成为可能，而不是延迟的后处理。
它接受哪些文件类型和集成？
Velma 通过 WebSocket 和 REST 接受实时音频，并支持嵌入到包括 Unity 和 Unreal 在内的移动和游戏平台中。输入是原始音频流，而不是文本，因此从录制文件或实时语音开始的工作流可以直接插入 API，而无需中间的仅语音转文本步骤。说话者分离和时间戳与行为标签一起到达，以便进行时间对齐的审查。
将其添加到现有语音工作流中是否简单？
API 接口面向开发者和产品团队：REST 和 WebSocket 接口允许程序调用和流式传输。支持 iOS/Android 和游戏引擎的集成，适合需要实时审核或代理协助的团队。该工具用音频优先的模型替代了转录后分析的管道，因此工程团队必须将音频流路由到服务，而不仅仅是存储转录。
Velma 适合需要实时音频优先行为信号的工程团队
Velma 对于需要从实时语音中进行时间对齐的行为检测和语调分析的团队非常有价值，因为它处理原始音频并返回说话者分离、情感标签和欺诈标记，延迟低于一秒。准确性声明基于转录和合成语音检测的基准测试，但团队在使用自动警报作为唯一证据之前，应根据其领域数据验证标签。
