FreeSWITCH mrcp-v2小记

这篇具有很好参考价值的文章主要介绍了FreeSWITCH mrcp-v2小记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近得知有人受mrcp的困扰,于是写了这篇小文,希望能有所帮助

  • FreeSWITCH版本选择

目前当然选择1.10.10,不建议老版本,差别在于老版本用到的libmrcp比较旧,是1.2版本,bug比较多,有时会crash,而FreeSWITCH1.10.10用libmcrp1.6,要稳定很多

  • 编译

编译不在本文的讨论范围,可能有点小麻烦,但可以解决

  • 配置

可以找到FreeSWITCH1.10.6版本的vanilla配置,复制过来,可以这样做(以ali为例):

  1. modules.conf.xml里面增加 <load module="mod_unimrcp"/>
  2. unimrcp.conf.xml里面 <param name="default-tts-profile" value="ali"/> 和<param name="default-asr-profile" value="ali"/>
  3. mrcp_profiles目前下的文件只保留nuance-5.0-mrcp-v2.xml,其它的文件可以删除
  4. nuance-5.0-mrcp-v2.xml改名为ali.xml
  5. ali.xml里面, name改为ali,server-ip和server-port指向sdm的sip地址和sip端口
  • 测试路由
<!--tts例子1-->
<action application="answer" data="">
<action application="set" data="playback_delimiter=!">  
<action application="set" data="tts_engine=unimrcp"> <!-- 或者unimrcp:ali -->
<action application="set" data="tts_voice=xiaoyan"> <!-- 这个参数很重要,要找阿里确认 -->
<action application="playback" data="say:'欢迎使用tts测试系统'!welcome.wav"> <!--同时tts和本地语音文件-->
<!--tts例子2-->
<action application="answer" data="">
<action application="speak" data="unimrcp|xiaoyan|欢迎使用tts测试系统"> <!--第二个参数是xiaoyan,但需要找阿里确认-->

本文没有提供asr例子,可以去别的地方去找

我觉得tts参数比较少,比较容易调试。先搞定tts, asr就不难了

  • 调试

调试的主要方法是看日志和抓包,从sip invite开始看,里面一般是二个media,其中一个当然是rtp(关注c地址),另外一个就是mrcp(关注地址和mrcp端口)

  • 常见问题

1.ali和tengxun如何并存?

同时放二个文件:ali.xml和tengxun.xml,当然,profile 名称不能一样,client-port不能一样

在应用层,tts_engine设置为unimrcp:ali或者设置为unimrcp:tengxun,这样就可以区别开了

2.tts和asr能不能分开,比如用ali asr,用tengxun的tts?

当然可以,so easy!

3.听不到tts,抓包发现tts server没有发rtp流过来,但sip流程正常

看fs的c地址是不是127.0.0.1,如果是,那么client-ip和rtp-ip不能配成auto(让fs自动找),要修改成$${local_ip_v4},或者写死,比如192.168.1.100(本机ipv4)。此外,如果有nat,那么client-ext-ip和rtp-ext-ip可能需要设置下。抓包能定位到这些问题(有兴趣的可以研究下mod_unimrcp.c)

3.1001 bridge 1002,需要同时识别,要怎么做

重点是2条腿都需要execute 'detect_speech'先启动,不能execute 'play_and_detect_speech',后者不能返回

在收到pause之后,execute 'detect_speech resume' 继续识别

下面给出启动时的lua代码:

function debug(s)
	session:consoleLog("DEBUG", (s or "(NULL)") .. "\n")
end
debug("start-asr entry")

-- session:execute("info")
debug("caller = " .. session:getVariable("caller_id_number") .. " callee = " .. session:getVariable("destination_number"))
session:setVariable("fire_asr_events", "true")
-- 开始识别
session:execute("detect_speech", "unimrcp {start-input-timers=true,Speech-Complete-Timeout=10000,no-input-timeout=3000,recognition-timeout=60000}builtin:grammar/boolean?language=zh-CN;y=1;n=2 builtin")
-- session:execute("detect_speech", "param start-input-timers true")
-- session:execute("detect_speech", "param Recognition-Mode continuous")
debug("start-asr exit")

uuid_broadcast可以执行application,对esl程序可能有用(本人不会esl,好惭愧)

  • 其它

sdm支持连续的语音识别,但mrcp不支持,或许以后可以修改源码来支持这个特性

dtmf mrcp支持,但sdm不支持,lua可以设置回调,可能可以解决识别的过程中收码的问题

function my_cb(s, type, obj, arg)
-- ...
end


blah = "w00t"
session:setInputCallback("my_cb", "blah")
session:execute("play_and_detect_speech",...
-- ...

本文完全是凭记忆写成的,或许以后可以适当补充日志。文章来源地址https://www.toymoban.com/news/detail-744653.html

  • 来一个特别的:
speak(unimrcp:alitts||{voice=aixia,Prosody-Volume=50, prosody-rate=0,pitch_rate=0}请问你需要什么服务)
  • 不想播放语音,只识别
play_and_detect_speech silence_stream://1 unimrcp grammar

# 还是得播放,但是静音1毫秒而已

到了这里,关于FreeSWITCH mrcp-v2小记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • FreeSWITCH —— 常用指令

    (1)使用freeswitch -help 或freeswitch --help 会显示一些命令及其相关说明。 (注:以上显示Unknown Command,直接输入help就可以了) 常用命令如下: 1、version —— 显示当前版本 2、status —— 显示当前状态 3、sofia status —— 显示sofia 状态(查看freeswitch监听的IP和本电脑ip) 4、help

    2024年02月12日
    浏览(29)
  • FreeSWITCH 智能呼叫流程设计

    用户与机器人对话通常都是以文本的形式进行,但是借助 ASR 和 TTS 技术,以语音电话为载体的智能呼叫系统成为可能。智能呼叫系统涉及到多种不同类型的应用,以 FreeSWITCH 为交互核心的一种简要实现如下图所示,关键点为以下几个步骤: esl 客户端通过内连向 FreeSWITCH 实例

    2024年02月11日
    浏览(38)
  • freeswitch带媒体压力测试方案

      原本的计划是使用sipp完成带媒体压力测试,但是实际测试过程中发现sipp的媒体处理功能有问题(也有可能是我使用的姿势不对)。 sipp在带媒体的情况下(600路并发开始),出现大量的不响应和响应延迟,UAC和UAS都有该问题,猜测是sipp内部处理大量媒体的情况下,业务逻

    2024年02月07日
    浏览(29)
  • FreeSWITCH添加自定义endpoint

    操作系统 :CentOS 7.6_x64      FreeSWITCH版本 :1.10.9   日常开发过程中会遇到需要扩展FreeSWITCH对接其它系统的情况,这里记录下编写FreeSWITCH自定义endpoint的过程。 使用FreeSWITCH自带的框架来定义模块函数,函数指针及参数列表定义如下(src/include/switch_types.h)   SWITCH_MODULE_LOAD

    2024年02月06日
    浏览(32)
  • freeswitch透传带SDP的180

      freeswitch是一款简单好用的VOIP开源软交换平台。 freeswitch对于180/183的消息处理有默认的规则,但是在3GPP的标准中,消息流程会更加复杂,场景更多变。 这样就需要我们根据实际环境中的场景定制消息流程。 本文只讨论带SDP的183/180消息。 centos:CentOS  release 7.0 (Final)或以上

    2024年02月08日
    浏览(27)
  • freeswitch之内线呼叫挂不断问题

      内网部署freeswitch, 注册2个账号A和B, A和B建立通话后,无论哪一方挂断,另一方都不能结束通话。通过抓取报文发现,这是由于INVITE和200-INVITE经过freeswitch后,Contact头域的地址被改成了公网地址(该地址是由freeswitch的stun机制获取的),挂断时bye消息发到了公网地址。

    2024年02月11日
    浏览(33)
  • FreeSWITCH添加iLBC编码及转码

    操作系统 :CentOS 7.6_x64 FreeSWITCH版本 :1.10.9 从第三方库里下载指定版本: 如果下载过慢,可从如下途径获取: 关注微信公众号(聊聊博文,文末可扫码)后回复 20230416 获取。 编译及安装步骤如下: 安装成功:  如果遇到如下错误: libilbc目录下会自动生成libtool文件,将系统

    2023年04月16日
    浏览(33)
  • FreeSWITCH对接vosk实现实时语音识别

    环境:CentOS 7.6_x64 FreeSWITCH版本 :1.10.9 Python版本:3.9.2 vosk是一个开源语音识别工具,可识别中文,之前介绍过python使用vosk进行中文语音识别,今天记录下FreeSWITCH对接vosk实现实时语音识别。 vosk离线语音识别可参考我之前写的文章: python使用vosk进行中文语音识别 可直接使用

    2024年02月02日
    浏览(36)
  • freeswitch on centos dockerfile模式

    freeswitch是一款简单好用的VOIP开源软交换平台。 centos7 docker上编译安装fs的流程记录,本文使用dockerfile模式。 docker engine:Version 24.0.6 centos docker:7 freeswitch:v1.6.20 创建空目录,创建dockerfile文件。 github访问经常失败,先下载好源码包,并将fs.1.6.20源码文件夹拷贝到目录下。

    2024年01月20日
    浏览(36)
  • sipp重放rtp数据测试FreeSWITCH

    环境:CentOS 7.6_x64    FreeSWITCH版本 :1.10.9    sipp版本:3.6.1   sipp是一款VoIP测试工具,日常开发过程中会使用到该软件,但其自身携带的pcap文件夹里面的rtp数据包太小,rtp长时间测试的场景会出现媒体异常的情况,需要制作长时间pcap文件以满足测试,这里记录下使用sipp作为

    2024年02月06日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包