stm32mp157开发板FS-MP1A是华清远见自主研发的一款高品质、高性价比的Linux+单片机二合一的嵌入式教学级开发板。开发板搭载ST的STM32MP157高性能微处理器,集成2个Cortex-A7核和1个Cortex-M4 核,A7核上可以跑Linux操作系统,M4核上可以跑FreeRTOS、RT-Thread等实时操作系统。开发板搭配仿真器、显示屏、摄像头、资源扩展板等丰富的扩展模块,可拓展物联网、人工智能等相关技术学习,还可以拓展丰富的项目实战,非常贴合企业当下开发需求,是一款嵌入式Linux入门进阶必备开发板!
可学习技术:嵌入式Linux应用/系统/驱动开发、ARM裸机开发、Qt界面编程、STM32单片机、FreeRTOS、人工智能机器视觉等。其中ARM Cortex-A7裸机开发课程是华清远见独有特色课程,可关注:https://www.bilibili.com/video/BV1Xe4y1i7vm/,持续更新中。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-1.jpg)
14个Linux+Qt综合项目案例,6个MP1A物联网拓展项目
关注公众号“华清远见在线实验室”,回复“mp157项目”,即可领取项目配套文档及源码。
Linux+Qt综合项目案例:华清远见stm32mp157开发板优势特色部分,包括音乐播放器、智慧家庭、智能工业电表、智能出行助手、智能猫眼、环境监测、智能安防、智能语音识别等10余个项目案例,涉及家居、医疗、农业多种应用方向,在案例中使用了多种物联网和嵌入式技术,包括OT开发、linux应用开发、linux驱动开发、物联网云端接入、MQTT协议、json字符串等知识点。
基于Linux+Qt的智能语音识别项目
项目简介:
语言是人与人之间最重要的交流方式、能与机器进行自然的人机交流,是人类一直期待的事情。随着人工智能快速发展。语音识别技术作为人机交流接口的关键技术、发展迅速。本项目调用百度 AI 开发平台 API 进行语音识别,进行语音控制传感器的联动。
开发平台:
华清远见stm32mp157开发板豪华套餐(开发板+仿真器+五寸屏+摄像头+资源扩展板+tf卡+读卡器)
项目实战:
Qt 开发环境搭建
主机开发环境说明
1) 本文档主要介绍 linux 环境下的 Qt 程序开发;
2) 主机 Qt 版本为 5.14.1;
主机 Qt 环境搭建及使用
Qt Creator 安装
将 qt-creator-opensource-linux-x86_64-4.10.1.run(Qt 实验源码\工具软件) 复制到 ubuntu 主机中,可以采用共享文件夹的方式也可以使用 tfp方式将文 件存入家目录下的 Downloads 目录。我们需要在终端中赋予安装程序可执行的权限
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-2.jpg)
我们可以使用图形化的文件管理器来查看
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-3.jpg)
双击“qt-creator-opensource-linux-x86_64-4.10.1.run”图标运行安装程序。出现如下界面:
等待程序验证完成后点击“Next”
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-4.jpg)
这里我们需要登录或者注册一个账号,如果我们之前已经注册过直接登录就可以。如果没有注册过则需要新注册有一个账号后登录。这里笔者已经注册过账号,所以直接登录。 登录成功后出现如下界面,点击 Next
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-5.jpg)
这里选择安装路径
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-6.jpg)
可以直接默认,Next
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-7.jpg)
这路选择安装的组件,直接默认即可
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-8.jpg)
这里我们需要同意用户协议
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-9.jpg)
这个界面告诉我们安装完成后需要占用的空间。点击”Install”按钮后开始安装。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-10.jpg)
安装完成后出现如下界面
点击“Finish”按钮后将弹出 Qt Creator 主界面
点击“Cancel”按钮后即可正常使用
Qt5.14.1 安装
复制到 qt-opensource-linux-x64-5.14.1.run(Qt 实验源码\工具软件)到 ubuntu 主机中,可以采用共享文件夹的方式也可以使用 tfp 方式将文件存入家目录下的 Downloads 目录。进入所在文件夹,先给执行权限
输入命令
chmod +x ./qt-opensource-linux-x64-5.14.1.run
安装在命令行输入
./qt-opensource-linux-x64-5.14.1.run
会有可视化引导安装,一直 next 就行了
在选择安装组件的时候要是不知道选择那些就全选了 大概有 4 个 G 左右
下载 gcc 和 g++
sudo apt-get install gcc g++
下载 cmake
sudo apt-get install cmake
下载链接库
sudo apt-get install libgl1-mesa-dev libglu1-mesa-dev
Qt Creator 配置
1)配置 GCC
运行 QtCreator 后,依次点击"Tool"->"Options",出现选项对话框,在左侧点击"Kits",右 边选择"Compilers"标签。 检查有没有下图标注的 C++和 C ,般按上面步骤执行后都会有
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-11.jpg)
点击右侧"Add"按钮,弹出下拉列表后,选择"GCC"的"C"
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-12.jpg)
填写信息如下,"Name"为"Auto-GCC","Compiler path"点击旁边的"Browse.."按钮选择编译器的路径,例子中的路径是 “/usr/bin/gcc”
2)配置 G++
点击右侧"Add"按钮,弹出下拉列表后,选择"GCC"的"C++",下面的文本框填写"Name" 为"Auto-G++","Compiler path"点击旁边的"Browse.."按钮选择编译器的路径,例子中的路径是" /usr/bin/g++"。
填写完成后,点击"Apply"。
3)配置 qmake
选择"Qt Versions"标签,如果有下面红框中的文本,可以跳过下面步骤
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-13.jpg)
如果没有,在右侧点击"Add..."
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-14.jpg)
会弹出 qmake 路径选择对话框,这里以"/home/linux/Qt5.14.1/5.14.1/gcc_64/bin/qmake"为例子。 选择”qmake”文件后,点击"Open"按钮
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-15.jpg)
"Version name"改为" Qt %{Qt:Version} GCC"。然后点击"Apply"按钮。
4)配置 Kits
点击左侧"Kits",右侧选择"Kits"标签。检查有没有下图红框选中的文本,如果有可以跳过下面步骤
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-16.jpg)
然后没有,点击 Add:
在弹出的对话框中"Name"为"Desktop","Device Type"选择"Desktop"选项, "Sysroot"选择目标设备的系统目录,"Compiler"选择之前配置的名称"Auto-GCC"和"Auto-G++","Qt version"选择之前配 置的名称"Qt 5.14.1GCC",其它默认即可,最后点击"Apply"和"OK"按钮。
Qt Creator 新建工程
注意:工程路径最好不要包含中文、特殊字符、空格等。
我们可以新建一个“qt”文件夹,该文件夹用作我们以后存放源代码。
打开 Qt Creator,在欢迎页面点击 “New”按钮,来新建一个工程。
在出现的新建项目窗口中,我们选则“Application”->“Qt WidgetsApplication”,然后点击右下方“Choose…”按钮,来创建一个桌面 Qt 应用。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-17.jpg)
我们在这里设置项目介绍和源码位置,我们这里创建一个名为“HelloWorld”的示例项目,设置完成之后点击 next
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-18.jpg)
直接点击 next
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-19.jpg)
随后进行细节设置,主要设置要创建的源码文件的基本类信息,包括类名等。这里我们可以根据自己的项目特点进行设置。需要说明的一点就是基类的选择,这里基类有 QMainWindow、QWidget、QDialog 三种,它们的不同之处如下:
QMainWindow 类提供一个带有菜单条,工具条和一个状态条的主应用程序窗口。主窗口通常提供一个大的中央窗口部件,以及周围菜单,工具条,和一个状态栏。QMainWindow 窗口经常被继承,使得封装中央部件,菜单,工具条,状态栏等都变得很容易,当用户点击它的时候,相应的槽就会被调用;
QWidget 类是所有用户界面对象的基类,窗口部件是用户界面的一个基本单元,它从窗口系统接收鼠标,键盘和其他消息,并在屏幕上绘制自己。一个窗口部件可以被他的父窗口或者是其他窗口挡住一部分;
QDialog 类是对话框窗口的基类,对话框窗口主要用于短期任务和用户进行短期通讯的顶级窗口,QDialog 可以是模态对话框或者是非模态对话框。QDialog 支持扩展并带有返回值,他们可以带有默认值;我们在这里选择 QDialog 类即可,点击 next 完成类信息设置。
直接点击 next 按钮即可。
然后进行工具选择,该页面可以选择我们创建的工程可以使用的工具,选择想要使用的编译器模块,例如下图 。点击 next
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-20.jpg)
最后我们设置汇总信息,如果不需要版本控制等功能,直接点击完成finish 即可。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-21.jpg)
随后我们就进入到了主界面,这时候 Qt 已经帮我们做好了一些准备工作,包括创建了一些文件,写好了一些前置代码等等。
我们可以点击左边 protect 栏,来查看我们的编译选项。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-22.png)
我们可以在左下角选择编译 Debug 版或者 Release 版,即调试版或发行版。
左下角绿色剪头是编译并运行,锤子是仅编译,我们可以直接点击绿色小箭头将我们导入的工程编译并运行起来。
点击运行按钮后,我们可以看到 HelloWorld 窗口运行起来了。
Qt Creator导入工程
我们可以将已存在的 Qt 程序项目直接打开,这里以上一章节的HelloWorld 程序为例。首先我们确定源码存在的位置,如 HelloWorld 程序源码在 /home/linux/qt/helloworld 路径下
点击欢迎页面的“Open” 按钮可以打开已有的工程
找到我们刚才解压好的源码,选择“helloworld.pro”文件并点击打开
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-23.jpg)
接下来我们就可以进入到代码编辑界面了。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-24.jpg)
左上角是项目栏,点击项目名称左边的小箭头可以展开项目目录
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-25.jpg)
我们可以点击左边项目栏,来查看我们的编译选项。需注意的是构建设置中的路径应与工程路径处于同级目录下。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-26.jpg)
我们可以在左下角选择编译 Debug 版或者 Release 版,即调试版或发行版。
左下角绿色剪头是编译并运行,锤子是仅编译,我们可以直接点击绿色小箭头将我们导入的工程编译并运行起来
点击运行按钮后,我们可以看到 HelloWorld 窗口运行起来了。
文件说明
通过上面两个章节,我们学习到了 Qt 程序的新建与导入的方法,也知道了Qt 会帮我们做一些基础工作,比如帮我们建立了一些文件,那么这些文件都是干什么用的呢?我们以 HelloWorld 程序来说明一下。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-27.jpg)
以“.pro”为后缀名的文件,为 Qt 的项目管理文件,存储项目设置的文件;
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-28.jpg)
“Qt += core gui”表示项目中加入 core gui 模块。core gui 是 Qt 用于GUI 设计的类库模块,如果创建的是控制台(console)应用程序,就不需要添加 core gui。
Qt 类库以模块的形式组织各种功能的类,根据项目涉及的功能需求,在项目中添加适当的类库模块支持。例如,如果项目中使用到了涉及数据库操作的类就需要用到 sql(数据库)模块,在 pro 文件中需要在后面加上 sql:
1 Qt += core gui sql
“greaterThan(QT_MAJOR_VERSION, 4): QT += widgets”,这是个条件执行语句,表示当 Qt 主版本大于 4 时,才加入 widgets 模块。“TARGET = HelloWorld”表示生成的目标可执行文件的名称,即编译后生成的可执行文件是 HelloWorld.exe。
“TEMPLATE = app”表示项目使用的模板是 app,是一般的应用程序。
后面的 SOURCES、HEADERS、FORMS 记录了项目中包含的源程序文件、头文件和窗体文件(.ui 文件)的名称。这些文件列表是 Qt Creator 自动添加到项目管理文件里面的,用户不需要手动修改。当添加一个文件到项目,或从项目里删除一个文件时,项目管理文件里的条目会自动修改。
文件夹“Header”中,存放的是所设计的窗体类的头文件;
文件夹“Sources”中,存放着源码文件。main.cpp 是实现 main()函数的程序文件,HelloWorld.cpp 是 widget.h 里定义类的实现文件。C++中,任何窗体或界面组件都是用类封装的,一个类一般有一个头文件(.h 文件)和一个源程序文件(.cpp 文件);
文件夹“Forms”中,存放着界面设计文件,“.ui”文件是一个 XML 格式存储的窗体上的元件及其布局的文件,双击项目文件目录树中的文件 ui,会打开一个集成在 Qt Creator 中的 Qt Designer 对窗体进行可视化设计;
UI 设计器有以下一些功能区域:
组件面板:窗口左侧是界面设计组件面板,分为多个组,如 Layouts、Buttons、Display Widgets 等,界面设计的常见组件都可以在组件面板里找到。
中间主要区域是待设计的窗体。如果要将某个组件放置到窗体上时,从组件面板上拖放一个组件到窗体上即可。
Signals 和 Slots 编辑器与 Action 编辑器是位于待设计窗体下方的两个编辑器。Signals 和 Slots 编辑器用于可视化地进行信号与槽的关联,Action 编辑器用于可视化设计 Action。
布局和界面设计工具栏:窗口上方的一个工具栏,工具栏上的按钮主要实现布局和界面设计。
对象浏览器(Object Inspector):窗口右上方是 Object Inspector,用树状视图显示窗体上各组件之间的布局包含关系,视图有两列,显示每个组件的对象名称(ObjectName)和类名称。
属性编辑器(Property Editor):窗口右下方是属性编辑器,是界面设计时最常用到的编辑器。属性编辑器显示某个选中的组件或窗体的各种属性及其取值,可以在属性编辑器里修改这些属性的值。属性编辑器的内容分为两列,左侧为属性的名称,右侧为属性的值。属性又分为多个组,实际上表示了类的继承关系,位于下方的类属性组继承自位于上方的类属性组;
如果我们需要新建资源文件、源码文件等,可以在项目文件夹出点击鼠标右键,选择 Add New;如果我们有新的文件需要添加,可以在项目文件夹出点击鼠标右键,选择 Add Existing Files。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-29.jpg)
帮助文档
Qt 的帮助文档是伴随我们学习 Qt 开发的好伙伴。在 Qt 开发过程中,我们会面临图形接口使用的问题,它不像 C 语言那样就那么几个函数接口,图形接口的接口数量可以用海量来形容,常用的我们可能能记住,其它的就没有必要去记了,用到什么就去帮助文档查看用法是比较方便的。我们可以按 F1 按键,或通过上方导航栏的“help->contects”来进入帮助文档。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-30.jpg)
上方的前进后退按钮方便我们查看文档,如返回到上一步,返回到下一步。
我们可以通过帮助文档来查看以下几个部分:
类使用的相关介绍;
查看相关类的使用介绍,我们可以先进入到帮助文档,然后在左上角选择“Search”。笔者这里以 QWidget 类为例,输入我们想要查找的类的名字,然后双击查找结果来查看说明。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-31.jpg)
也可以先将鼠标移动到想要查询的类的位置,如图所示,将鼠标移动至“QWidget”处,然后按“F1”键,即可跳转到相应的帮助文档。
我们可以通过再按一次“F1”键来全窗口查看帮助文档,按“Esc”键可以退出。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-32.jpg)
部分常用的成员元素包括以下几项:
公有成员函数:操作部件属性的相关函数;
公有槽函数:Qt 类中已经定义好的槽函数,直接可与信号相连接;
信号:软中断,如按下按钮触发 pressed() 信号等;
保护成员函数:通常事件所对应的虚函数放在此处;
事件:常用事件,如操作鼠标触发的鼠标事件;
滚动鼠标滚轮,向下即可看到“Qwdget Class”类的相关说明了。
部分常用的成员元素包括以下几项:
公有成员函数:操作部件属性的相关函数;
公有槽函数:Qt 类中已经定义好的槽函数,直接可与信号相连接;
信号:软中断,如按下按钮触发 pressed() 信号等;
保护成员函数:通常事件所对应的虚函数放在此处;
事件:常用事件,如操作鼠标触发的鼠标事件;
滚动鼠标滚轮,向下即可看到“Qwdget Class”类的相关说明了。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-33.jpg)
1) 查看所用的部件的相应成员函数。
我们可以查找到该类所用部件的相应成员函数的使用方法、功能、参数、返回值等等,我们以“按钮”控件,即“QPushButton Class”类为例,我们通过索引搜索的方式,来找到这个类
我们可以通过点击“Public Functions” 来查看“QPushButton”这个类中的成员函数。
这里以“QPushButton(const QString &text, QWidget *parent =Q_NULLPTR)”为例,我们点击函数名字可以进入到函数详情中。我们可以看到相应的描述为:以“text”为显示内容,以“parent”为父对象,构造一个push 按钮。“text”“parent”为函数参数,由于是构造函数,所以此函数没有返回值。
还有一些函数是继承自其它类的,例如“Public Functions”中有 21 个继承自“QAbstractButton”类的函数,我们点击“QAbstractButton”即可查看。击“QAbstractButton”即可查看
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-34.jpg)
同样我们可以点击相应的函数进入查看详情。如查看“voidsetText(const QString &text)”。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-35.jpg)
2) 查看所用的部件的信号。
我们这里还是以“PushButton”为例,我们点击“Public Slots”。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-36.jpg)
可以看到“PushButton”本身有一个“void showMenu()”的信号,并且有很多继承自其他类的信号。
一般来说我们用的“PushButton”的信号,最多的是用到其继承自基类“QAbstractButton”中的几个信号,分别是点击(按下后抬起)、按压(单按下)、释放(单抬起)等
我们可以点击相应信号查看详情
3) 查看所用的部件的事件(所对应的虚函数如何编写)。部件常用事件主要在 “QWidget”中声明,选择“Events”即可查看相关说明。
每个事件都对应着事件函数。
点击事件函数可查看详情
UI 界面设计
Ui 界面设计如下:
由于我们配置的七寸屏幕是 1024*768 分辨率的,所以我们的 MainWindow主界面的尺寸设置为 1024*768。共使用如下几个控件,使用 QTextEdit 控件textEdit 来显示语音识别后返回的最佳匹配语音。使用 QPushButton 控件pushButton_video 点击录音和释放识别,使用 pushButton_clear 来清空 QtextEdit的内容,使用 textEdit_2 来显示传感器的反馈。
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-37.jpg)
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-38.jpg)
录音
在 pro 文件添加
QT += network
QT += multimedia
在 mainwindow.h 头文件添加下面定义
void RecorderStart(QString fileName);//开始录音
void RecorderEnd();//结束录音并转换格式
QFile *outFile;//录音时的变量
QAudioInput *my_audio;//录音时的变量
QAudioFormat audioFormat;//录音时的变量
Mainwindow.cpp 录音函数实现:
void MainWindow::RecorderStart(QString fileName)
{
QAudioDeviceInfo device = QAudioDeviceInfo::defaultInputDevice();
if(device.isNull())
{
QMessageBox::warning(NULL,"QAudioDeviceInfo","录音设备不存
在");
return;
}
// 设置通道数
audioFormat.setChannelCount(1);
// 设置编码
audioFormat.setCodec("audio/pcm");
// 设置采样频率
audioFormat.setSampleRate(16000);
// 设置位深
audioFormat.setSampleSize(16);
// 判断设备是否支持该格式
if(!device.isFormatSupported(audioFormat)){ //当前使用设备是否支持
audioFormat = device.nearestFormat(audioFormat); //转换为最接近格
式
}
// 创建录音对象
my_audio = new QAudioInput(audioFormat,this);
outFile = new QFile;
outFile->setFileName(fileName); //语音原始文件
outFile->open(QIODevice::WriteOnly);
// 开始录音
my_audio->start(outFile);
}
结束录音函数实现
/**********************
* 结束录音并转换格式
**********************/
void MainWindow::RecorderEnd()
{
// 结束录音
my_audio->stop();
outFile->close();
delete outFile;
outFile =NULL;
delete my_audio;
my_audio = NULL;
}
点击释放按钮槽函数
右键按钮,转到槽,选择 pressed 和 released 点击 ok。会在 mainwindow.cpp
生成 on_pushButton_video_pressed()和 on_pushButton_video_released()槽函数。
在两个槽函数分别实现如上图所示
申请百度 AI 开发平台语音识别应用
语音识别是利用百度的 API 在线识别。所以需要申请项目 ID。
进入百度的 API 平台:https://ai.baidu.com/
在产品服务下选择语音识别:
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-39.jpg)
点击立即使用:
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-40.jpg)
申请账号点击登录:
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-41.png)
点击创建应用:
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-42.jpg)
输入应用名称、应用描述,点击立即创建:
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-43.jpg)
点击返回应用列表:
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-44.png)
获取 AppID、API Key 和 Secret Key:
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-45.jpg)
我们记住其中的 API Key 和 Secret Key,下面会用到。
HTTP 请求类实现
我们录好的音频文件需要通过 HTTPS 协议上传到百度 AI 开发平台进行语音识别,之后 AI 平台会返回给我们识别的结果。
http 类只需要封装一个方法
bool post_sync(QString url,QMap<QString,QString>header,QByteArray
requestData,QByteArray &replyData);
使用这个方法去 URL 发送请求会收到 URL 的返回值。
http.h
#ifndef HTTP_H
#define HTTP_H
#include <QObject>
#include <QMap>
#include <QNetworkAccessManager>
#include <QNetworkRequest>
#include <QNetworkReply>
#include <QEventLoop>
#include <QDebug>
class Http : public QObject
{
Q_OBJECT
public:
explicit Http(QObject *parent = nullptr);
bool post_sync(QString url,QMap<QString,QString>header,QByteArray
requestData,QByteArray &replyData);
};
#endif // HTTP_H
http.cpp
这个方法的第一个参数是 post 方法发送请求的 URL,第二个参数是请求的方法头,第三个参数是请求的数据,第四个参数是返回的数据。
这里要说的是必须要设置 openssl 签名配置,否则在 ARM 上会报错。
bool Http::post_sync(QString url,QMap<QString,QString>header,QByteArray
requestData,QByteArray &replyData)
{
// 发送请求的对象
QNetworkAccessManager manager;
// 请求 对象
QNetworkRequest request;
request.setUrl(url);
QMapIterator<QString,QString> it(header);
while (it.hasNext()) {
it.next();
request.setRawHeader(it.key().toLatin1() ,it.value().toLatin1());
}
//设置 openssl 签名配置,否则在 ARM 上会报错
QSslConfiguration conf = request.sslConfiguration();
conf.setPeerVerifyMode(QSslSocket::VerifyNone);
#if (QT_VERSION > QT_VERSION_CHECK(5,0,0))
conf.setProtocol(QSsl::TlsV1_0);
#else
conf.setProtocol(QSsl::TlsV1);
#endif
request.setSslConfiguration(conf);
QNetworkReply *reply = manager.post(request,requestData);
QEventLoop l;
//一旦服务器返回,reply 会发出信号
connect(reply,&QNetworkReply::finished,&l,&QEventLoop::quit);
l.exec();
if(reply != nullptr && reply->error() == QNetworkReply::NoError)
{
replyData = reply->readAll();
return true;
}
else
{
qDebug()<<"request error!";
return false;
}
}
发送请求
这里需要向两个 URL 发送两个请求,第一个请求是把我们 4.2.3 创建应用得到的 API Key 和 Secret Key 组合成一个 URL 获取 access_token,第二个请求是把音频文件发送请求到语音识别的 URL 才能返回语音识别的结果。
我们新建一个类 Speech
Speech.h
这里我们把 API Key 和 Secret Key 作为参数传到 const QString
baiduTokenUrl 里面去。把主机名和获取的 access_token 做为参数传入 const
QString baiduSpeechUrl。
#include <QObject>
#include <QJsonDocument>
#include <QJsonParseError>
#include <QJsonObject>
#include <QJsonValue>
#include <QJsonArray>
#include <QFile>
#include "http.h"
#include <QHostInfo>
// 获取 Access Token
const QString baiduTokenUrl =
"https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=
%1&client_secret=%2&";
const QString client_id = "我们创建应用的 API Key";
const QString client_secret = "我们创建应用的 Secret Key";
// 语音识别 url
const QString baiduSpeechUrl =
"https://vop.baidu.com/server_api?dev_pid=1537&cuid=%1&token=%2";
class Speech:public QObject
{
Q_OBJECT
public:
Speech();
QString speechIdentify(QString fileName);
private:
QString getJsonValue(QByteArray ba,QString key);
};
#endif // SPEECH_H
Speech.cpp
QString Speech::speechIdentify(QString fileName)
{
// 获取 Access Token
QString tokenUrl =QString(baiduTokenUrl).arg(client_id).arg(client_secret);
Http my_http;
QMap<QString,QString>header;
header.insert(QString("Content-Type"),QString("audio/pcm;rate=16000"));
QByteArray requestData;//请求内容
QByteArray replyData;//url 返回内容
qDebug()<<tokenUrl;
bool result = my_http.post_sync(tokenUrl,header,requestData,replyData);
if(result) {
QString key = "access_token";
QString accessToken =getJsonValue(replyData,key);
qDebug()<<accessToken;
// 语音识别
QString speechUrl =
QString(baiduSpeechUrl).arg(QHostInfo::localHostName()).arg(accessToken);
QFile file;
file.setFileName(fileName);
file.open(QIODevice::ReadOnly);
requestData = file.readAll();
file.close();
replyData.clear();
// 再次发起请求
result = my_http.post_sync(speechUrl,header,requestData,replyData);
if(result) {
QString key = "result";
QString retText =getJsonValue(replyData,key);
qDebug()<<retText;
return retText;
}
else{
return NULL;
}
}
else {
return "error";
}
}
解析返回的数据
返回的数据是这种 Json 类型的,我们只需要获取里边 result 的值就能得到我们想要的结果了。
{"err_no":0,"err_msg":"success.","corpus_no":"15984125203285346378","sn":"
481D633F-73BA-726F-49EF-8659ACCC2F3D","result":["北京天气"]}
QString Speech::getJsonValue(QByteArray ba,QString key)
{
QJsonParseError parseError;
QJsonDocument jsondocument =
QJsonDocument::fromJson(ba,&parseError);
if(parseError.error ==QJsonParseError::NoError)
{
if(jsondocument.isObject())
{
QJsonObject jsonObject = jsondocument.object();
if(jsonObject.contains(key)){
QJsonValue jsonvalue = jsonObject.value(key);
if(jsonvalue.isString())
return jsonvalue.toString();
else if(jsonvalue.isArray()){
QJsonArray arr = jsonvalue.toArray();
QJsonValue val =arr.at(0);
return val.toString();
}
}
}
}
return "";
}
MainWindow 类调用函数
我们在释放按钮的槽函数里添加以下代码。
void MainWindow::on_pushButton_video_released()
{
ui->pushButton_video->setText("按住说话");
RecorderEnd();
Speech my_speech;
QString text =my_speech.speechIdentify("./1.pcm");
ui->textEdit->append(text);
audioCtrl(text);
}
语音控制设备联动
代码如下
void MainWindow::audioCtrl(QString text)
{
if(text == "开灯。")
{
system("echo 1 >/sys/class/leds/user1/brightness");
system("echo 1 >/sys/class/leds/user2/brightness");
system("echo 1 >/sys/class/leds/user3/brightness");
ui->textEdit_2->setText("灯已打开");
}
else if(text == "关灯。")
{
system("echo 0 >/sys/class/leds/user1/brightness");
system("echo 0 >/sys/class/leds/user2/brightness");
system("echo 0 >/sys/class/leds/user3/brightness");
ui->textEdit_2->setText("灯已关闭");
}
else if(text == "报警。")
{
int fd;
struct input_event event;
struct timeval time;
fd = open("/dev/input/by-path/platform-beeper-event", O_RDWR);
event.type = EV_SND;
event.code = SND_TONE;
event.value = 1000;
time.tv_sec = 1;
time.tv_usec = 0;
event.time = time;
write(fd, &event, sizeof(struct input_event));
ui->textEdit_2->setText("蜂鸣器已报警");
}
else if(text == "关闭。")
{
int fd;
struct input_event event;
struct timeval time;
fd = open("/dev/input/by-path/platform-beeper-event", O_RDWR);
event.type = EV_SND;
event.code = SND_TONE;
event.value = 0;
time.tv_sec = 0;
time.tv_usec = 0;
event.time = time;
write(fd, &event, sizeof(struct input_event));
ui->textEdit_2->setText("蜂鸣器报警已关闭");
}
else if(text == "关风扇。")
{
unsigned char arg;
Ioctl(EXIT_FAN,&arg);
ui->textEdit_2->setText("风扇已关闭");
}
else if(text == "开风扇。")
{
unsigned char arg;
Ioctl(EXIT_FAN,&arg);
Ioctl(INIT_FAN,&arg);
Ioctl(FAN_UP,&arg);
ui->textEdit_2->setText("风扇已打开");
}
else if(text == "温度。")
{
QString tem = temCollect();
ui->textEdit_2->setText(QString(" 此 时 温 度
为:").append(tem).append("'C"));
}
else if(text == "湿度。")
{
QString hum = humCollect();
ui->textEdit_2->setText(QString(" 此时湿度
为:").append(hum).append("%"));
}
}
实验源码
源码路径【10_智能语音识别\实验源码\04-Aivideo】
注意事项
1.在开发板运行时,需要导入中文字库,否则会因为识别不了中文。
将【10_智能语音识别\工具软件\wqy-zenhei-0.9.47-
nightlybuild.tar.gz 或 wqy-zenhei-0.8.38-1.tar.gz】复制到 ubuntu 下。并使用 scp 命令将文件拷贝到开发板的 usr/share/fonts 目录下,使用 tar 命令解压后即可。
linux@ubuntu:~$ scp wqy-zenhei-0.8.38-1.tar.gz
root@192.168.10.128:/usr/share/fonts/
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-46.jpg)
2.如果使用 mipi 五寸屏运行此项目,需要进行屏幕旋转以适应屏幕,具体步骤如下:
在/etc/profile.d/qt-eglfs.sh 添加环境变量如下
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-47.jpg)
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-48.jpg)
下面变量的 event0 设备需要填实际的触摸屏设备
![嵌入式linux系统开发作品设计,linux,qt,物联网,Powered by 金山文档](https://imgs.yssmx.com/Uploads/2024/01/780979-49.jpg)
这里即填 event0
export QT_QPA_EGLFS_ROTATION=90
export QT_QPA_EGLFS_NO_LIBINPUT=1
export文章来源:https://www.toymoban.com/news/detail-780979.html
QT_QPA_EVDEV_TOUCHSCREEN_PARAMETERS=/dev/input/event0:rotate=90文章来源地址https://www.toymoban.com/news/detail-780979.html
到了这里,关于嵌入式linux物联网毕业设计项目智能语音识别基于stm32mp157开发板的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!