内容介绍
视频
市场情况
近年来,由于5G的落地,物联网技术也迎来了质的飞跃,许多物联网芯片也在更新换代。作为深耕 AIoT 领域软硬件产品的研发与设计多年的乐鑫科技,发布了一款支持智能语音识别的AIoT应用开发板:ESP32-S3-BOX-Lite。它既可以用于构建智能音箱,也可以赋能更多物联网设备实现人机语音交互。同时,它还集按键控制、传感器、红外控制器和智能网关等多功能于一体,能够作为全屋设备的控制中枢,支持用户通过语音命令或按键控制,轻松实现全屋智能联动。
产品特点
ESP32-S3-BOX-Lite搭载 ESP32-S3 AI SoC,在芯片内置的 512 KB SRAM 之外,还集成了16 MB QSPI flash 和 8 MB Octal PSRAM。它板载一块2.4 寸显示屏(分辨率 320 x 240),双麦克风,一个扬声器和两个用于硬件拓展的 Pmod™ 兼容接口;采用 Type-C USB 连接器,提供 5 V 电源输入和串口/JTAG 调试接口。
ESP32-S3-BOX-Lite能够运行通过亚马逊Software Audio Front-End Solution 认证的乐鑫声学前端算法、ESP-Skainet离线语音助手SDK、Alexa forIoT SDK、基于LVGL的HMI解决方案,以及ESP-DL深度学习开发库和ESP-ADF等多种乐鑫SDK;也能够通过乐鑫的一站式AIoT云平台ESP RainMaker®,实现 APP 控制设备状态、自由配置 GPIO 管脚、自定义离线语音命令和 OTA 升级等功能。
值得一提的是,经过更新的乐鑫离线语音助手 SDK ESP-Skainet实现了打断唤醒和连续识别功能,支持在设备播放音乐或播报语音的同时,随时再次唤醒设备;也支持在唤醒一次设备后,与其连续对话。此外,ESP-Skainet 还在保证优异唤醒率的同时,降低了误唤醒率,提升了语音识别性能。
ESP32-S3-BOX-Lite的优秀表现离不开其主控芯片ESP32-S3,ESP32-S3是一款低功耗的 MCU 系统级芯片 (SoC),支持 2.4 GHz Wi-Fi 和低功耗蓝牙 (Bluetooth® LE) 双模无 线通信。芯片集成了高性能的 Xtensa® 32 位 LX7 双核处理器、超低功耗协处理器、Wi-Fi 基带、蓝牙基带、RF 模块以及外设,其功能框图如下所示:
ESP32-S3功能框图
设计体验
乐鑫官方提供了该块板卡完善的SDK和丰富的例程,接下来,我们将通过上手操作进一步了解ESP32-S3-BOX-Lit的原理以及使用。
外壳设计:
ESP32-S3-BOX-Lite的外壳设计如下图所示:
ESP32-S3-BOX-Lit的外壳设计
硬件设计:
ESP32-S3-BOX-Lit的硬件设计如下图所示:
主要由SoC,AI Ability,Speaker,CPU,Wireless,OS/SDK,Display,Microphone,Power九个模块组成。
ESP32-S3-BOX-Lit的硬件设计
实验进程
板卡开箱:
从乐鑫淘宝店买来ESP32-S3-BOX-Lite套件,打开包装的盒子,发现有ESP32-S3-BOX-Lite以及配套的LED模块与Dock模块,将其组装后如下图所示,注意套件里不包含Type-C数据线,需自行准备。
板卡连接:
- 准备一条Type-C数据线,给ESP32-S3-BOX-Lite供电:
- 并将led模块接上
- 设备启动后,屏幕上将显示Espressif logo的开机动画
- 开机动画过去之后可以通过点击屏幕左下方或者右下方的按键来切换菜单页面,主要有五个页面,每个页面的功能各不相同,其中“Device Control”功能是控制灯,开关,电风扇,空调的开关的;“Network”功能是可以获取ESP-BOX的下载二维码,通过ESP-BOX软件可以设置相关的语音指令,管理设备;“Media Player”功能是播放设备内存好的音乐;“Help”功能是按键功能的操作示意图,可以帮助我们更快上手这个设备;“About Us”功能是展示这个设备的基础硬件信息。
控制实现:
BOX 系列开发板配备乐鑫专有的 AI 语音识别系统,用户可以通过 ESP BOX 应用程序自定义任意命令词。以模块上的 LED 灯为例,如何自定义语音命令词如下所示:
(1)连接 ESP BOX 手机应用程序
进入 Network 界面,点按右上角 To install APP。扫描二维码下载并安装 ESP BOX 应用程序,或者直接在 App Store 或 Google Play 中搜索 "ESP BOX" 下载应用程序。
如第一次使用此应用程序,请先注册账户。
登录个人 ESP BOX 账号并打开手机蓝牙。点按界面下方 +,扫描设备上的二维码配置网络。
设备添加成功后,将看到如下提示:
注意:
- 请确保设备接入4 GHz Wi-Fi 而非 5 GHz,且 Wi-Fi 密码输入正确。如果 Wi-Fi 密码错误,设备将会提示 "Wi-Fi Authentication failed"。
- 长按 Boot 键(即 Function 键)5 秒可清除网络配置信息,恢复出厂设置。设备重置后,如遇二维码扫码失败或蓝牙搜索不到设备,请按 Reset 键重启设备。
(2)自定义语音命令词
点按设备图标,进入如下界面。在此界面,可轻松控制开灯或者关灯。此外,ESP32官方预留了 Switch 和 Fan 功能供用户自行开发。
点按 Light,Configure 标签页会显示当前默认的管脚信息和命令词。可以根据需要修改 RGB LED 模块的 Red、Green 和 Blue 管脚。
在 Configure 标签页可以自定义控制设备“开”、“关”和“颜色”的命令词。比如,用户可以将“开”的命令词自定义为“早上好”,点按 Save 后返回上一级界面,然后如图所示再次点按 Save。
在 Control 标签页更改灯光颜色、亮度和饱和度。
现在,用户可以体验新命令词了!请先使用“hi 乐鑫”唤醒设备,然后在 6 秒内说出打开电灯的新命令词“早上好”,新命令词将显示在屏幕上,同时模块上的 LED 灯会亮起。
为了获得最优识别体验,自定义时需要注意以下事项:
- 命令词长度:命令词长度需要在 2-8 个汉字之间。在定义一系列命令词时,最好可以保持不同命令词的长度相似。
- 避免重复:请勿在长命令词中包含短命令词,否则短命令词将无法识别。比如“打开”和“打开灯”,设备将无法识别“打开”。
(3)中英文语音模型切换
点按About Us 设备图标,进入 About Us 详情页。在此界面,按下 Boot 按键,设备会快速进入 factory Mode 语言设置页面,用户可以自行设置语音的唤醒模型。
优势&局限
优点:
- 支持语音识别,支持WiFi5识别,低功耗,适用于AI与嵌入式音频开发
- 官方资源,例程丰富,上手简单
缺点:
- 官方自研的算法还待完善,对于嘈杂环境下的语音识别效果不是特别好。
- 官方自研的开发环境Espressif-IDE有一些使用bug,安装较为复杂
设计资源
参考资料:
- ESP32-S3-BOX-Lite开发板SDK汇总:https://github.com/espressif/esp-box/blob/master/README_cn.md
- ESP32-S3-BOX-Lite开发板参考例程:https://github.com/espressif/esp-box/tree/master/examples
其他相关资料:
- ESP32-S3 :https://www.espressif.com.cn/zh-hans/products/socs/esp32-s3
- 乐鑫声学前端算法:https://www.espressif.com.cn/zh-hans/solutions/audio-solutions/esp-afe
- ESP-Skaine离线语音助手SDK:https://github.com/espressif/esp-skainet/blob/master/README_cn.md
- Alexa forIoT SDK:https://github.com/espressif/esp-va-sdk
- ESP-DL深度学习开发库:https://github.com/espressif/esp-dl/blob/master/README_cn.md
- ESP-ADF SDK:https://github.com/espressif/esp-adf
- AIoT云平台ESP RainMaker®:https://rainmaker.espressif.com/zh-hans/index.html