说来惭愧,因为出差加上疫情,这一个月都是在外面度过的,也忘记带上MAX78000了,所以可以说没有什么进展。(现在还被封在学校外面呢,悲)
(1)项目介绍:
就是想做一个类似哈利波特里的那种魔杖一样,或者类似东方法术中的画符那样,就是你念出正确的“咒语”,同时做出正确的挥舞动作,就能产生某种“魔法”效果。
这就需要语音识别出所念的是何“咒语”,动作识别出所手腕所挥舞出的动作,最总会对应到相应的表现结果。
(2)项目设计思路:
语音识别:这个MAX78000FTHR板子上面集成了SPH0645LM4H-B数字麦克风,加上github上的教程,应该可以做到关键字识别
动作识别:funpack2-1里是Syntiant TinyML 板,里面有一个IMU,可以做动作识别,这两个板子之间通过UART通信,相当于动作识别的神经网络模型部署在Syntiant那个板子上,减少了MAX78000的计算压力
结果表现:emm,本来想是通过esp32利用wifi远程控制灯的,但就需要其他的部件了,就会让“魔杖”显得臃肿,出于简化目的而言,目前考虑的是用RGB灯的不同表现对应到不同的“魔咒”或者说“法术”上
(3)搜集素材的思路
语音识别:MAX78000的关键词识别在美信的AI的github上有不少案例了,应该不会过于麻烦,MAX78000的入门教程github的readme文件上也有说明,目前跟下来没什么问题
动作识别:虽说funpack2-1我当时做的是语音识别,不过看教程时也了解了一些动作识别模型的训练,差别目前看来不是很大,至于Syntiant TinyML 板与MAX78000通信的事情,还没有深入了解,但应该也不会麻烦。
(4)预训练实现过程
还没做呢,悲,进不去学校啊,只是实现了win11+Ubuntu20.04的双系统安装,以及最早时更新了固件。