利用卷积神经网络实时识别手势动作

一共识别5种手势动作

1. 剪刀动作 2.石头动作 3.布动作 4.OK动作 5.good动作

项目文件

项目文件列表如下：

1. data：存放训练集、测试集，实时保存的图像（用于在线检测）。
2. ges_ico：存放UI窗口使用的各种图标。
3. log：存放训练的CNN网络的模型参数。
4. CallFrame.py：界面窗口的逻辑文件，用来调用界面文件并编写信号与槽函数。
5. Frame.py：界面窗口的界面文件，通过PyQt5的designer工具生成。
6. GetTestImage.py：利用OpenCV获取图片并标记，用来制作测试集。
7. GetTrainImage.py：利用OpenCV获取图片并标记，用来制作训练集。
8. SaveGesture.py：利用OpenCV实时获取图片，并进行预处理，用于在线检测手势。
9. TestGesture.py：将实时获取的图片送入已训练好的CNN中判断其手势动作。
10. TestInTest.py：将测试集送入已训练好的CNN中判断该网络模型的准确率。
11. Train.py：训练CNN模型函数，并将训练好的模型参数保存在本地。
12. Train_inputdata.py：用来读取数据集的图像和标签，并打包成batch形式。
13. Train_model.py：模型结构，采用AlexNet结构。

使用方法

先用Train.py训练好模型参数，然后运行CallFrame.py调用出界面窗口， 点击窗口的相应按钮就可以在线检测手势动作，其中的执行手势按钮是和下位机通信（如STM32单片机）， 通过串口函数将识别结果传给下位机，实现根据手势动作控制的功能。

测试结果：

使用该模型训练到900步的时候在测试集上正确率可以稳定在95%左右。
（训练集：1，2,3，4号动作各有1300张照片，5号动作有1450张照片；测试集：每种动作各有200张照片）

未来改进：

（1）图像预处理多一些如去除背景
（2）在线检测图像的时候加一个预选框。

详细说明与调参过程见我的CSDN: https://blog.csdn.net/Amigo_1997