【K210】K210学习笔记七——使用K210拍摄照片并在MaixHub上进行训练

【K210】K210学习笔记七——使用K210拍摄照片并在MaixHub上进行训练

• 前言
• K210准备工作
• K210如何拍摄照片
• • 准备工作
  • 拍摄相关代码定义
  • 用K210拍摄到的照片在MaixHub平台上训练模型
  • 测试
  • • 未开启数据增强的测试结果
    • 开启数据增强的测试结果
    • 小结

      前言

      本人大四学生，电赛生涯已经走到尽头，一路上踩过不少坑，但运气也不错拿了两年省一，思来想去，决定开始写博客，将电赛经验分享一二，能力有限，高手轻喷。

      往期的博客讲述了 K210 的感光元件模块 sensor 的配置，机器视觉模块 image 中部分函数的使用（目前是用 find_blobs 函数实现一些寻找不同颜色的目标点，寻找不同颜色的线，后面会更新更多 image 模块中的函数使用方法），按键、LCD、LED的使用，定时器的使用，串口通信的方法，以及如何使用MaixHub平台在线训练模型。

      sensor 的学习笔记传送门

      【K210】K210学习笔记一——sensor

      image 的学习笔记传送门

      【K210】K210学习笔记二——image

      按键、LCD、LED的使用 的学习笔记传送门

      【K210】K210学习笔记三——按键、LCD、LED的使用

      定时器的使用传送门

      【K210】K210学习笔记四——定时器的使用

      串口通信传送门

      【K210】K210学习笔记五——串口通信

      MaixHub在线模型训练传送门

      【K210】K210学习笔记六——MaixHub在线模型训练识别数字

      串口通信（往期）传送门

      【串口通信】K210与STM32串口通信、K210与OpenMV串口通信

      本文着重于如何使用K210拍摄图片，并将图片上传到MaixHub平台进行模型训练。补充一下一些经验心得，比如一些训练参数的设置。

      K210准备工作

      由于K210的RAM只有8M，为了让运行的模型可以更大，避免出现内存不够的情况，需要刷入小一点的固件，固件及刷固件工具如下，我设置的是0积分免费下载。

      固件烧入

      将压缩包解压，点开kflash文件夹，双击运行程序。

      

      在打开的程序中点击打开文件，然后选择要刷入的固件。

      

      然后点击下载即可开始刷入固件。

      

      K210如何拍摄照片

      准备工作

      这里需要用到SD卡，首先需要用读卡器打开SD卡，在SD卡根目录下创建一个名为img的文件夹。

      

      然后将SD卡直接插到K210上即可。

      

      拍摄相关代码定义

      导入模块，这里打算用K210上自带的按键KEY进行拍照（该按键自动接到16脚），所以除了必要的感光元件模块以外，还需要引入引脚注册模块，lcd是方便脱机拍照（代码烧入后，可以拿个充电宝或者其他的可以输出5V电压的给K210供电，就可以拿着K210拍照了，不然还要带个笔记本电脑怪麻烦的）。

      # Get_V1.0 - By: FITQY - 周五 8 月 26 日 2022
      #__________________________________________________________________
      # 导入模块
      import sensor, time, image                                  # 导入感光元件模块 sensor 跟踪运行时间模块 time 机器视觉模块 image
      import utime # 导入延时模块 utime
      from fpioa_manager import fm                                # 从 fpioa_manager 模块中导入 引脚注册模块 fm
      from Maix import GPIO                                       # 从 Maix 模块中导入 模块 GPIO
      import lcd   # 导入 LCD 模块
      

      感光元件的设置，比起之前的设置，只是多了倒数第二行的设置图像大小为224 x 224。

      #__________________________________________________________________
      # 感光元件设置
      sensor.reset()                                              # 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式
      #sensor.reset(freq=24000000, dual_buff=True)                # 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加
      sensor.set_pixformat(sensor.RGB565)                         # 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422
      sensor.set_framesize(sensor.QVGA)                           # 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGA
      sensor.set_auto_exposure(0)                                 # 关闭自动曝光
      #sensor.set_auto_exposure(0, exposure=120000)               # 设置手动曝光 曝光时间 120000 us
      #sensor.set_auto_gain(0)                                    # 关闭画面增益
      sensor.set_auto_gain(0, gain_db = 16)                       # 设置画面增益 16 dB 影响实时画面亮度
      sensor.set_auto_whitebal(0)                                 # 关闭RGB自动增益（白平衡）
      #sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0))         # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持
      #sensor.set_contrast(0)                                     # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
      #sensor.set_brightness(0)                                   # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
      #sensor.set_saturation(0)                                   # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
      sensor.set_vflip(1)                                         # 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
      sensor.set_hmirror(1)                                       # 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
      sensor.set_windowing((224,224))                             # 设置图像大小为 224 224
      sensor.skip_frames(time = 2000)                             # 延时跳过2s 等待感光元件稳定
      

      LED的设置，这一步可以没有，我只是用来判断按键有没有被按下才加的这个，我设置的是，如果按键按下的话，LED会切换。

      #__________________________________________________________________
      # LED的使用
      # 注册 LED 引脚
      fm.register(14, fm.fpioa.GPIO2, force = True)               # 配置 14 脚为 LED_R 强制注册
      fm.register(13, fm.fpioa.GPIO1, force = True)               # 配置 13 脚为 LED_G 强制注册
      fm.register(12, fm.fpioa.GPIO0, force = True)               # 配置 12 脚为 LED_B 强制注册
      # 创建 LED 对象
      LED_R = GPIO(GPIO.GPIO2, GPIO.OUT)                          # 创建 LED_R 对象
      LED_G = GPIO(GPIO.GPIO1, GPIO.OUT)                          # 创建 LED_G 对象
      LED_B = GPIO(GPIO.GPIO0, GPIO.OUT)                          # 创建 LED_B 对象
      # LED控制函数
      def LED_Control(led_flag):                                  # LED控制函数 根据传入 led_flag 点亮对应的灯 需要注意的是 0为点亮 1为熄灭
          if led_flag == 0:                                       # 传入参数为 0 所有灯打开
              LED_R.value(0)
              LED_G.value(0)
              LED_B.value(0)
          elif led_flag == 1:                                     # 传入参数为 1 所有灯关闭
              LED_R.value(1)
              LED_G.value(1)
              LED_B.value(1)
          elif led_flag == 2:                                     # 传入参数为 2 红灯常亮
              LED_R.value(0)
              LED_G.value(1)
              LED_B.value(1)
          elif led_flag == 3:                                     # 传入参数为 3 绿灯常亮
              LED_R.value(1)
              LED_G.value(0)
              LED_B.value(1)
          elif led_flag == 4:                                     # 传入参数为 4 蓝灯常亮
              LED_R.value(1)
              LED_G.value(1)
              LED_B.value(0)
          else:    # 其他情况 紫灯
              LED_R.value(0)
              LED_G.value(1)
              LED_B.value(0)
      

      按键的设置，和往期一样的，只是把另外三个按键删掉了而已，然后在按键0的回调函数中加入了拍照函数。

      #__________________________________________________________________
      # 按键的使用
      # 定义按键控制类
      class Key_Control():                                        # 定义按键控制类
          cnt     = 0                                             # 按键计数值
          cs      = 0                                             # 按键模式选择标志位
          csmax   = 0                                             # 按键模式上限
          csflag  = 0                                             # 按键模式切换标志位
          cinput  = 0                                             # 按键输入值保存位
          control = 0                                             # 按键确认及发送控制标志位
          img_cnt = 0                                             # 照片计数值
      # 实例化按键类
      key = Key_Control()                                         # 实例化按键控制类 Key_Control() 为 key
      key.csmax = 3# 按键模式上限为 3 即最多有 4 个模式 (0, 1, 2, 3)
      # 注册按键引脚
      fm.register(16, fm.fpioa.GPIOHS0, force = True)             # 配置 16 脚为 KEY0 使用高速 GPIO 口 强制注册
      # 创建按键对象
      KEY0 = GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_UP)            # 创建按键对象 KEY0
      # 中断回调函数 KEY0 控制按键模式选择
      def Key0_Switch(KEY0):
          utime.sleep_ms(10)                                      # 延时 10ms 消除按键抖动
          if KEY0.value() == 0:                                   # 确认 按键0 按下
              key.csflag = 1                                      # 标记按键模式切换
              if key.cs  
      拍照函数如下所示，主要就是根据计数器的值保存照片，可以支持保存0000.jpg到9999.jpg共1万张照片，如果你要保存超过1万张，再加个判断就好了（emm应该也没有什么电赛题目识别的东西需要这么大的数据集吧）
       
      #__________________________________________________________________
      # 获取照片函数
      def Get_Image(key):
          # 拍摄一张照片 保存到 SD卡 的 img 目录下 名字为 000 + key.img_cnt.jpg 如 0001.jpg
          if key.img_cnt  
      然后就是LCD的设置，这一步最好要有，有了会比较方便，还可以在LCD上看到当前拍摄了几张图片（第一行img_cnt后面显示的数字就是拍摄照片的张数）
       
      #__________________________________________________________________
      # LCD
      # LCD 初始化
      lcd.init()   # lcd初始化
      # LCD 打印照片张数
      def LCD_Show():
          lcd.draw_string(0, 0,  "img_cnt: "+str(key.img_cnt), lcd.BLUE, lcd.WHITE)
          lcd.draw_string(0, 15, "Gain   : "+str(sensor.get_gain_db()), lcd.BLUE, lcd.WHITE)
          lcd.draw_string(0, 30, "RGBGain: "+str(sensor.get_rgb_gain_db()), lcd.BLUE, lcd.WHITE)
       
      主函数如下所示，key.img_cnt这一句话是设置从第几个序号开始保存照片，举个例子。
      比如设置为0，那么就是从0000开始保存。
      设置为100，就是从0100开始保存。
      这一个设置的目的就是，方便后续添加数据集，比如我现在只拍摄了31张图片，那么img文件夹里面的照片是从0000.jpg到0030.jpg，如果要添加新。的数据集，那么需要将key.img_cnt的值改成31，就可以从0031.jpg开始保存，如果从0000开始的话会覆盖掉之前的照片。
       
      #__________________________________________________________________
      # 照片起始序号设置
      key.img_cnt = 0
      #__________________________________________________________________
      # 主函数模式选择
      while(True):
          clock.tick()                                            # 跟踪运行时间
          img=sensor.snapshot()                                   # 摄像头拍摄一张图片
          lcd.display(img)                                        # LCD 显示图像
          LCD_Show()                                              # LCD 显示照片张数
          LED_Control(key.cs)                                     # 按键控制 LED 表示按键有成功按下
      #__________________________________________________________________
       
      完整代码如下，可以复制然后用K210拍摄你的数据集了！
       
      # Get_V1.0 - By: FITQY - 周五 8 月 26 日 2022
      #__________________________________________________________________
      # 导入模块
      import sensor, time, image                                  # 导入感光元件模块 sensor 跟踪运行时间模块 time 机器视觉模块 image
      import utime # 导入延时模块 utime
      from fpioa_manager import fm                                # 从 fpioa_manager 模块中导入 引脚注册模块 fm
      from Maix import GPIO                                       # 从 Maix 模块中导入 模块 GPIO
      import lcd   # 导入 LCD 模块
      #__________________________________________________________________
      # 感光元件设置
      sensor.reset()                                              # 重置并初始化感光元件 默认设置为 摄像头频率 24M 不开启双缓冲模式
      #sensor.reset(freq=24000000, dual_buff=True)                # 设置摄像头频率 24M 开启双缓冲模式 会提高帧率 但内存占用增加
      sensor.set_pixformat(sensor.RGB565)                         # 设置图像格式为 RGB565 (彩色) 除此之外 还可设置格式为 GRAYSCALE 或者 YUV422
      sensor.set_framesize(sensor.QVGA)                           # 设置图像大小为 QVGA (320 x 240) 像素个数 76800 K210最大支持格式为 VGA
      sensor.set_auto_exposure(0)                                 # 关闭自动曝光
      #sensor.set_auto_exposure(0, exposure=120000)               # 设置手动曝光 曝光时间 120000 us
      #sensor.set_auto_gain(0)                                    # 关闭画面增益
      sensor.set_auto_gain(0, gain_db = 16)                       # 设置画面增益 16 dB 影响实时画面亮度
      sensor.set_auto_whitebal(0)                                 # 关闭RGB自动增益（白平衡）
      #sensor.set_auto_whitebal(0, rgb_gain_db = (0,0,0))         # 设置RGB增益 0 0 0 dB 影响画面色彩呈现效果 在 K210 上无法调节增益 初步判定是感光元件 ov2640 无法支持
      #sensor.set_contrast(0)                                     # 设置对比度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
      #sensor.set_brightness(0)                                   # 设置亮度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
      #sensor.set_saturation(0)                                   # 设置饱和度 0 这个参数无法读取 且调这个参数对画面似乎不会产生影响 暂时注释
      sensor.set_vflip(1)                                         # 打开垂直翻转 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
      sensor.set_hmirror(1)                                       # 打开水平镜像 如果是 01Studio 的 K210 不开启会导致画面方向与运动方向相反
      sensor.set_windowing((224,224))                             # 设置图像大小为 224 224
      sensor.skip_frames(time = 2000)                             # 延时跳过2s 等待感光元件稳定
      #__________________________________________________________________
      # 创建时钟对象
      clock = time.clock()                                        # 创建时钟对象 clock
      #__________________________________________________________________
      # LED的使用
      # 注册 LED 引脚
      fm.register(14, fm.fpioa.GPIO2, force = True)               # 配置 14 脚为 LED_R 强制注册
      fm.register(13, fm.fpioa.GPIO1, force = True)               # 配置 13 脚为 LED_G 强制注册
      fm.register(12, fm.fpioa.GPIO0, force = True)               # 配置 12 脚为 LED_B 强制注册
      # 创建 LED 对象
      LED_R = GPIO(GPIO.GPIO2, GPIO.OUT)                          # 创建 LED_R 对象
      LED_G = GPIO(GPIO.GPIO1, GPIO.OUT)                          # 创建 LED_G 对象
      LED_B = GPIO(GPIO.GPIO0, GPIO.OUT)                          # 创建 LED_B 对象
      # LED控制函数
      def LED_Control(led_flag):                                  # LED控制函数 根据传入 led_flag 点亮对应的灯 需要注意的是 0为点亮 1为熄灭
          if led_flag == 0:                                       # 传入参数为 0 所有灯打开
              LED_R.value(0)
              LED_G.value(0)
              LED_B.value(0)
          elif led_flag == 1:                                     # 传入参数为 1 所有灯关闭
              LED_R.value(1)
              LED_G.value(1)
              LED_B.value(1)
          elif led_flag == 2:                                     # 传入参数为 2 红灯常亮
              LED_R.value(0)
              LED_G.value(1)
              LED_B.value(1)
          elif led_flag == 3:                                     # 传入参数为 3 绿灯常亮
              LED_R.value(1)
              LED_G.value(0)
              LED_B.value(1)
          elif led_flag == 4:                                     # 传入参数为 4 蓝灯常亮
              LED_R.value(1)
              LED_G.value(1)
              LED_B.value(0)
          else:    # 其他情况 紫灯
              LED_R.value(0)
              LED_G.value(1)
              LED_B.value(0)
      #__________________________________________________________________
      # 按键的使用
      # 定义按键控制类
      class Key_Control():                                        # 定义按键控制类
          cnt     = 0                                             # 按键计数值
          cs      = 0                                             # 按键模式选择标志位
          csmax   = 0                                             # 按键模式上限
          csflag  = 0                                             # 按键模式切换标志位
          cinput  = 0                                             # 按键输入值保存位
          control = 0                                             # 按键确认及发送控制标志位
          img_cnt = 0                                             # 照片计数值
      # 实例化按键类
      key = Key_Control()                                         # 实例化按键控制类 Key_Control() 为 key
      key.csmax = 3# 按键模式上限为 3 即最多有 4 个模式 (0, 1, 2, 3)
      # 注册按键引脚
      fm.register(16, fm.fpioa.GPIOHS0, force = True)             # 配置 16 脚为 KEY0 使用高速 GPIO 口 强制注册
      # 创建按键对象
      KEY0 = GPIO(GPIO.GPIOHS0, GPIO.IN, GPIO.PULL_UP)            # 创建按键对象 KEY0
      # 中断回调函数 KEY0 控制按键模式选择
      def Key0_Switch(KEY0):
          utime.sleep_ms(10)                                      # 延时 10ms 消除按键抖动
          if KEY0.value() == 0:                                   # 确认 按键0 按下
              key.csflag = 1                                      # 标记按键模式切换
              if key.cs  
      用K210拍摄到的照片在MaixHub平台上训练模型
       
      因为手头上刚刚好有一个橘子，所以我就用它来做一个识别水果的（但我只做了一个识别橘子），将K210上电，然后对着橘子，按下KEY键即可拍照了。
      然后，要用读卡器打开K210上的SD卡，将文件夹img复制到电脑桌面。
      然后打开MaixHub平台，链接如下，账号没注册的注册一个就好（上一期有说）
      MaixHub在线训练平台
      需要新建一个项目，名称就叫水果识别，类型选择图像检测（图像分类只能分类图像，并不能获取目标的坐标信息，因此图像检测用的比较多）
      然后创建一个数据集，命名为水果。
      然后选中该数据集。
      然后将img中的图片上传到该训练集。
      然后这一步是上一篇教程中所没有的，需要随机选择几张图片放到验证集中，因为如果验证集中没图片，训练的时候会随机抽取几张图片放到验证集。
      然后就是添加标签，设置默认标签，然后一张张开始打标签了。
      直到打完所有标签，就可以开始训练了。
      训练参数设置如下，这里随机处理中的选项都不选（随机镜像、随机旋转、随机模糊），模型选择nncase，参数是训练200次，批数据量大小是4，然后创建任务即可。
      然后需要记住训练的ID，不然后面找不到。
      因为是在线训练，不妨我们再创建一个任务，这次将图像增强中的随即部分全部勾选上，其他参数不变，再创建一个训练任务，最后与之前的训练任务比较一下。
      同样的需要记住训练ID。
      等待训练结束，可以看到，平台告诉我们准确率有1，但是在K210上未必每次都能正确识别到，因为我这里数据量太小了，就拍摄了四十几张图片，镜头拉近拉远可能就无法识别了，如果对镜头到目标的距离有要求的，可以根据实际情况靠近或者远一点拍摄图片。
      数据增强的那个训练任务也完成了，可以看到，这个训练的准确度比没数据增强的高出不少。
      然后就是下载压缩包，进行测试了。
       
      测试
       
      首先要将压缩包内的模型复制到SD卡中，这里我复制了两个，一个是48，一个是50，48是没有数据增强的，50是有数据增强的。
      然后打开48的测试代码测试即可。
      记得将这两个参数设置为1哦，这是开启镜头转置。
       
      未开启数据增强的测试结果
       
      未开启数据增强的（序号48）的测试结果不难看出，概率偏低，这是因为我拍摄的大部分图片角度都差不多是同一个角度，因此可能我测试的时候角度换了一点，概率就下降了。
      拿在手上的测试结果也不太理想，经常无法识别。
       
      开启数据增强的测试结果
       
      可以看出，概率明显上升了不少。
      拿在手上，识别的效果也会比没开启数据增强的好上不少。
      由此可得出，若需要提高识别的精准度，需要开启数据增强，如果开启数据增强后效果还是不理想，则需要增大数据集。
       
      小结
       
      使用K210拍摄照片，在MaixHub平台进行模型训练的教程已经做完了，并且分析了下数据增强对实际测试效果的影响。由于我并不是专门学这方面的，因此我感觉我这篇教程还写的不是很好，有新的心得的话，后面我会持续更新的。 下一期主要说怎么将识别到的坐标通过串口通信传输到STM32，因为这里用的代码是MaixHub平台提供的，我需要将其中用得到的部分加入我之前的代码中，然后通过串口通信发送出去，主要是为了方便大家使用，我想让大家可以轻松的搞应用，在各种比赛拿奖，总之我的比赛之路是走到尽头了，就是想将这些经验传承下去吧！下期再见咯！