想了解更多關于開源的內容，請訪問：

本站開源基礎軟件社區

介紹

本案例基于最近鄰分類器這一分類器算法模型，在HarmonyOS上實現了簡單的圖像識別。事實上，最近鄰分類器用在圖像識別上的靈敏度并不高（錯誤率還是有點大的），而筆者編寫這個案例的初衷，是為了能體驗最近鄰分類器的思維，以及探索如何在HarmonyOS中處理圖像數據。

源碼下載地址

Gitee源碼地址鏈接

開發環境要求

• DevEco Studio版本：DevEcoStudio3.1Release
• HarmonyOS SDK版本：APIversion9

工程要求

• API9
• Stage模型

正文

最近鄰分類器簡介

最近鄰分類器是模式識別領域中的一個較為簡單的分類器模型，而分類器指的是用于解決分類問題的機器學習算法。此分類器基于一個簡單的假設，即如果一個樣本在特征空間中的最近鄰屬于某個類別，則該樣本也屬于該類別。由此可見，最近鄰分類器的基本邏輯是，讓樣本A模擬分類器中已經訓練過的某個數據B(即將A視為B)，當B屬于某個類別λ時，A也屬于類別λ。

下面是關于最近鄰分類器的一個簡單例子：

假設在傳送帶上有兩種魚，分別是鱸魚（seabass）和鮭魚（salmon）。現在我們需要用光學傳感器對傳送帶上的魚按品種進行分類，因此需要設計一個分類器，不妨設計一個最近鄰分類器。假如我們只考慮魚的兩個特征——寬度和魚身的亮度，現在我們選取十條鱸魚和十條鮭魚進行特征提取，并建立一個平面直角坐標系（y軸用于表示寬度特征的數值，x軸用于表示亮度特征的數值，這樣就構成了一個二維特征空間），再將每條魚的由其寬度值和亮度值確定的坐標在圖中顯示出來。

圖中，紅色點代表鮭魚樣本的特征向量，藍色點代表鱸魚樣本的特征向量，它們都屬于被訓練的數據。當檢測設備獲取了某條品種未知的魚的亮度特征和寬度特征時，最近鄰分類器所要做的是：先將此品種未知的魚的亮度值和寬度值表示成特征空間上的向量P，然后計算向量P與每個已訓練樣本向量的距離。其中，距離采用歐式范數，在二維空間中計算公式為

由于先前已訓練了20項數據，所以我們可以獲取20項距離數據，將它們表示為d1, d2, ... ,d20。接著，分類器通過逐項比較獲取最小距離di(i∈[1,20]∩N)，這意味著第i個已訓練樣本是未知品種的魚的最近鄰。因此，當第i個已訓練樣本屬于鱸魚品種時，上述品種未知的魚將被分類為鱸魚，否則分類為鮭魚。

基于最近鄰分類器的圖像識別算法

首先需要明確的是，本案例的圖像識別分類器所分類的對象是灰度圖。圖像識別的最近鄰分類器與前面提到的例子十分類似，只不過在圖像識別中，樣本的每個像素點的灰度值是一個特征維。假設分類器所處理的圖像規模是100px乘100px，那么對應的特征空間就是10000維的高維空間，而每個圖像樣本經特征提取后都可以表示成10000維空間的一個向量。雖然特征空間的維度升高了不少，但分類算法在本質上沒有差別。同先前的例子一樣，圖片分類的依據是被測樣本的最近鄰，所以我們需要計算被測樣本對應在高維空間中的向量與其他已訓練樣本的向量的距離，這里的距離仍采用歐式范數

找出被測樣本的最近鄰后，我們便可以憑借此最近鄰進行圖片分類。

代碼結構

─entry/src/main
   ├─ module.json5
   ├─ resources
   │  ├─ zh_CN
   │  ├─ rawfile
   │  │  ├─ p1.png
   │  │  ├─ p2.png
   │  │  ├─ p3.png
   │  │  ├─ p4.png
   │  │  ├─ p5.png
   │  │  ├─ p6.png
   │  │  ├─ s1.png
   │  │  └─ s2.png
   │  ├─ en_US
   │  └─ base
   └─ ets
      ├─ XL_Modules
      │  └─ XL_Image_NNC.ts
      ├─ pages
      │  └─ Index.ets
      └─ entryability
         └─ EntryAbility.ts

圖片解碼流程

圖片解碼指將所支持格式的存檔圖片解碼成統一的PixelMap，以便在應用或系統中進行圖片顯示或圖片處理。

在本案例中，不論是用于訓練分類器的圖片還是待檢測的圖片，都需要提前放入Demo

的rawfile目錄下的。如果要獲取某個圖像資源，我們只需要知道此圖像的名稱（字符串數據），然后通過資源管理者模塊resourceManager即可取得。如下給出以獲取rawfile目錄下名為'p1.png',大小為100px乘100px的圖片資源為例，需要編寫的相關操作語句。

獲取resourceManager。

let context = getContext(this)
const resourceMgr = context.resourceManager

獲取rawfile文件夾下p1.png的ArrayBuffer。

let Data = await resourceMgr.getRawFileContent('test.jpg')
let buffer = Data.buffer

創建ImageSource實例。

const imageSource = image.createImageSource(buffer)

創建PixelMap實例。

const pixelMap = await imageSource.createPixelMap();

因為我們需要做圖像處理，所以還需要創建一個ArrayBuffer實例（buffer對象），并讀取PixelMap實例的數據至buffer中。這樣以后，buffer就是一個儲存了p1.png圖像數據的BGRA_8888格式的數組（也可以稱之為向量）了。

let dim = 100*100*4   //維度
let buffer = new ArrayBuffer(dim)
await pixelMap.readPixelsToBuffer(buffer)
.catch(err => {
 		console.error(`err: +${err}`)
})

由于buffer是BGRA_8888格式的數組，所以buffer中第i，i+1，i+2, i+3(i∈[0,dim/4-1])分別代表某個像素點藍色分量（B），綠色分量(G)，紅色分量(R)和透明度分量(A)。因為本案例的圖像識別是在灰度圖的基礎上進行的，所以我們還需要將BGRA_8888格式的數組轉化為灰度值數組。

RGB圖轉灰度圖并不難，只需要將每個像素點的藍色，綠色和紅色分量加權求和，就可以得到每個像素點的灰度值。其中，灰度值 = (紅色通道值 * 0.299) + (綠色通道值 * 0.587) + (藍色通道值 * 0.114)。這里的加權系數是根據人眼對不同顏色敏感度的差異來確定的。

關鍵代碼

XL_Image_NNC.ts：

import image from '@ohos.multimedia.image';
import common from '@ohos.app.ability.common';

//所操作圖片的尺寸(圖片的寬高一致)
const OPERATION_SIZE = 100

/*
 * 函數名: Get_NumberType_Array_MinValue_Index
 * 描述: 返回輸入的number型Array中數值最小的元素所在索引
 */
function Get_NumberType_Array_MinValue_Index(arr:Array<number>):number{

  let location:number = 0

  for(var i = 0; i < arr.length; ++i){
    if(arr[i]<arr[location]){
      location = i
    }
  }

  return location

}

//最近鄰分類器能力接口
interface I_Nearest_Neighbor_Classifier{

  train(context:common.Context,Train_Data:Array<string>)

  identify(test_data:string)

}

/*
 * 類名: XL_Image_NNC
 * 描述: 基于最近鄰分類器的圖像識別模塊
 */
class XL_Image_NNC implements I_Nearest_Neighbor_Classifier{

  //日志標簽
  private TAG:string = '------[XL_Image_NNC] '

  //BGRA_8888圖對應向量的規模
  private dim_rgb:number = 4*(OPERATION_SIZE**2)

  //灰度圖對應向量的規模
  private dim_gray:number = OPERATION_SIZE**2

  //RGB圖向量轉化為灰度圖向量時, 三原色(red green blue)通道值各自占灰度值的權重, 并且滿足R_Weight + G_Weight + B_Weight = 1
  private R_Weight:number = 0.299
  private G_Weight:number = 0.587
  private B_Weight:number = 0.114

  //已加入的圖像向量的集合(BGRA_8888)
  private Trained_Data_RGB:Array<Uint8Array> = []

  //已加入的圖像向量的集合(灰度圖)
  private Trained_Data_Gray:Array<Uint8Array> = []

  //存儲距離(歐式范數)的數組
  private Distance_Array:Array<number> = []

  //儲存資源管理模塊的變量
  private resourceMgr = null

  /*
   * 方法名: train
   * 描述: 為分類器填充數據, 使得分類器獲取監督模式識別的功能
   * 參數: context: UIAbility的上下文對象  Train_Data: 待訓練的圖片集（圖片需要提前儲存在rawfile目錄下）
   */
  public async train(context:common.Context,Train_Data:Array<string>) {

    //通過context獲取ResourceManager(資源管理模塊)
    this.resourceMgr = context.resourceManager

    //遍歷和處理待輸入的圖片數據
    for (var item of Train_Data) {

      //通過resourceMgr的getRawFileContent方法(填入圖片的文件名字符串),獲取rawfile目錄下某個圖片所資源對應的UintArray
      let rawData = await this.resourceMgr.getRawFileContent(item)

      //通過先前獲取的UintArray創建ImageSource實例
      let imageSource = image.createImageSource(rawData.buffer)

      //通過ImageSource實例創建像素表
      let pixelMap = await imageSource.createPixelMap()

      //將像素表讀取到新建的ArrayBuffer變量中
      let buffer = new ArrayBuffer(this.dim_rgb)
      await pixelMap.readPixelsToBuffer(buffer)
        .catch(err => {
          console.error(this.TAG+`err: +${err}`)
        })

      //最后將ArrayBuffer攜帶的RGB型圖像向量存入Trained_Data_RGB（向量集合）中
      this.Trained_Data_RGB.push(new Uint8Array(buffer))

    }

    //將獲取的RGB型圖像向量集合轉化為灰度型圖像向量集合
    for(var element of this.Trained_Data_RGB){

      let GrayScaleVector = new Uint8Array(this.dim_gray)
      let index:number = 0

      //遍歷RGB型圖像向量的元素
      for(var i = 0; i < element.length; i++){
        if((i+1)%4 == 0){

          //獲取像素點的R,G,B通道值, 將他們加權求和得到灰度值
          var grayScale = this.R_Weight*element[i-3]+this.G_Weight*element[i-2]+this.B_Weight*element[i-1]

          //存儲
          GrayScaleVector[index++] = grayScale
        }
      }

      //最后將GrayScaleVector攜帶的灰度型圖像向量存入Trained_Data_Gray（向量集合）中
      this.Trained_Data_Gray.push(GrayScaleVector)

    }


  }

  /*
   * 方法名: identify
   * 描述: 基于已獲取的數據，完成監督模式識別，返回輸入樣本的最近鄰在Trained_Data_Gray中的索引
   * 參數: test_data: 待識別的圖片（圖片需要儲存在rawfile目錄下）
   */
  public async identify(test_data:string):Promise<number>{

    //排除異常情況
    if(this.resourceMgr == null){
      console.error(this.TAG+'Please train the image data before identifying')
      return -1
    }

    //獲取rawfile目錄下某個圖片所對應的UintArray
    let rawData = await this.resourceMgr.getRawFileContent(test_data)

    //通過先前獲取的UintArray創建ImageSource實例
    let imageSource = image.createImageSource(rawData.buffer)

    //通過ImageSource實例創建像素表
    let pixelMap = await imageSource.createPixelMap()

    //將像素表讀取到新建的buffer變量中
    let buffer = new ArrayBuffer(this.dim_rgb)
    await pixelMap.readPixelsToBuffer(buffer)
      .catch(err => {
        console.error(this.TAG+`err: +${err}`)
      })

    let Sample_RGB = new Uint8Array(buffer)

    let Sample_Gray = new Uint8Array(this.dim_gray)

    let index:number = 0

    //將RGB型的圖像向量轉化為灰度型的圖像向量
    for(var i = 0; i < Sample_RGB.length; i++){
      if((i+1)%4 == 0){
        var grayScale = this.R_Weight*Sample_RGB[i-3]+this.G_Weight*Sample_RGB[i-2]+this.B_Weight*Sample_RGB[i-1]
        Sample_Gray[index++] = grayScale
      }
    }

    //賦初值
    this.Distance_Array = []

    //計算待檢測圖像向量與每項已訓練圖片向量在高維空間的的距離（距離采用歐式范數）, 即(Σ(A[i] - B[i]))^0.5, i ∈ [0, dim_gray) ∩ N
    for(var item of this.Trained_Data_Gray){

      var distance:number = 0

      //計算dim_gray維向量空間上樣本與已訓練數據的距離（歐式范數）
      for(var i = 0; i < this.dim_gray; i++){
        distance += (Sample_Gray[i]-item[i])**2
      }
      distance = distance**0.5

      this.Distance_Array.push(distance)
      console.info(this.TAG+'distance: '+distance)

    }

    //獲取Distance_Array中最小元素所在索引并輸出, 此索引即為樣本的最近鄰在Trained_Data_Gray中的索引
    return Get_NumberType_Array_MinValue_Index(this.Distance_Array)

  }

}

//導出本模塊
export default new XL_Image_NNC()

同往期一樣，筆者青睞于將新開發的功能集成到一個ts文件里并導出，以方便管理與維護。在本模塊中，功能被集成在類XL_Image_NNC中，其中，train方法用于為分類器訓練數據（雖然不涉及迭代的過程，姑且將其稱為"訓練"吧），identify方法則是基于已訓練的數據進行圖像分類。

想了解更多關于開源的內容，請訪問：

本站開源基礎軟件社區