MediaTek NeuroPilot 開發者工具介紹

在現代人工智能應用中，模型的轉換和優化工具明顯變得越來越重要。MediaTek提供的NeuroPilot SDK包含了一系列先進的工具，都是為了幫助開發者將深度學習模型部署到MediaTek平台上。本文將介紹其中的關鍵工具和技術，包括Converter Tool及其量化方法、自定義運算元的創建和使用等。

1. Converter Tool概述

Converter Tool是NeuroPilot SDK的一部分，主要用於將來自不同深度學習框架，像是TensorFlow、PyTorch和Caffe等模型轉換為可在MediaTek平台上部署的格式。這個工具不僅能處理不同訓練框架之間的運算元定義和模型表示差異，還能對模型進行設備無關的優化。

1.1 功能和特性

Converter Tool目前支持以下功能：

1. 支持TensorFlow v1、TensorFlow v2、PyTorch和Caffe的模型轉換。
2. 支持TensorFlow Lite作為轉換目標格式。
3. 提供多種量化配置，如8位非對稱量化、16位對稱量化和混合位量化。
4. 支持訓練後量化和量化感知訓練。

1.2 支持的模型格式

Converter Tool支持多種模型格式：

1. Caffe：Prototxt / caffemodel。
2. TensorFlow V1：Frozen GraphDef / TensorFlow SavedModel / TensorFlow Keras / Session。
3. TensorFlow V2：Concrete functions / TensorFlow SavedModel / TensorFlow Keras。
4. PyTorch：由tracing生成的ScriptModule。

2. 量化方法

量化是一種將浮點模型轉換為整數模型的技術，從而減少模型大小和運算量。NeuroPilot SDK提供了三種主要的量化方法：

2.1 量化感知訓練

量化感知訓練在模型訓練階段插入FakeQuantize等運算元，模擬量化對模型的影響，並推導出適當的量化範圍。這種方法通常能夠提供最佳的量化效果，因為它在訓練過程中考慮了量化的影響。

2.2 訓練後量化

訓練後量化是在模型轉換過程中進行的，不需要重新訓練模型。開發者需要提供一個校準數據集，Converter Tool會根據這些數據推導出每個張量的量化範圍。這種方法適用於無法重新訓練的模型。

2.3 動態量化

動態量化不需要校準數據集，僅對卷積運算元的常量權重張量進行量化，其它激活張量保持浮點數據類型。在推理過程中，根據當前批次的值動態量化輸入張量。這種方法適用於需要在運行時節省內存和運算量的應用。

3. 自定義運算元

Converter Tool允許用戶創建包含自定義運算元的模型。這些運算元可以是標準TensorFlow運算元，也可以是用戶自定義並註冊到TensorFlow庫中的運算元。

3.1 一般工作流程

創建自定義運算元的一般工作流程如下：

1. 創建CustomOpAnnotato物件：設置自定義運算元的類型、屬性以及是否可量化等。
2. 註釋輸入張量：使用annotate_inputs函數註釋自定義運算元的輸入張量，並用這些張量構建運算邏輯。
3. 構建運算邏輯：形成包含一個或多個TensorFlow運算元的子圖，並與自定義運算元的預期行為匹配。
4. 註釋輸出張量：使用annotate_outputs函數註釋自定義運算元的輸出張量，並用這些張量構建模型的其餘部分。
5. 導出和凍結模型：將訓練完成的模型導出為GraphDef物件。
6. 解析自定義運算元註釋：使用resolve_custom_op_annotations API解析註釋並替換為自定義TensorFlow運算元。
7. 轉換為TensorFlow Lite模型：使用Converter Tool進行轉換，並遵循CustomOpAnnotator對象的設置。

3.2 自定義運算元屬性

自定義運算元可以包含一些在推理期間使用的屬性。這些屬性在初始化CustomOpAnnotator物件時設定，並存儲在TFLite的custom_options字段中。目前支持的屬性類型包括布爾型、浮點型、整數型以及浮點數列和整數列。

4. 錯誤分析和驗證

在模型轉換和量化過程中，可能會出現質量或精度的顯著下降。Converter Tool提供了plot_model_quant_error API，用於可視化模型的層級誤差、權重張量誤差和累積誤差，幫助用戶識別和解決質量下降的根本原因。

4.1 層級誤差

層級誤差是指在轉換過程中，每個運算元的輸出張量與原始浮點模型之間的誤差。通過分析層級誤差，可以識別出特定運算元是否產生了不合理的量化誤差。

4.2 權重張量誤差

權重張量誤差是指卷積運算元的權重張量在轉換過程中產生的誤差。通過分析這些誤差，可以找出導致輸出量化誤差的原因。

4.3 累積誤差

累積誤差是指各層級誤差在模型結構中的傳播情況。通過分析累積誤差，用戶可以了解量化誤差如何影響整個模型的最終輸出。

5. 實例應用

以下是使用Converter Tool進行模型轉換的幾個示例：

5.1 從Caffe轉換

下載並轉換MobileNet V1預訓練浮點模型，並展示如何添加Permute層來處理NHWC格式的輸入和輸出。這可以有效地降低轉換過程中的計算開銷。

5.2 從TensorFlow V1轉換

展示如何使用量化感知訓練、訓練後量化和動態量化方法轉換模型。這些方法各有優勢，適用於不同的應用場景。

5.3 從PyTorch轉換

展示如何生成ScriptModule物件並使用Python API進行轉換，包括處理NHWC格式的輸入。這能夠靈活地應對不同框架的需求，實現高效的模型轉換。

 

最後為夥伴們做個總結，MediaTek的Converter Tool為深度學習模型的部署提供了強大的支持。無論是模型轉換、量化還是自定義運算元的使用，都能顯著提升模型的性能和部署效率。希望通過本文的介紹，開發者可以更好地理解和使用這些工具，從而在MediaTek平台上實現高效的人工智慧應用。