Files
FastDeploy/examples/vision/faceid/insightface/cpp/README_CN.md
Zheng-Bicheng 1dabfdf3f1 [Model] Support Insightface model inferenceing on RKNPU (#1113)
* 更新交叉编译

* 更新交叉编译

* 更新交叉编译

* 更新交叉编译

* 更新交叉编译

* 更新交叉编译

* 更新交叉编译

* 更新交叉编译

* 更新交叉编译

* Update issues.md

* Update fastdeploy_init.sh

* 更新交叉编译

* 更新insightface系列模型的rknpu2支持

* 更新insightface系列模型的rknpu2支持

* 更新说明文档

* 更新insightface

* 尝试解决pybind问题

Co-authored-by: Jason <928090362@qq.com>
Co-authored-by: Jason <jiangjiajun@baidu.com>
2023-01-14 20:40:33 +08:00

5.7 KiB
Raw Blame History

English | 简体中文

InsightFace C++部署示例

本目录下提供infer_xxx.cc快速完成InsighFace模型包括ArcFace\CosFace\VPL\Partial_FC在CPU/GPU以及GPU上通过TensorRT加速部署的示例。 以ArcFace为例提供infer_arcface.cc快速完成ArcFace在CPU/GPU以及GPU上通过TensorRT加速部署的示例。

在部署前,需确认以下两个步骤

以Linux上CPU推理为例在本目录执行如下命令即可完成编译测试

mkdir build
cd build
wget https://bj.bcebos.com/fastdeploy/release/cpp/fastdeploy-linux-x64-x.x.x.tgz
tar xvf fastdeploy-linux-x64-x.x.x.tgz
cmake .. -DFASTDEPLOY_INSTALL_DIR=${PWD}/fastdeploy-linux-x64-x.x.x
make -j

#下载官方转换好的ArcFace模型文件和测试图片
wget https://bj.bcebos.com/paddlehub/fastdeploy/ms1mv3_arcface_r100.onnx
wget https://bj.bcebos.com/paddlehub/fastdeploy/rknpu2/face_demo.zip
unzip face_demo.zip

# CPU推理
./infer_arcface_demo ms1mv3_arcface_r100.onnx face_0.jpg face_1.jpg face_2.jpg 0
# GPU推理
./infer_arcface_demo ms1mv3_arcface_r100.onnx face_0.jpg face_1.jpg face_2.jpg 1
# GPU上TensorRT推理
./infer_arcface_demo ms1mv3_arcface_r100.onnx face_0.jpg face_1.jpg face_2.jpg 2

运行完成可视化结果如下图所示

以上命令只适用于Linux或MacOS, Windows下SDK的使用方式请参考:

InsightFace C++接口

ArcFace类

fastdeploy::vision::faceid::ArcFace(
        const string& model_file,
        const string& params_file = "",
        const RuntimeOption& runtime_option = RuntimeOption(),
        const ModelFormat& model_format = ModelFormat::ONNX)

ArcFace模型加载和初始化其中model_file为导出的ONNX模型格式。

CosFace类

fastdeploy::vision::faceid::CosFace(
        const string& model_file,
        const string& params_file = "",
        const RuntimeOption& runtime_option = RuntimeOption(),
        const ModelFormat& model_format = ModelFormat::ONNX)

CosFace模型加载和初始化其中model_file为导出的ONNX模型格式。

PartialFC类

fastdeploy::vision::faceid::PartialFC(
        const string& model_file,
        const string& params_file = "",
        const RuntimeOption& runtime_option = RuntimeOption(),
        const ModelFormat& model_format = ModelFormat::ONNX)

PartialFC模型加载和初始化其中model_file为导出的ONNX模型格式。

VPL类

fastdeploy::vision::faceid::VPL(
        const string& model_file,
        const string& params_file = "",
        const RuntimeOption& runtime_option = RuntimeOption(),
        const ModelFormat& model_format = ModelFormat::ONNX)

VPL模型加载和初始化其中model_file为导出的ONNX模型格式。 参数

  • model_file(str): 模型文件路径
  • params_file(str): 参数文件路径当模型格式为ONNX时此参数传入空字符串即可
  • runtime_option(RuntimeOption): 后端推理配置默认为None即采用默认配置
  • model_format(ModelFormat): 模型格式默认为ONNX格式

Predict函数

ArcFace::Predict(const cv::Mat& im, FaceRecognitionResult* result)

模型预测接口,输入图像直接输出检测结果。

参数

  • im: 输入图像注意需为HWCBGR格式
  • result: 检测结果,包括检测框,各个框的置信度, FaceRecognitionResult说明参考视觉模型预测结果

修改预处理以及后处理的参数

预处理和后处理的参数的需要通过修改InsightFaceRecognitionPostprocessorInsightFaceRecognitionPreprocessor的成员变量来进行修改。

InsightFaceRecognitionPreprocessor成员变量(预处理参数)

  • size(vector<int>): 通过此参数修改预处理过程中resize的大小包含两个整型元素表示[width, height], 默认值为[112, 112], 通过InsightFaceRecognitionPreprocessor::SetSize(std::vector& size)来进行修改
  • alpha(vector<float>): 预处理归一化的alpha值计算公式为x'=x*alpha+betaalpha默认为[1. / 127.5, 1.f / 127.5, 1. / 127.5], 通过InsightFaceRecognitionPreprocessor::SetAlpha(std::vector& alpha)来进行修改
  • beta(vector<float>): 预处理归一化的beta值计算公式为x'=x*alpha+betabeta默认为[-1.f, -1.f, -1.f], 通过InsightFaceRecognitionPreprocessor::SetBeta(std::vector& beta)来进行修改

InsightFaceRecognitionPostprocessor成员变量(后处理参数)

  • l2_normalize(bool): 输出人脸向量之前是否执行l2归一化默认false, InsightFaceRecognitionPostprocessor::SetL2Normalize(bool& l2_normalize)来进行修改