Files
FastDeploy/docs/api_docs/python/vision_results_cn.md
huangjianhui b565c15bf7 [Model] Add tinypose single && pipeline model (#177)
* Add tinypose model

* Add PPTinypose python API

* Fix picodet preprocess bug && Add Tinypose examples

* Update tinypose example code

* Update ppseg preprocess if condition

* Update ppseg backend support type

* Update permute.h

* Update README.md

* Update code with comments

* Move files dir

* Delete premute.cc

* Add single model pptinypose

* Delete pptinypose old code in ppdet

* Code format

* Add ppdet + pptinypose pipeline model

* Fix bug for posedetpipeline

* Change Frontend to ModelFormat

* Change Frontend to ModelFormat in __init__.py

* Add python posedetpipeline/

* Update pptinypose example dir name

* Update README.md

* Update README.md

* Update README.md

* Update README.md

* Create keypointdetection_result.md

* Create README.md

* Create README.md

* Create README.md

* Update README.md

* Update README.md

* Create README.md

* Fix det_keypoint_unite_infer.py bug

* Create README.md

* Update PP-Tinypose by comment

* Update by comment

* Add pipeline directory

* Add pptinypose dir

* Update pptinypose to align accuracy

* Addd warpAffine processor

* Update GetCpuMat to  GetOpenCVMat

* Add comment for pptinypose && pipline

* Update docs/main_page.md

* Add README.md for pptinypose

* Add README for det_keypoint_unite

* Remove ENABLE_PIPELINE option

* Remove ENABLE_PIPELINE option

* Change pptinypose default backend

* PP-TinyPose Pipeline support multi PP-Detection models

* Update pp-tinypose comment

* Update by comments

* Add single test example

Co-authored-by: Jason <jiangjiajun@baidu.com>
2022-10-21 09:28:23 +08:00

6.4 KiB
Raw Blame History

视觉模型预测结果说明

ClassifyResult

ClassifyResult代码定义在fastdeploy/vision/common/result.h中,用于表明图像的分类结果和置信度.

API:fastdeploy.vision.ClassifyResult, 该结果返回:

  • label_ids(list of int): 成员变量,表示单张图片的分类结果,其个数根据在使用分类模型时传入的topk决定,例如可以返回top5的分类结果.
  • scores(list of float): 成员变量,表示单张图片在相应分类结果上的置信度,其个数根据在使用分类模型时传入的topk决定,例如可以返回top5的分类置信度.

SegmentationResult

SegmentationResult代码定义在fastdeploy/vision/ttommon/result.h中,用于表明图像中每个像素预测出来的分割类别和分割类别的概率值.

API:fastdeploy.vision.SegmentationResult, 该结果返回:

  • label_map(list of int): 成员变量,表示单张图片每个像素点的分割类别.
  • score_map(list of float): 成员变量与label_map一一对应的所预测的分割类别概率值(当导出模型时指定--output_op argmax)或者经过softmax归一化化后的概率值(当导出模型时指定--output_op softmax或者导出模型时指定--output_op none同时模型初始化的时候设置模型类成员属性apply_softmax=true).
  • shape(list of int): 成员变量,表示输出图片的尺寸,为H*W.

DetectionResult

DetectionResult代码定义在fastdeploy/vision/common/result.h中,用于表明图像检测出来的目标框、目标类别和目标置信度.

API:fastdeploy.vision.DetectionResult , 该结果返回:

  • boxes(list of list(float)): 成员变量,表示单张图片检测出来的所有目标框坐标. boxes是一个list其每个元素为一个长度为4的list 表示为一个框每个框以4个float数值依次表示xmin, ymin, xmax, ymax 即左上角和右下角坐标.
  • scores(list of float): 成员变量,表示单张图片检测出来的所有目标置信度.
  • label_ids(list of int): 成员变量,表示单张图片检测出来的所有目标类别.
  • masks: 成员变量表示单张图片检测出来的所有实例mask其元素个数及shape大小与boxes一致.
  • contain_masks: 成员变量表示检测结果中是否包含实例mask实例分割模型的结果此项一般为True.

fastdeploy.vision.Mask , 该结果返回:

  • data: 成员变量表示检测到的一个mask.
  • shape: 成员变量表示mask的尺寸H*W.

FaceDetectionResult

FaceDetectionResult 代码定义在fastdeploy/vision/common/result.h用于表明人脸检测出来的目标框、人脸landmarks目标置信度和每张人脸的landmark数量.

API:fastdeploy.vision.FaceDetectionResult , 该结果返回:

  • boxes(list of list(float)): 成员变量表示单张图片检测出来的所有目标框坐标。boxes是一个list其每个元素为一个长度为4的list 表示为一个框每个框以4个float数值依次表示xmin, ymin, xmax, ymax 即左上角和右下角坐标.
  • scores(list of float): 成员变量,表示单张图片检测出来的所有目标置信度.
  • landmarks(list of list(float)): 成员变量,表示单张图片检测出来的所有人脸的关键点.
  • landmarks_per_face(int): 成员变量,表示每个人脸框中的关键点的数量.

KeyPointDetectionResult

KeyPointDetectionResult 代码定义在fastdeploy/vision/common/result.h中,用于表明图像中目标行为的各个关键点坐标和置信度。

API:fastdeploy.vision.KeyPointDetectionResult , 该结果返回:

  • keypoints(list of list(float)): 成员变量,表示识别到的目标行为的关键点坐标。keypoints.size()= N * J * 2
    • N:图片中的目标数量
    • Jnum_joints一个目标的关键点数量
    • 3:坐标信息[x, y]
  • scores(list of float): 成员变量,表示识别到的目标行为的关键点坐标的置信度。scores.size()= N * J
    • N:图片中的目标数量
    • J:num_joints一个目标的关键点数量
  • num_joints(int): 成员变量,表示一个目标的关键点数量

FaceRecognitionResult

FaceRecognitionResult 代码定义在fastdeploy/vision/common/result.h用于表明人脸识别模型对图像特征的embedding.

API:fastdeploy.vision.FaceRecognitionResult, 该结果返回:

  • embedding(list of float): 成员变量表示人脸识别模型最终提取的特征embedding可以用来计算人脸之间的特征相似度.

MattingResult

MattingResult 代码定义在fastdeploy/vision/common/result.h用于表明模型预测的alpha透明度的值预测的前景等.

API:fastdeploy.vision.MattingResult, 该结果返回:

  • alpha(list of float): 是一维向量为预测的alpha透明度的值值域为[0.,1.],长度为H*WH,W为输入图像的高和宽.
  • foreground(list of float): 是一维向量,为预测的前景,值域为[0.,255.],长度为H*W*CH,W为输入图像的高和宽C一般为3foreground不是一定有的,只有模型本身预测了前景,这个属性才会有效.
  • contain_foreground(bool): 表示预测的结果是否包含前景.
  • shape(list of int): 表示输出结果的shapecontain_foregroundfalseshape只包含(H,W),当contain_foregroundtrueshape包含(H,W,C), C一般为3.

OCRResult

OCRResult代码定义在fastdeploy/vision/common/result.h中,用于表明图像检测和识别出来的文本框,文本框方向分类,以及文本框内的文本内容.

API:fastdeploy.vision.OCRResult, 该结果返回:

  • boxes(list of list(int)): 成员变量表示单张图片检测出来的所有目标框坐标boxes.size()表示单张图内检测出的框的个数每个框以8个int数值依次表示框的4个坐标点顺序为左下右下右上左上.
  • text(list of string): 成员变量,表示多个文本框内被识别出来的文本内容,其元素个数与boxes.size()一致.
  • rec_scores(list of float): 成员变量,表示文本框内识别出来的文本的置信度,其元素个数与boxes.size()一致.
  • cls_scores(list of float): 成员变量,表示文本框的分类结果的置信度,其元素个数与boxes.size()一致.
  • cls_labels(list of int): 成员变量,表示文本框的方向分类类别,其元素个数与boxes.size()一致.