ReID
在执法部门的工作中,目标的识别和定位是及其关键的一步,然而现有的监控部署下,这个关键步骤几乎是靠着人力完成的。在这个讲究数据和效率的时代,通过人工观察监控录像查找结果显然存在着很大的资源浪费以及效率的低下。另外,由于摄像头的分辨率等硬件缺陷,很难得到清晰的人身和车牌图像,因此,已经大力推广的人脸识别和车牌识别技术已不再适用此场景。由于传统人工查询的不便性以及人脸和车牌识别的无法应用,研究者思考如何发明一项更合适的技术来取代人脸和车牌识别,能在监控领域以机器代替人力分析呢?故此,重识别(Re-identification,ReID)的研究也随之展开。
大白话,在监控拍不到人脸和车牌的情况下,ReID 来替补,它可以识别人车外形特征(衣着、颜色、型号、姿态等)。
什么是ReID?
ReID,也就是 Re-identification,其定义是利用算法,在图像库中找到要搜索的目标的技术。
在现代智能安防和视频监控系统中,行人重识别(Person Re-identification)和车辆重识别(Vehicle Re-identification)技术扮演着至关重要的角色,在 Frigate 中使用 ReID 可以从抓拍帧中提取出有效的特征(车辆:车型、颜色等,人员:衣着、年龄段、体态等)以便快速检索和跟踪可疑人员和车辆,为刑事侦查、公共安全、企业内部调查等提供强有力的技术支持。
ONNX
开放神经网络交换 ONNX(Open Neural Network Exchange)是一套表示深度神经网络模型的开放格式,由微软和 Facebook 于 2017 推出,然后迅速得到了各大厂商和框架的支持。
现在很多的深度学习框架提供的功能都是类似的,但是在 API、计算图和 runtime 方面却是独立的,这就给 AI 开发者在不同平台部署不同模型带来了很多困难和挑战,ONNX 的目的在于提供一个跨框架的模型中间表达框架,用于模型转换和部署。ONNX 提供的计算图是通用的,格式也是开源的。
Frigate 中的 ReID 使用 ONNX 模型推理每张人车抓拍帧图像,以提取有效的外形特征。
ReID 设置示例:
# ReID 参数配置
reid:
# 启用或关闭行人 ReID,默认为 false
p_enabled: false
# 启用或关闭车辆 ReID,默认为 false
v_enabled: false
# 抓拍帧目标检测截图长或宽的值(较长的),默认为:60
longer_size: 60
# 抓拍帧目标检测截图长或宽的值(较短的),默认为:30
shorter_size: 30
# 行人 ReID 的最小得分
min_score_p: 0.65
# 车辆 ReID 的最小得分
min_score_v: 0.75
ONNX模型和配置文件默认存放于 /config/model_cache/onnx/
,人车 ReID 模型分别命名为:preid_c4s.onnx、vreid_c4s.onnx ,相关特征文件
preid_attr.txt、preid_color_attr.txt、vreid_attr.txt、vreid_brand_attr.txt、vreid_class_attr.txt、vreid_color_attr.txt和vreid_model_attr.txt也一并置于该目录下。
更高精度和更广泛场景覆盖的模型有赖于用户的共同努力,模型更新流程:
行人 ReID 模型
该模型同时用于智能搜人,可识别30多种行人外形特征:
- 头部:帽子、眼镜
- 上身服装颜色:白色、黑色、红色、橙色、黄色、粉色、深蓝色、蓝色、绿色、灰色、紫色
- 上身穿着特征:短袖、长袖、条纹、图案、撞色/多色、格子
- 下身穿着特征:条纹、图案、长外套、长裤、短裤、裙子、靴子
- 包裹携带特征:手提包、肩包、背包、手持物品
- 年龄特征:老年、成年、未成年
- 姿态特征:正身、侧身、背面
- 性别:男性、女性
车辆 ReID 模型
摄像机的安装高度应尽量保持与人眼相近或处于交通监控视角,以获取更准确的特征识别率。
当前模型可识别近多种车辆特征、400多种车型:
- 颜色: 金色、棕色、绿色、黄色、银色、灰色、浅蓝色、黑色、白色、蓝色、红色、粉色、橙色、紫色
- 类别:轿车、SUV、MPV、面包车、卡车、皮卡、巴士、超跑
- 品牌:比亚迪、蔚来、特斯拉、大众、本田、丰田、奥迪、日产、宝马、广汽、奔驰、长安、别克、吉利、领克、哈弗、福特、沃尔沃、奇瑞、五菱、标致、雪佛兰、马自达、保时捷、雷克萨斯、凯迪拉克、名爵、现代
- 车型:
- 小米·su7
- 仰望U9
- 秦L
- 秦Plus-EV
- 秦Plus-DM-i
- 海豚
- 腾势D9
- 宋Plus-DM-i·2021
- 宋Plus-DM-i·2023-2024
- 宋Plus-EV·2023-2024
- 宋Pro-DM-i·2023-2024
- 驱逐舰05·2022-2024
- 唐EV·2022-2024
- 唐DM-i·2021-2024
- 唐DM-p·2022-2024
- 汉DM
- 元Plus
- 元UP
- 海豹06DM-i
- 海鸥
- 汉·EV
- 海豹·2025
- 海豹07·DM-i
- 海狮07·EV
- 海狮05·DM-i
- 豹5
- D1
- 秦Pro·2018~2020
- 秦·2019
- Cybertruck
- Model-3|Model-Y
- Model-S
- 速腾·2019-2022
- 速腾·2023
- 迈腾·2012-2016
- 迈腾·2017-2019
- 迈腾·2020
- 朗逸·2015-2017
- 朗逸·2018-2022
- 朗逸·星空版·2023
- 朗逸·2023
- 途观
- 途观L·2017-2021
- 途观L·R-Line·2017~2021
- 途观L·2022-2024
- 途昂·2017~2020
- 途昂·2021~2024
- 探歌·2018-2022
- 探歌·2023-2024
- 探岳-两驱·2019-2022
- 探岳-Plus·2023-2024
- 探岳-R-Line·2019-2022
- 探岳-R-Line·2023-2024
- 途安·2011-2015
- CC·2013-2018
- 帕萨特·2011~2015
- 帕萨特·2016-2017
- 帕萨特·2019-2021
- 帕萨特·2022-2024
- 帕萨特·2021|PHEV·2019~2020
- ID.3·2021-2023
- ID.4 CROZZ
- 宝来·2019-2021
- 宝来·2016~2018
- 高尔夫·2018~2020
- 高尔夫·2021~2023
- 甲壳虫·2012~2014
- 甲壳虫·2015~2019
- 捷达VS7·2020-2021
- 逍客·2021-2022
- 逍客·2016~2017
- 蓝鸟·2016~2021
- 天籁·2019~2021
- 楼兰·2015~2022
- 骐达·2016~2020
- 奇骏·2014~2016
- 奇骏·2017~2022|经典2.0L·2023
- 轩逸·经典·2012-2016-2019·2014·2009
- 轩逸·经典XE-XV-XL·2021-2024-XE-XV-XL·2016-2019
- 轩逸·XE-XL·2020-2022
- 轩逸·超混电驱·2023
- 轩逸·CVT·2023
- 玛驰
- 纳瓦拉
- CR-V·2012~2013
- CR-V·2015~2016
- CR-V·2017~2019
- CR-V·2021
- CR-V·2023
- 艾力绅·2016
- 雅阁·2014~2015
- 雅阁·2016
- 雅阁·2018
- 雅阁·2022
- 思域·TURBO·2016~2017
- 思域·2019
- 思域·2021
- 思域·2023
- 赛那·2021-2023
- 型格·2022-2023
- 皓影·2020-2021
- 皓影·2023~2024
- 飞度
- 英仕派·2023
- 英仕派·2022
- 英仕派·2019
- 奥德赛·2019~2021
- 奥德赛·2018
- 奥德赛·2015~2017
- 奥德赛·2022~2024
- 凯美瑞·2015-2016
- 凯美瑞·2018-2019
- 凯美瑞·锋尚版·2018-2019
- 凯美瑞·2021-2023
- 亚洲龙·2019-2021
- 亚洲龙·2022-2023
- 雷凌·2014-2017
- 雷凌·2019-2022
- 锋兰达·2022
- 锋兰达·2023
- 威兰达·2022-2023
- RAV4荣放·2016-2019
- RAV4荣放·2020-2023
- 汉兰达·2012-2013
- 汉兰达·2015-2017
- 汉兰达·2018-2021
- 汉兰达·2022-2023
- YARiS-L-致炫·2016-2022
- 卡罗拉·2014-2017
- 卡罗拉·2019-2023
- 卡罗拉·1.2T·2017改-2018
- 卡罗拉锐放·2022-2023
- 威飒·2022-2023
- 普拉多·2010~2019
- 皇冠·2015~2018
- 皇冠·2012
- 坦途
- ES·2023
- A3-Sportback
- A6L·2023
- A6L·动感型·2023
- A6L·动感型·2019~2022
- A6L·2016~2018
- A4L·2013~2016
- A4L·风尚型|时尚型|进取型·2017|进取型·2018
- A4L·运动型·2017~2018|时尚型·2018|进取型·2019
- A4L·运动型|时尚型·2019
- A4L·动感版·2023-2024
- A4L·致雅型·2023-2024
- Q5·2013-2018
- Q5L·动感版·2021-2024
- Q8
- 3系·2020-2022
- 3系·2023-2024
- 3系-M·2013-2019
- 3系GT-M·2017-2020
- 3系GT·2017-2019
- 5系·豪华套装·2021-2023
- 5系·运动套装·2021-2023
- 5系·豪华套装·2024
- 5系·2018-2020
- 5系·2014~2017
- 5系-M·2024
- 5系-M·2018-2020
- X1·2016-2019
- X1·2020-2022
- X1-X·2023
- X1-M·2023
- X3-M·2022-2023
- X3-M·2018-2021
- X3·豪华套装·2018-2021
- X5-M·2019-2022
- X5-M·2017-2018
- X5-M·2023
- X5-X·2019-2021
- X5·2015-2018
- Mini
- 理想L7|L8|l9
- MEGA
- 理想·ONE
- 问界M5
- 问界M7
- 问界M9
- 小鹏P7
- 小鹏G6
- ES6
- ET5T
- ES8·2018~2022
- ES8·2023~2024
- EC6·2020~2022
- ET7
- 威霆·2016~2023
- G级·2019~2024
- G级·2016~2018
- V级·2020~2022
- V级·L豪华版·2020~2022
- C180|C200|C260|C300·2015~2018
- C180|C200|C260|C300·运动版·2015~2018
- C180L|C200L|C260L|C300L·运动版·2019-2021
- C200L|C260L·运动版·2022-2024
- C260L·2022-2024
- C260L·2019-2021
- C260·2019-2020
- E级·2021-2023
- E级·运动型·2021-2023
- E级·2016-2020
- E级·运动型·2016-2020
- E级·运动型·2024
- E级·2024
- GLC260L·动感型·2020-2022
- GLC260L·豪华型|GLC300L·2020-2022
- GLC260L·豪华型|GLC300L·2023-2024
- GLB·2020-2023
- AION-S
- AION-S-MAX
- AION-S-炫
- AION-Y
- 传祺M8·宗师·2023-2024
- 传祺M8·大师·2020-2023
- 传祺M8·领秀·2021-2023
- 传祺·GS8·2017~2019
- 传祺·GS8·领航系列·2022~2025
- 传祺·GS8·双擎系列·2022~2024
- 传祺·GS4·2018~2019
- 传祺·GS4·2020~2023
- 传祺·GS3·2023~2024
- 传祺·GS3·2021~2022
- CS75-Plus·2020-2021
- CS75-Plus·第二代·2022
- CS75-Plus·经典款·2022
- CS55PLUS·2022~2023
- CS55PLUS·蓝鲸版·2021~2022
- CS35PLUS·1.4T·2021~2024
- CS35PLUS·1.6L·2018
2022|1.4T·20192020 - 锐程PLUS·2023~2024
- 逸达·2023
- 逸动·2020-2021
- 逸动·2蓝鲸NE·2022-2023
- UNI-V·2023-2024
- UNI-K·2021~2024
- 君越·2023~2024
- 君越·2019~2022
- 君越·2016~2018
- 君越·2013~2014
- 君威·GS·2020~2023
- 君威·2017~2019
- 君威·GS·2017~2019
- 君威·2014~2015
- 君威·GS·2014~2015
- 昂科威S·2020~2023
- 昂科威Plus·2021~2023
- 昂科威·2020~2021
- 昂科威·2018~2019
- 昂科威·2014~2017
- 威朗·2022
- 威朗·2020
- 威朗·2018~2019
- 威朗·2015~2017
- 威朗·两厢·2018~2019
- GL8·2017-2018
- GL8·陆上公务舱·2023
- GL8·陆上公务舱·2020-2022
- GL8·ES陆尊·2020-2022
- GL8·艾维亚·2020-2022
- GL8·ES陆尊|艾维亚·2023
- 微蓝6·2019~2024
- 微蓝6·插电混动·2020~2022
- 探界者·2021-2023
- 科鲁兹·2023-2024
- 畅巡·2021-2022
- 迈锐宝XL·2019-2023
- 创酷·2019-2023
- CT5·2023-2024
- 福克斯·2022
- 福克斯·ST Line 2019|2020~2021
- 福克斯·2019
- 福克斯·两厢·2015~2018
- 福克斯·2015~2018
- 蒙迪欧·国V|国VI·2018~2020
- 蒙迪欧·2017~2018
- 蒙迪欧·2013
- 锐界·2021~2022
- 锐界·2020
- 锐界·2015~2018
- 领睿·2022~2023
- 探险者·2023~2024
- 烈马
- 游骑侠
- F-150猛禽·2022~2023
- F-150猛禽·2017~2019
- Taycan
- Macan·2022~2024
- Macan·Turbo·2020
- Macan·GTS·2020
- Macan·2018~2021
- Macan·GTS·2020
- Macan·GTS·2016~2017
- Cayenne·2015
- Cayenne·3.0T·2018~2023
- Cayenne·4.0T·2018~2023
- Cayenne·GTS·2020~2021
- Cayenne·3.0T·2024~2025
- S90·2016~2020
- S90·2021~2025
- S60
- C40
- XC40·2023~2025
- XC60·2022~2025
- XC60·运动版·2022~2025
- XC60·2018~2021
- XC60·运动版·2018~2021
- 哈弗M6·2017~2018
- 哈弗M6·2019
- 哈弗M6·2021~2023
- 哈弗H6·国潮版·2021~2023
- 哈弗H6·Supreme+·2021~2022|DHT-PHEV·2023
- 哈弗H6·第三代·1.5T|2.0T·2021~2024
- 坦克300
- 坦克500
- 坦克400-Hi4-T
- 猛龙
- 大狗·2024
- 欧拉·闪电猫
- 欧拉·好猫
- 领克03·2023
- 领克03·2020-2022
- 领克06·2020-2023
- 领克06·EM-P·2023
- 领克08·EM-P·2023
- 极氪·001
- 极氪·007
- 星瑞·2021
- 星瑞·2023~2025
- 星越L
- 博越L·2023~2024
- 博越·X·2022
- 博越·2023~2024
- 博越·2021
- 博越·2020
- 博越·2018
- 缤越·COOL·2022~2023
- 缤越·2023~2024
- 缤越·2021
- 豪越L·2023~2024
- 帝豪·2019~2020
- 帝豪·2022~2024
- 几何E萤火虫
- 几何M6
- ICON
- 艾瑞泽5·2016~2023
- 艾瑞泽8
- 探索06·2023~2024
- 舒享家·2023~2025
- 风云A8·风版·2024
- 风云A8·远航版·2024
- 瑞虎7·2020~2023
- 瑞虎7·2016~2019
- 瑞虎8·2019~2024
- 瑞虎9·2023~2024
- 风云·T9
- 捷途·旅行者·2023
- 捷途·X70·诸葛·2021~2023
- 捷途·X70·1.5T·2020~2022
- 捷途·X70·1.5T·2023~2024
- 宏光
- 缤果
- 宝骏510_2017
- 红旗H5
- 红旗HS5
- MG5·2021-2023
- MG7·2023
- MG4·EV
- MG·ONE
- MG·ZS
- 阿特兹·2020-2021
- 阿特兹·2017-2018
- cx-30·2020-2022
- cx-5·2022-2024
- 昂克赛拉·2020-2023
- 408·2019-2020
- 508·2019-2022
- 4008·2021-2022
- 5008·2021
- 福田·奥铃M卡
- 福田·祥菱M2
- 跃进·福星S80
- 伊兰特·2023
- 伊兰特·2022
- ix35·2021
- ix35·2023
- 自由侠
- 牧马人
- 揽胜极光·2021~2024
- 揽胜极光·2020
- 揽胜极光·2016~2018
- 揽胜·2013~2016
- 揽胜极光·2012~2015
- 揽胜运动版·2014~2017
- 揽胜运动版·2018~2022
- 保时捷718
- 保时捷911
- 阿斯顿·马丁·V8 Vantage
- 阿斯顿·马丁·Vanquish
- 宾利·欧陆
- 法拉利458
- 法拉利599
- 劳斯莱斯·古思特
- 劳斯莱斯·幻影
- 劳斯莱斯·库里南
- 玛莎拉蒂·Ghibli
- 玛莎拉蒂·总裁
- 玛莎拉蒂_GranTurismo
- 征程
- 荣光·2017~2023
- 荣光小卡
- 五菱之光·2013~2023
- 睿行·EM60|M60
- 睿行·EM80·2022~2024
- 睿行·M80
- 跨越星V5
- 跨越王X5
- 荣光新卡
- 五十铃·100P
- 五十铃·KV100|700P
- 五十铃·FVZ|FVR
- 五十铃·巨咖
- 远程·星享V
- 菱势·黄金仓
- 东风·小康·EC36
- 依维柯·得意
- 依维柯·欧胜
- 江铃·福顺
- 江淮·星锐
- 福田·图雅诺
- 江淮·瑞风M3
- 长城·炮|金刚炮|山海炮
- 长城·风骏5
- 江铃·大道
- 江铃·域虎7
- 江铃·宝典