MyFPGA Forum

标题: 【AI识人】你需要知道的10种行人属性 [打印本页]

作者: winter 时间: 2020-6-24 09:59
标题: 【AI识人】你需要知道的10种行人属性
本帖最后由 winter 于 2020-6-24 10:07 编辑

论文与数据参考URL

论文地址：[1703.07220] Improving Person Re-identification by Attribute and Identity Learning

数据集地址： vana77/DukeMTMC-attribute 和 vana77/Market-1501_Attribute

What

   1.论文中为两个大型行人数据集（Market-1501 和 DukMTMC-reID）标注了多种行人属性

   2.属性是基于ID-level的，也就是说每个人只标注一套attribute（如是否背包、上衣长袖还是短袖）

   3.具体的行人属性如下：

性别 gender male(1), female(2)

头发长短 hair length hairshort hair(1), long hair(2)

袖子长短 sleeve length uplong sleeve(1), short sleeve(2)

下衣长短 length of lower-body clothingdownlong lower body clothing(1), short(2)

下衣类型 type of lower-body clothingclothesdress(1), pants(2)

戴帽子 wearing hathatno(1), yes(2)carrying backpackbackpackno(1), yes(2)

背包 carrying bagbagno(1), yes(2)carrying handbaghandbagno(1), yes(2)

年龄 age ageyoung(1), teenager(2), adult(3), old(4)

8种行人上衣颜色 8 color of upper-body clothingupblack, upwhite, upred, uppurple, upyellow, upgray, upblue, upgreenno(1), yes(2)

9种行人下衣颜色 9 color of lower-body clothingdownblack, downwhite, downpink, downpurple, downyellow, downgray, downblue, downgreen,downbrownno(1), yes(2)

以下是比较直观的示例：

11.jpg (89.48 KB, 下载次数: 976)

下载附件保存到相册

2020-6-24 09:34 上传

4.当我们识别两个人是不是一个人的时候，其实不会直接得出答案，而是先看他们的属性，是不是同性，或者说他们是不是穿一样的衣服（短时间内）。这有助于我们得出最后的判断。

   5.另外，属性也可以用于格式化文本生成，以此反过来检索行人。

   6.这个数据集也可以被用在行人生成的GAN网络中。

HOW

   1.作者提出数据集的标注方法（ID level的标注）

   2.还提出一个baseline 的 attribute 和ID 同时训练的网络

3.实验部分也有有趣的结论：

属性之前也是有关联的，比如性别和是不是穿裙子（如下图可以发现，基本穿裙子100%是female，有83%是长发）

属性学习有助于行人重识别的精度

定性的实验（学到的attention更广了）

定量的实验（Market 从73.69到 84.29）

哪一个属性帮助最大呢？是不是每个attribute都有助于reid。

可以看到在Market上bag是影响最大的。而hat由于本来数据总量就比较少，加不加这个属性似乎没有显著影响。

而在DukeMTMC-reID上则是鞋子的颜色。这也是make sense的，因为我自己实验也发现attention往往会忽略鞋子（因为CNN也是会偷懒的），而attribute强调了这部分。

在Market-500k上也显示出了良好的性能（其实market做到90多以后，大家可以试试market500k这个难度真的挺大的）

论文与数据参考URL

转自：https://zhuanlan.zhihu.com/p/37931822

欢迎光临 MyFPGA Forum (http://www.myfpga.org/discuz/)