【AI识人】你需要知道的10种行人属性

winter

论文与数据参考URL

论文地址：[1703.07220] Improving Person Re-identification by Attribute and Identity Learning

数据集地址： vana77/DukeMTMC-attribute 和 vana77/Market-1501_Attribute

What      

       1.论文中为两个大型行人数据集（Market-1501 和 DukMTMC-reID）标注了多种行人属性

       2.属性是基于ID-level的，也就是说每个人只标注一套attribute（如是否背包、上衣长袖还是短袖）

       3.具体的行人属性如下：

• 性别 gender male(1), female(2)
  

• 头发长短 hair length hairshort hair(1), long hair(2)
  

• 袖子长短 sleeve length uplong sleeve(1), short sleeve(2)
  

• 下衣长短 length of lower-body clothingdownlong lower body clothing(1), short(2)
  

• 下衣类型 type of lower-body clothingclothesdress(1), pants(2)
  

• 戴帽子 wearing hathatno(1), yes(2)carrying backpackbackpackno(1), yes(2)
  

• 背包 carrying bagbagno(1), yes(2)carrying handbaghandbagno(1), yes(2)
  

• 年龄 age ageyoung(1), teenager(2), adult(3), old(4)
  

• 8种行人上衣颜色 8 color of upper-body clothingupblack, upwhite, upred, uppurple, upyellow, upgray, upblue, upgreenno(1), yes(2)
  

• 9种行人下衣颜色 9 color of lower-body clothingdownblack, downwhite, downpink, downpurple, downyellow, downgray, downblue, downgreen,downbrownno(1), yes(2)
  

     以下是比较直观的示例：

      4.当我们识别两个人是不是一个人的时候，其实不会直接得出答案，而是先看他们的属性，是不是同性，或者说他们是不是穿一样的衣服（短时间内）。这有助于我们得出最后的判断。

      5.另外，属性也可以用于格式化文本生成，以此反过来检索行人。

      6.这个数据集也可以被用在行人生成的GAN网络中。

HOW

      1.作者提出数据集的标注方法（ID level的标注）

      2.还提出一个baseline 的 attribute 和ID 同时训练的网络

      3.实验部分也有有趣的结论：

• 属性之前也是有关联的，比如性别和是不是穿裙子（如下图可以发现，基本穿裙子100%是female，有83%是长发）
  

• 属性学习有助于行人重识别的精度
  

      定性的实验（学到的attention更广了）

       定量的实验（Market 从73.69到 84.29）

• 哪一个属性帮助最大呢？是不是每个attribute都有助于reid。
  

可以看到在Market上bag是影响最大的。而hat由于本来数据总量就比较少，加不加这个属性似乎没有显著影响。

而在DukeMTMC-reID上则是鞋子的颜色。这也是make sense的，因为我自己实验也发现attention往往会忽略鞋子（因为CNN也是会偷懒的），而attribute强调了这部分。

• 在Market-500k上也显示出了良好的性能（其实market做到90多以后，大家可以试试market500k这个难度真的挺大的）
  

论文与数据参考URL

转自：https://zhuanlan.zhihu.com/p/37931822