登录 注册
English
赛题描述
简介

本次零样本学习(zero-shot learning)竞赛的任务是在已知类别上训练物体识别模型,要求模型能够用于识别来自未知类别的样本。本次竞赛提供了属性用于实现从已知类别到未知类别的知识迁移。要求参赛选手提交对测试样本的标签预测值。算法性能评估采用识别正确率。除提供的数据外,不可使用任何外部数据(包括预训练的图像特征提取模型、词向量等)。竞赛数据划分为若干超类,每个超类内包含许多子类。对于每个超类,单独进行实验,不可交叉使用数据。测试阶段,对每个样本独立进行测试,不可使用 transductive setting,即测试集样本不可用于训练。本次竞赛主办方有权要求参赛者提交源代码供审查、公示。审查不通过者,取消名次。

我们提供一个大规模图像属性数据集,包含78,017张图片、230个类别、359种属性,用于本次零样本学习(zero-shot learning)竞赛。

数据说明

数据集分Test A和Test B两部分。Test A包含动物(Animals)、水果(Fruits)两个超类。Test B包含交通工具(Vehicles)、电子产品(Electronics)、发型(Hairstyles)三个超类。对于每个超类均包含训练集(80%类别)和测试集(20%类别)。训练集所有图片均标注了标签和包围框。对于部分图片(20张/类),标注了二值属性,属性值为0 或 1,表示属性"存在"或"不存在"。对于测试集中的未知类别,仅提供类别级的属性用作知识迁移。

标注示例图:

标签和包围框标注,见zsl_a_animals_train_annotations_labels_20180321.txt,文件结构如下:
018429, Label_A_03, [81, 213, 613, 616], A_bear/4464d4fe981ef356759c6cee7205f547.jpg
每张图片一行,每个字段以逗号隔开,分别表示:图片 ID, 标签 ID,外包围框坐标, 图片路径。


属性标注,见zsl_a_animals_train_annotations_attributes_20180321.txt,文件结构如下:
Label_A_03, A_bear/4464d4fe981ef356759c6cee7205f547.jpg, [ 0 0 0 0 1 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 1 0 1 0 0 0 0 0 1 1 0 0 1 1 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 0 1 1 0 1 0 0 1 1 1 1 1 1 1 1 1 0 1 0 1 0 1 1 0 0 0 1 0 1 1 0 0 1 0 0 1 1 0 0 1 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 ]
每张图片一行,每个字段以逗号隔开,分别表示:标签ID,图片路径,属性标注(359个值,顺序同zsl_a_animals_train_annotations_attribute_list_20180321.txt)。


类别级属性标注,见
zsl_a_animals_train_annotations_attributes_per_class_20180321.txt,文件结构如下:
Label_A_03, [ 0.20 0.15 0.00 0.00 0.70 0.30 0.00 0.00 0.00 0.00 0.30 0.00 1.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 1.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 0.00 1.00 1.00 1.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 0.00 1.00 1.00 0.00 1.00 0.00 0.00 1.00 0.35 1.00 1.00 1.00 1.00 1.00 1.00 1.00 0.00 1.00 0.00 1.00 0.00 1.00 1.00 0.00 0.00 0.00 1.00 0.00 1.00 1.00 0.00 0.00 1.00 0.00 0.00 1.00 1.00 0.00 0.00 1.00 0.15 0.00 0.00 0.00 0.40 0.15 0.00 0.15 0.15 0.00 0.95 0.00 0.05 0.00 0.00 0.05 0.00 ]
每个类别一行,每个字段以逗号隔开,分别表示:标签ID,属性标注(顺序同zsl_a_animals_train_annotations_attribute_list_20180321.txt)。类别级属性是将每个类别中已标注属性的20张图片的属性取均值得到的。


标签ID与真实类别中英文名称对照,见zsl_a_animals_train_annotations_label_list_20180321.txt,文件结构如下:
Label_A_03, bear, 熊
每个类别一行,每个字段以逗号隔开,分别表示:标签 ID,标签英文名,标签中文名。


属性ID与属性中英文名称对照,见zsl_a_animals_train_annotations_attribute_list_20180321.txt,文件结构如下:
Attr_A_005, color: is brown, 颜色: 是棕色的
每个属性一行,每个字段以逗号隔开,分别表示:属性 ID,属性英文名,属性中文名。

结果提交说明

本次竞赛要求选手对于每个超类,单独进行训练和测试,最后选手需将一次竞赛(例如 Test A)中所有超类的测试样本的标签预测值汇总成一个txt文件(例如 a.txt)进行提交。每行是一个预测结果,应包含图片名称与预测的类别,图片名称与预测类别之间必须用空格隔开,样本间的顺序不作要求。提交结果文件格式示例如下:

1457c71e9e83996bbf3a83b7ff27e253.jpg Label_A_11
dc3af48552cd53299a9e6cfda2232646.jpg Label_A_12
44a2297f83ce92b9d15e13f6983614a1.jpg Label_F_14
评价标准

本次竞赛的评价标准采用识别正确率。选手模型预测的标签与真实标签一致即为识别正确。设所有超类下的总测试图片数为 N,预测正确的图片数为 M,则识别正确率 :Accuracy=M/N

我们将提供基线方法和验证脚本,帮助选手在线下测试模型效果。基线方法、验证脚本、以及详细使用方法,将与数据集同时发布。

数据下载
Test A 3G
下载
sha1sum:
6d87fefd3db0df4247ef3a8f31fbbab50cfd0308
Test B 3.3G
下载
sha1sum:
077fac48e34ebdd533083501c1c001619022894f
验证脚本&基线模型
下载AI Challenger官方提供的验证脚本代码与基线模型