赛题简介

机器阅读理解涉及信息检索、文本匹配、语言理解、语义推理等不同层次的技术,对于复杂问题的处理甚至需要结合世界知识与常识知识,极具挑战。为了进一步推动机器阅读理解领域的技术发展,为研究者提供学术交流和模型评测的基准,本次竞赛将重点针对阅读理解中较为复杂的,需要利用整篇文章中多个句子的信息进行综合才能得到正确答案的观点型问题开展评测。本次竞赛将利用准确率进行评分,作为主要评价指标。组委会将通过客观指标,并结合答辩表现,综合评估参赛者的算法模型。


参赛对象

大赛面向全社会开放,年满13周岁的个人、高等院校、科研单位、企业、创客团队等人员均可报名参赛。创新工场、搜狗、美团点评、美图公司现任全职及兼职员工,数据集建立及维护过程中能接触到数据的人员不得参赛。


报名方式
*以下文字中使用的日期及时间,除特意声明外,均为北京时间。

1) 报名时间:即日起至11月4日。竞赛报名以及组队队员变更截止时间为11月4日23:59:59。

2) 参赛队伍可1-3人组队参赛,确保报名信息准确有效。每名选手在大赛平台只能拥有一个账号,否则会被取消参赛资格及激励。

3) 实名认证:为保证大赛公平性,所有选手必须完成个人信息实名认证。认证过程在个人中心的实名认证区域完成。

4) 报名方式:登入AI Challenger官网,完成个人信息注册,即可报名参赛。

5) 参赛队员必须遵守并签署《竞赛选手报名协议》。


实名认证

为保证大赛公平性,所有选手必须完成个人信息实名认证。认证过程在个人中心的实名认证区域完成。


组队规则

1)参赛队伍可1-3人组队参赛,竞赛报名以及组队队员变更截止时间为11月4日23:59:59。

2)在11月4日前,参赛选手可自行选择退出原队伍或加入新队伍,但队员原先成绩不带入新加入队伍,以新加入队伍的成绩为准。

3)每支队伍的当周剩余提交次数,都以队伍中最少剩余提交次数的队员计算。队伍里的每提交一次,队伍里所有队员的剩余提交次数都会减一。


赛程安排

阶段一:模型训练与双周赛  2018年8月29日-2018年11月4日

1) 平台会在8月29日10:00开放训练数据集、验证数据集、测试集A,参赛选手可以自行下载数据,在本地进行算法设计、模型训练及评估。

2) 参赛选手可自行下载数据,在本地使用先前训练的模型进行预测,生成预测结果并提交至平台。结果提交后,系统会按照评测指标实时反馈分数,并更新榜单排名。

3) 每队每周在本赛道最多可提交3次。榜单以所有参赛队伍的历史最优成绩进行排名。当有团队提交新的预测结果之后,榜单将实时更新客观指标。

双周赛:从9月24日至11月4日期间,组委会将举办3次双周赛。分别为9月24日至10月7日,10月8日至10月21日,10月22日至11月4日。每次双周赛都将公布排名前三的队伍,颁发奖金及证书。双周赛的排名将以10月7日、10月21日、11月4日23:59:59之前提交的结果中,各队伍最好成绩排名为准。

阶段二:模型决赛  2018年11月6日-2018年11月13日

11月6日10:00:00,阶段一双周赛最终榜单前100名的队伍,将会收到模型决赛阶段虚拟机的使用方法并开始此阶段比赛,结束时间为11月13日22:00:00。每支队伍需要按照虚拟机配制方法配置并上传代码进行运算。最终成绩榜单将采用选手提交的模型使用测试数据集B上的预测结果表现,作为排名依据。11月6日至11月12日期间,选手有5次提交机会,成绩榜单将停止实时更新,选手的预测成绩将在提交截止之后统一计算。成绩榜单将于打分完成后发布,取5次提交结果中最好的一次作为最终客观部分成绩。

阶段三:答辩 2018年12月18日-2018年12月19日

1) 12月18-19日,平台中最后一次榜单成绩排名前五,且配合提交代码(包括且不限于训练代码、预测代码及相关说明等)并经验证有效的队伍,将受邀来到中国北京进行现场答辩(特殊情况可以远程答辩),受邀答辩的队伍将在11月27日前收到答辩通知。

2) 参赛队伍应提前准备答辩材料,包括且不限于PPT简报文档、算法代码等。

3) 模型决赛的预测结果得分和答辩成绩的加权总成绩将决出大赛最终的大奖。

注:大赛主办方可以根据实际时间安排,对赛程进行更新。


评分规则

本次大赛将以最终模型预测榜单排名结合答辩表现,加权计算总成绩,决出最终的大奖。

竞赛的模型预测部分将分为两个阶段。在第二阶段开始之前,榜单将采用选手第一阶段的预测结果,作为排名依据。

第二阶段开始后,榜单将采用选手第二阶段的预测结果,作为排名依据。最终的榜单成绩排名以11月12日22:00:00之前提交结果的排名为准。


奖项设置

*以下提及金额为税前金额,详细规则请参考《竞赛选手报名协议》

总决赛
冠军:400,000人民币,颁发获奖证书;辅导教师奖10,000人民币
亚军:40,000人民币,颁发获奖证书;辅导教师奖2,000人民币
季军:20,000人民币,颁发获奖证书;辅导教师奖2,000人民币
优秀奖(第4、5名):5,000人民币,颁发获奖证书;辅导教师奖2,000人民币

双周赛
冠军:5,000人民币
亚军:3,000人民币
季军:2,000人民币


团队信息
修改
注:可将此密令发给好友(注意大小写),邀请ta加入你的团队。每支队伍最多3名成员。
成员邮箱加入日期
退出本队
暂无排名
榜单将于2018/11/15 12:00:00开放
暂无排名
榜单将于2018/11/15 12:00:00开放
暂无排名
榜单将于2018/11/15 12:00:00开放
暂无排名
榜单将于2018/11/15 12:00:00开放
暂无排名
榜单将于2018/11/15 12:00:00开放
暂无排名
榜单将于2018/11/15 12:00:00开放
暂无排名
榜单将于2018/11/15 12:00:00开放
暂无排名
榜单将于2018/11/15 12:00:00开放
暂无排名
榜单将于2018/11/15 12:00:00开放