位置:科技大田大数据产业专题>>资讯>>市场>>内容阅读
浅谈科技大发展时代科技竞赛中的泥沼计分法和最闪耀战队

  当前科技大发展时代,以云计算、物联网、大数据、人工智能、区块链、5G、量子科技为代表的新兴技术在全球范围内发展如火如荼,在数字经济蓬勃发展的今天引发学术界、产业界和投资界的高度关注。尤其在上述科技发展一日千里的今天,产业界各机构求贤若渴,迫切在全市场选拔相关领域的顶级人才以参与科研攻关、产品研发、团队管理,在谋求更大的市场占有率和更强的国际影响力的同时,致力于成为新时代规则制定的参与者、引领者甚至是制定者。在此历史背景下,国内外涌现出大量科技竞赛,如ACM KDD Cup、IEEE BigData Cup、Kaggle、CCF BDCI大赛、数博会人工智能全球大赛、全国旅游大数据挑战赛、司法人工智能挑战赛等。比赛主办方和出题方希望以此为契机,一来提升品牌影响力,形成良好口碑;二来将技术与市场的困境作为命题,集结大量专业的力量集思广益,实现对技术及应用难点进行突破;同时,通过竞赛选拔出优秀队伍和优质产品,可以形成一股强大的科研实力和市场转化力,进一步推动数字经济发展。本文对国内外近年来涌现出的科技竞赛类型和赛制进行总结梳理,着重针对被命名为“泥沼计分法”的比赛计分规则予以介绍,并由此引出对“神勇”和“奇迹”比赛团队的发掘与识别,以及对竞赛精神的探讨。

  一、国内外科技竞赛的类型和赛制

  纵观国内外,当前科技竞赛可以大体分为两大类:一是“方案创新赛”(或理解为开放赛题),该类比赛往往源于市场或商业机构某类真实业务场景问题,相关问题并未形成业界一致共识的解决方案,通常出题方也只能将问题描述清楚,甚至不能提供相应的业务数据以支持方案研究;参赛团队的解决方案不拘泥于某种技路线或指定的数据源;赛题主要考察参赛团队对业务的洞察和理解能力以及对各类新兴技术的综合运用能力,除考量方案的技术先进性外,还同时考量方案的行业洞察度、创新性、可实施推广性以及对方案的展示技巧,最终以咨询类成果形势呈现。二是“非开放方案”赛,往往采用模型算法赛题形式,适用的技术领域涵盖数据挖掘、机器学习、深度学习、计算机视觉、自然语言处理、语音合成与识别、密码学等相关计算机领域;以AI大数据类赛题为例,出题方通常从自身技术应用角度出发,提出一道当前正在攻坚的建模问题,相关问题和业务数据都比较清晰,业务数据经脱敏后向比赛参与方开放,并可以提供一个基线(Baseline)建模方案进行参考对比;赛题主要考察参赛团队的算法创新、模型优化等能力,评分标准以算法建模的效能或性能来排名(至少优于Baseline方案),最终以工程类成果形势呈现。

  科技竞赛的主要赛制有三类:一是给定一段时间,在此期间内参赛团队通过线上方式对问题方案进行优化,以获取实时得分和名次,在截止时间所得分数和名次即为最终结果;此类赛制较多适用于主办方为境外机构的模型算法赛,由于地缘限制而不涉及线下答辩/决赛环节。二是先进行初赛获取入围资格,而后入围团队再进行线下决赛,最终成绩取决于决赛成绩;此类赛制较多适用于方案创新赛。三是按照步骤进行初赛、决赛,最终结果由初赛和决赛的得分按照一定比例累计所得,此类赛制主要运用于主办方为国内机构的模型算法赛,在承认初赛结果的基础上兼顾对线下决赛竞争性的考量。

  基于以上背景,可以明显看到“模型算法赛”和“方案创新赛”两种比赛在赛制上的区别:模型算法赛通常更看重线上阶段的成绩,因为比赛主要通过建立算法模型在测试数据上获取效能或性能得分,线下决赛时主要针对参赛团队所提出的建模方法(含特征提取方法)作出合理解释并展现对业务洞察和理解,为此更看重线上阶段成绩的计分形式有一定合理性。而方案创新赛则恰恰相反,通常不将初赛成绩放在重要位置,初赛的作用主要是决赛的入围资格,且往往在进行决赛的前一刻,方案仍在不断迭代优化更新,决赛现场所演示的方案很可能比初赛方案有大幅提升和优化改良,为此采取以决赛成绩为主的计分方式则更有利于激发各参赛团队拼尽全力、施展最佳创造力,更加符合竞赛精神。

  二、“泥沼计分法”:是愿赌服输还是奋力一搏?

  面向带有决赛“嘉年华”盛会的模型算法类大赛,“泥沼计分法”的提出其主要目的就是要杜绝在线下决赛答辩环节中过于轻易地否决线上阶段的算法建模成绩和名次。在这种情形下,仅将初赛成绩权重提高到70%可能还不足够,因为各参赛团队的初赛成绩是模型实际效能或性能得分,很可能差别仅为小数位,为此需对各团队初赛原始成绩按照初赛成绩排名进行改动,即按照第一名得 65-70分、第二名得60-65分、第三名得55-60分、第四名得50-55 分、第五名得45-50分,将入围决赛的五支团队划入梯度分档(即“装入格子中”)。此外,对于决赛30%部分则不要求划入梯度分档,而是按照专家评委给出的实际分值来计算。在“泥沼计分法”下,参加决赛的团队想逆袭初赛成绩几乎是难于登天,这是为了尊重线上初赛时选手们倾尽全力所拼搏出的成绩;然而对于那些钻营数据漏洞、投机取巧而排名靠前的参赛团队,以及那些确实深度洞察和理解业务提出体系化解决方案却仅在初赛分值上以小数位落后的参赛团队,逆袭的情况还是有机会发生的。在竞赛中采用“泥沼计分法”需格外谨慎,因为会导致初赛中略有落后的参赛团队在更高规格的决赛现场通过更加专业的评审进行逆袭翻盘的难度倍增,如同“深陷泥沼、插翅难飞”,除非实力远远超越其他队伍,形成碾压之势,否则无力冲破初赛结果的禁锢,同时也可能造成参赛团队和现场评委、嘉宾在感知与认知上产生心理逆差。因此,为从精神层面慰藉明知胜算极低但仍愿在决赛中顽强拼搏的团队,竞赛组委会往往会设一等奖1名、二等奖2名、三等奖2名,即对入围决赛的五支队伍均给予名次/精神奖励。

  关于采用“泥沼计分法”会造成决赛逆袭的难度到底有多大,我们通过统计学理论及实证方法论证如下:

  合理假设1:决赛过程中评委专家对每个参赛团队的评分应处于一个合理的区间之内,不会出现1分、0分等极端分值,并且不同的团队评分通常也不会相差过大;

  合理假设2:评委专家的评分服从一个正态分布;

  合理假设3:为了较好地突出“泥沼计分法”对初赛结果的保护程度,设在初赛阶段“队伍5”取得所在评级段的中间分值48分,而其他团队取得他们所在评级段的最低分值,如下表所示。

  

  在上述合理假设下,我们获取了前段时间的一场区块链比赛“队伍5”的得分数据 —— “队伍5”在比赛中的最终总得分为75分(即7名评委在假设初赛48分的基础上分别给出的总分再求平均值),由此可以倒推出“队伍5”在决赛阶段得到评委评分的均值为27分(实际标准差为2.03)。考虑到“队伍5”在决赛阶段表现出色,得到了较高的评委评分,因此放宽条件,认为评委现场的实际平均评分是低于27分的 —— 假设评委专家的评分S服从正态分布,即均值为18、标准差为2.03的正态分布,即

  

  在这种情况下,“队伍5”可以从第五名逆袭到第四名的概率为16.29%,而能够逆袭到第三名的概率仅为0.2%,逆袭到第二名或第一名的可能性几乎为0。

  区块链比赛现场情况实证了以上推论,在该区块链比赛的三道赛题共 15 支决赛参赛团队中,仅有2支团队实现了逆袭,即一支从赛题第五名逆袭到了第四名,而另一支从赛题第二名逆袭到了第一名,即在3道赛题的“5→4”、“4→3”、“3→2”、“2→1”共12种情况下发生了 2 次,其发生概率为2/12 = 16.67%,这与之前计算出的16.29%非常接近;而如果在现场发生决赛名次提升两名及以上的情况,则说明0.2%的奇迹发生了。试问当我们处于这样胜算极低的环境中,我们是应该消极应战、愿赌服输,还是应该奋力一搏、弘扬竞赛精神?

  三、“神勇战队”与“奇迹战队”:什么样的战队值得掌声?

  当遭遇“泥沼计分法”时,初赛名次落后的团队往往在决赛中“深陷泥沼、插翅难飞”,而在实际比赛中仍能够可喜地看到,即使在极为不利的情况下,仍有少数团队可以实现1名的逆袭翻盘。我们将初赛成绩占比70%的约束条件稍微放宽至50%(如下表所示),并假设专家评委的评分S服从正态分布,即均值为30、标准差按比例放大为3.38的正态分布,即

  

  在这种约束被放宽的情况下,逆袭1名的概率并没有提升很多,为27%;而逆袭2名的概率为1.6%。在此情景下,若能逆袭2名及以上已经可以堪称“奇迹”了。正如统计推断概率所示,在“泥沼计分法”的低胜率下实现逆袭(即决赛名次较初赛名次有所提升),则表明相关战队在决赛现场表现“神勇”,且得到了评委们的一致认可;这样的战队足以被称为“神勇战队”,且其提出的比赛方案应被认定为“神勇方案”。更进一步来看,在“泥沼计分法”环境下,若能在决赛阶段实现1%左右或更低的胜率(无论是否实现了逆袭);这样的战队应被认同为“奇迹战队”,其所创造的比赛方案即为“奇迹方案”;他们闪耀夺目,应该赢得掌声!

  实际上,以上述区块链比赛中的“队伍5”为例,其最终得分为75.12分,实现了从第五名向第四名的逆袭。在此,可以简单以五支队伍在初赛阶段都取各梯度分档的中间数(即68分、63分、58分、53分、48分),并简单以初赛排名前四的队伍在决赛中的表现为均值70分(即实现了决赛30分比重中的21分),以此通过上述统计学计算框架得到“队伍5”在决赛中实现了0.2%的胜率,即出现了“神勇战队”+“奇迹战队”!

  四、对竞赛精神的思考:什么样的战队赢得尊敬?

  无论任何原因,当比赛组织方选择采用“泥沼计分法”时,仍有参赛团队在明知初赛排名以落后名次跻身决赛,没有胜算的情况下,依旧充满激情、积极应战,并在决赛中勇于挑战自我极限,表现优异,在逆境中实现超越,甚至可能造成各参赛团队和现场评委、嘉宾在感知与认知上发生心理逆差,则足以表明该战队尊重比赛的价值,享受比赛的快乐,其所演绎的“竞赛精神”是值得尊敬的,如钻石一般闪耀!

  (作者:王彦博 丁明 陈生 张凌云 关宇航 李博 杨璇 徐奇 宫雅菲 王玄珂 乔新惠)

责任编辑:张薇

免责声明:本网站部 分文章和信息来源于互联网,本网转载出于传递更多信息和学习之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请立即联系管理 员,我们会予以更改或删除相关文章,保证您的权利。对使用本网站信息和服务所引起的后果,本网站不作任何承诺。
Copyright 版权所有 Copyright 2013-2014 福建省云创集成科技服务有限公司
All Rights Reserved. 运营维护:三明市明网网络信息技术有限公司 业务咨询:0598-8233595 0598-5831286 技术咨询:0598-8915168