G.O.S.S.I.P 安全学术会议排行榜(2019版)
2020-01-10 23:12:17 Author: mp.weixin.qq.com(查看原文) 阅读量:137 收藏

在每个新年伊始的时候,回顾过去一年发生的各种大事,人们往往热衷于罗列“十大xx事件”,“xx最有影响力新闻”并进行排序。特别地,程序员们也对排行榜和名次变化争执不休并乐此不疲,例如著名的TIOBE 编程语言社区排行榜,每到新年发布的”20xx年年度编程语言“排行榜就成了程序员茶余饭后热议的话题。

在计算机安全研究领域,也存在同样的问题——每年大量相关的安全学术会议在世界各地召开,吸引了千千万万研究人员投稿和参会,但是到底什么样的会议质量更好,什么样的会议更值得你去提交最佳研究成果,各类意见往往莫衷一是。作为国内的安全研究人员,有很多相关的排名可供参考:

  1. 清华大学计算机学科推荐学术会议和期刊列表(安全会议部分)

  2. 中国计算机学会(CCF)推荐国际学术会议和期刊目录(安全会议部分)

  3. 新加坡SUTD iTrust中心主任Jianying Zhou教授的安全和密码会议推荐列表

  4. 美国德州农工大学Guofei Gu教授的安全和密码会议推荐列表

  5. 南开大学汪定教授的信息安全国际学术会议讨论

  6. System Security Circus 2018--世界安全学术研究人员天梯排行榜

  7. CSRankings: Computer Science Rankings(安全会议统计仅包含了三大安全顶会CCS、Usenix Sec和IEEE S&P)

在这些榜单中,G.O.S.S.I.P推荐的是Jianying Zhou教授的安全和密码会议推荐列表,使用投稿数量、录用率和参会人数等指标,比较客观地反应了安全学术会议的名次。然而,我们发现,各家排行榜大都存在一些问题,导致安全研究人员很难去评价和选择心仪的会议进行投稿:

  • 在榜单中将密码为主的会议和计算机安全为主的会议放在一起,缺乏分类统计(例如CCF的推荐列表);

  • 对新出现的会议不够友好,例如AsiaCCS这种比较年轻的会议,在Jianying Zhou教授的排行榜上曾经都无法进入榜单,只因为缺乏超过10年以上的统计数据;

  • 不能实时反应每个会议当年的发展变化情况,榜单长期难更新,很多历史悠久的会议霸榜,而新晋的优秀学术会议则需要长期的蛰伏才能超越;

  • 无法反映出会议组织者的学术活跃程度——这也是评价一个会议质量高低的重要参考指标;

  • 根据会议的录用率来决定会议质量是一个非常主观的评估,很多优秀的学术会议为了控制录用率,拒绝了大批高质量论文,这并不是一个很好的现象。

其实,作为学术会议本身而言,排名只是一个参考,能够在国际学术界具备影响力的每个学术会议,都有值得大家学习的论文发表。但是出于人类喜爱排名的天性,我们也凑个热闹,对当前一些活跃的国际安全学术会议进行排名,我们选择了三项指标对会议进行评价:

  1. 投稿数量:我们认为一个会议能收到更多的投稿,其会议的质量应该是较高的;

  2. 程序委员会(Program Committee)规模:我们认为一个学术会议能够组织更大规模的程序委员会,每篇论文就可以有更多的学术专家审稿把关;

  3. 程序委员会学术活跃度:我们认为程序委员会的成员在System Security Circus 2018上的排名高低,决定了程序委员会学术活跃的程度,一个更为活跃的程序委员会,会给审稿质量带来更大的提升。

针对前两个指标,它们的值分别对应着该会议2019年收到的投稿数量以及同年官方网站上公布的会议程序委员会人数,第三项指标是我们试图推出的排行榜的新尝试,该指标统计了到2018年为止,程序委员会成员在四大安全会议 (ACM CCS、IEEE S&P、Usenix Sec以及NDSS) 发表论文数目(乘以系数1),加上两个具有代表性的第二梯队安全会议 (RAID和ACSAC) 论文发表数目(乘以系数0.5)的得分平均值。

接下来,我们对各单项分值进行归一化处理,本次榜单我们总共选取了G.O.S.S.I.P在长期的论文讨论中高频出现的18个安全学术会议,先计算各个指标的原始分值,然后以这18个会议中单项分值最高者作为分母,对每个指标分别进行归一化处理,得到每项指标的分数范围为0~1。最后对每个分项进行排序,得到各单项排名。

同时,我们还综合考虑了各项统计指标的影响,赋予会议投稿数量,程序委员会人数,程序委员会学术活跃程度各项分值的权重0.3,0.2和0.5,然后对每个学术会议计算总分并得到最终总排名,即G.O.S.S.I.P 2019 安全学术会排名

投稿数量排名

我们首先根据2019年的投稿数量进行了会议排名,在这第一份榜单上,ACM CCS会议高居榜首,接下来是Usenix Security和IEEE SP,果然不愧为CS Rankings认定的三大巨无霸安全学术会议;此外我们注意到比较年轻的AsiaCCS(CCF-C类会议)和Euro S&P(无CCF分类)目前已经进入到排行榜的第八名和第10名,超过了许多老牌CCF-B类安全会议。

程序委员会规模排名

我们根据程序委员会的规模进行了排名,发现ACM CCS再次雄踞第一,而关注隐私的PETS会议通过其庞大的程序委员会跻身前三,传统老牌安全会议NDSS则掉到了第八,而被大家所认可的第二梯队安全会议RAID,作为一个小而强大的安全会议吃了亏,不幸屈居末位。

程序委员会学术活跃度排名

大家可能更为关心的是程序委员会学术活跃度排名啦,我们发现在这个排名上,四大安全顶会牢牢占据了前四的位置,而AsiaCCS紧随其后,说明其程序委员会的质量颇高;RAID、Wisec、DIMVA、ICICS等CCF-B/C类会议也冲入了榜单前列。令人大跌眼镜的是老牌安全会议DSN(CCF-B类,2019年是其第49届会议)排名惨不忍睹,我们检查了这一年的DSN程序委员会名单,发现其中有很多成员在安全研究界并不活跃,因此这个排名确实说明了当年DSN的一些问题。

综合排名

当当当,在综合三项指标之后,我们终于来到了最终榜单揭晓的时刻,2019年的学术安全会议的状元、榜眼和探花分别是ACM CCS、IEEE S&P和Usenix Sec,恭喜三大顶会实至名归!2019年的年度最大惊喜应该是几乎在各家排行榜上都没有提名的Euro S&P进入到第9名;而年度最不给力表现奖,我们颁给了作为CCF-B类会议仅排行第12的DSN~

写在最后

任何一个榜单都没法完全准确地评价出当前计算机安全学术会议的具体质量,我们这一份榜单也必定存在诸多考虑不周之处,我们会在后续的工作中不断更新这份榜单,提供更多的修订,帮助大家在投稿的时候做更好的选择,也欢迎大家发邮件至 [email protected] 推荐新的会议和新的统计指标来帮助我们完善下一年的排行榜。最后,祝大家在2020年能够在各大学术安全会议上发表更多好论文

【对学术会议的数据统计和排名,由G.O.S.S.I.P成员samaritan完成】

原文地址:https://feysh.com/ranking/

安全学术圈招募队友-ing,有兴趣加入学术圈的请联系secdr#qq.com


文章来源: http://mp.weixin.qq.com/s?__biz=MzU5MTM5MTQ2MA==&mid=2247484738&idx=1&sn=2dce35552654097c751c7b59ca9b22a9&chksm=fe2efac9c95973dfb047882ebc6bcb7a03b5c4c471aee52bcaa41f8e3f4a8b2fd15cf3ecf899#rd
如有侵权请联系:admin#unsafe.sh