Towards Reliability Assurance of Deep Learning Systems

Abstract:Deep learning (DL) has achieved great success in many application domains. As deep learning is increasingly used in safety-critical systems including self-driving cars, medical diagnosis and malware detection, its reliability has become a big concern. For example, an attacker could add adversarial perturbations often imperceptible to human eyes to an image to cause a deep neural network (DNN) to misclassify perturbed images. In this talk, we will first outline some reliability issues in deep learning systems, and then introduce some automated testing techniques we developed to ensure the reliability of deep learning systems.

Jianjun Zhao is a professor at the Faculty of Information Science and Electrical Engineering, Kyushu University. He received his BE degree in Computer Science from Tsinghua University and PhD degree in Computer Science from Kyushu University. He had been a visiting scientist in MIT Laboratory for Computer Science from April 2002 to March 2003. His main research interest is software engineering and programming language, in particular robust deep learning systems, program analysis and verification, automatic programming, software testing, debugging, and programming environments. He has published more than 80 research papers in conferences such as ICSE, FSE, ASE, PLDI, ECOOP and ISSTA, and obtained the ACM SIGSOFT Distinguished Paper Award of ASE 2018 and the Best Paper Candidate Award of SANER 2016.

Search Based Compiler Testing and Debugging

Abstract:Compilers play an important role in software development. Since developers rely on compilers to turn the software under development into executable code, bugs in compilers may significantly impact the quality of a number of software systems. In this talk, I will present some of our research on finding and removing bugs in compilers via search-based techniques. In particular, I will present a search-based technique to obtain a set of diversified configurations of a randomized test generation tool (named CSmith) for compiler testing. Furthermore, I will also present a technique (named Marple) for localizing bugs in compilers via searching for a set of high-quality witness tests.

Lu Zhangis a professor at the School of Electronics Engineering and Computer Science, Peking University, P.R. China. He received both PhD and BSc in Computer Science from Peking University in 2000 and 1995 respectively. He was a postdoctoral researcher in Oxford Brookes University and University of Liverpool, UK. He served on the program committees of many prestigious conferences, such FSE, OOPSLA, ISSTA, and ASE. He was a program co-chair of SCAM2008 and a program co-chair of ICSME17. He has been on the editorial boards of Journal of Software Maintenance and Evolution: Research and Practice and Software Testing, Verification and Reliability. Three of his co-authored papers won the ACM SIGSOFT Distinguished Paper Awards. His current research interests include software testing and analysis, program comprehension, software maintenance and evolution, software reuse and component-based software development, and service computing.

代码自动生成与推荐的几种技术思路

摘要:开源及企业软件开发数据的不断积累以及人工智能技术的迅猛发展使得基于代码大数据的代码自动生成与推荐成为一个热门研究方向。其中，基于深度学习的代码自动生成与推荐是一个主流方向，并已经取得了一些成果。然而，软件系统内在的复杂性以及业务和技术领域的多样性等问题使得相关方法还难以在实践中大范围应用。本次报告将对代码自动生成与推荐背后的问题与挑战进行分析，并对深度学习、统计模型、模式挖掘、知识推理、搜索合成等技术思路进行了探讨。最后，报告将在回顾经典的软件复用、构件组装及软件产品线等开发方法的基础上对代码自动生成与推荐的未来发展进行展望。

彭鑫复旦大学软件学院副院长、教授、博士生导师。中国计算机学会（CCF）软件工程专委委员、上海分部执委、CCF YOCSEF上海2016-2017主席、《软件学报》编委、IEEE软件维护与演化国际会议（ICSME）执委。主要研究方向包括智能化软件开发、软件维护与演化、移动计算与云计算等，在ICSE、FSE、ASE、CSCW、ICSME、SANER、RE等软件工程及相关领域高水平国际会议及IEEE/ACM Transactions等国际期刊发表论文60余篇。研究工作获得ICSM 2011最佳论文奖、ACM SIGSOFT杰出论文奖（ASE 2018）、IEEE TCSE杰出论文奖（ICSME 2018）。2016年获得东软-NASAC青年软件创新奖。担任ICGSE 2014及ICSME 2017组委会主席、Internetware 2017及ICSR 2019程序委员会主席，以及ICSE（SEIP Track）、FSE（Tool Demo）、ASE、ICSME、SANER、RE等会议程序委员会委员。

当需求遇到搜索 （——软件需求工程中的搜索技术）

摘要:基于搜索技术已在软件工程生命周期的各个阶段获得了或深或浅的应用，软件需求分析与建模阶段也不例外。报告将概要介绍搜索技术在我们目前正在进行的软件需求分析与建模的相关项目中的应用：搜索技术如何在众多的候选中寻找最优规划实施目标驱动的软件需求自适应； 遗传算法如何将多个模型片段融合为反映群体共识的统一模型以实现基于群智的需求建模。

赵海燕 北京大学信息科学技术学院 副教授。1988年和1991年分别于北京大学计算机科学技术系获计算机软件学士学位和硕士学位，2003年于日本东京大学获信息工学博士学位。 主要从事需求工程、软件复用、程序设计语言等方面的研究。主持国家高科技发展计划(863)、国家自然科学基金、北京市自然科学基金目、企业合作、医信合作种子基金等十余个项目；作为骨干参加973计划、自然科学重点基目、国际合作等多个项目；在国内外学术期刊和会议上发表相关学术论文80余篇；获国家科学技术进步奖二等奖和高等学校科学研究优秀成果奖科技进步一等奖各1 项。

To Preserve or Not to Preserve Invalid Solutions in Search-Based Software Engineering: A Case Study in Cloud Cost Optimization

Abstract:Multi-objective evolutionary algorithms (MOEAs) have been successfully applied for software product lines (SPLs) to search for optimal or near-optimal solutions that balance multiple objectives. However, MOEAs usually produce invalid solutions that violate the constraints predefined. As invalid solutions are unbuildable in practice, we debate the preservation of invalid solutions during the search. We conduct experiments on seven real-world SPLs, including five largest SPLs hitherto reported and two SPLs with realistic values and constraints of quality attributes. In particular, this talk elaborates a real case study in cloud cost optimization. We identify three potential limitations of preserving invalid solutions. Furthermore, based on the state-of-the-art, we design five algorithm variants that adopt different evolutionary operators. By performance evaluation, we provide empirical guidance on how to preserve valid solutions. Our empirical study demonstrates that whether or not to preserve invalid solutions deserves more attention in the community, and in some cases, we have to preserve valid solutions all along the way.

郭健美  阿里巴巴集团系统软件事业部高级技术专家，研究方向为软件工程与人工智能，目前主要从事大规模数据中心的性能分析和软硬件结合的性能优化。主持国家自然科学基金面上项目、上海市自然科学基金面上项目，入选2017年上海市浦江人才计划（A类）。在ICSE、ASE、EMSE等重要会议和期刊上发表论文40余篇，获得ACM SIGSOFT“杰出论文奖”1次、国际会议“最佳论文奖”2次，担任ICSE’18 NIER、ASE’18、FSE’19等重要会议程序委员会委员。

浅谈软件仓库挖掘在软件维护中的几个简单应用

摘要:随着桌面软件和移动应用的规模和复杂度不断增长，软件维护成为了一个具有挑战性的课题。作为新兴的软件工程领域，软件仓库挖掘为高效的软件维护提供了一些新的思路和解决方案。通过利用软件仓库挖掘领域相关技术，我们提出了一系列行之有效的软件维护新方法，包括软件缺陷严重度预测、缺陷自动分派、缺陷报告增强、面向移动应用的缺陷定位等。通过对桌面软件和移动应用的真实数据进行实验，其结果显示我们的方法不仅有效而且具有较高的精确率。在未来的工作中，我们将继续探索如何利用软件仓库挖掘中的相关技术对用户评论信息、第三方网站信息（比如Stack Overflow）进行分析和信息抽取，从而更有效的解决软件维护中的诸多任务。

张涛  男，博士，副教授，哈尔滨工程大学“青年学术骨干支持计划”入选者。在东北大学自动化和软件工程专业完成本科和硕士阶段的学习后赴韩国留学，于2013年2月在韩国首尔市立大学获得计算机科学博士学位后又赴香港理工大学继续从事博士后研究。于2016年12月加入哈尔滨工程大学计算机科学与技术学院，并被直聘为副教授。一直以来从事软件工程和信息安全领域的基础科学研究，其科研成果在国际顶级或著名期刊（比如TIFS, TDSC,TSC，JSS，IST等）以及会议（比如ICSE, SANER, ICPC等）上发表，并获得韩国专利局授权的7项发明专利。作为项目负责人主持包括国家自然科学基金在内的纵向科研项目5项。 在多个国际期刊和会议中担任重要职务，其中包括IEEE Access（中科院信息系统2区期刊）的副编辑（Associate Editor），软件工程领域知名国际会议SANER 2019（CCF-B）和QRS 2019（CCF-C）的宣传主席，以及ACM SAC 2017-2019软件工程分会的主席。受邀担任国内外多个重要期刊包括IEEE Trans. on Reliability, Empirical Software Engineering (EMSE), Information and Software Technology (IST), Journal of Systems and Software (JSS)，JCST, Science China Information Sciences等的审稿人。

基于搜索的组合试

摘要:组合测试是一种系统检测软件中由参数间相互作用所引发故障的软件测试方法。经过三十多年的发展，组合测试研究在测试理论和测试方法上已取得了很多成果，组合测试实践在工业界也获得了广泛关注。基于搜索的组合测试是组合测试和搜索算法的交叉领域，其旨在使用高效的搜索算法来解决组合测试中的各种复杂问题，从而增强人们在实践中应用组合测试的能力。本报告将首先回顾基于搜索的组合测试的发展，随后介绍我们利用搜索算法解决组合测试中测试用例集生成、测试用例集约减、以及测试用例集优先级排序等问题的相关实践和探索，并讨论基于搜索的组合测试的未来可能研究方向。

吴化尧  南京大学计算机科学与技术系助理研究员。本科毕业于东南大学计算机学院，分别于2014年和2018年在南京大学计算机系获得硕士和博士学位，期间曾访问斯威本理工大学（Swinburne）和伦敦大学学院（UCL）。研究兴趣主要包括组合测试、基于搜索的软件工程和群体智能领域的方法和应用，曾在TSE、TEVC、IST等软件工程和演化计算领域的重要期刊和会议上发表多篇研究论文。

遗传配置采样

摘要:软件系统的配置多样而复杂。配置中的潜在缺陷难于发现并容易会造成系统崩溃。工业软件开发中依赖组合测试技术发现潜在的配置缺陷。本报告提出遗传配置采样技术，通过学习采样动作，进而生成备选配置序列。针对现有配置缺陷发现技术的单一结果，遗传配置采样能够产生具有多样性的系统配置，并有效发现潜在缺陷。

玄跻峰  武汉大学教授，博士生导师、智能化软件与服务研究所副所长。入选首批中国科协青年人才托举工程，入选湖北省楚天学者计划；获得中国计算机学会优秀博士论文奖（CCF优博）。主要研究领域为软件工程，包括软件测试调试、软件数据挖掘、软件系统优化等方向。于大连理工大学获得学士和博士学位，后加入法国国立计算机研究院（INRIA）工作任博士后研究员，2015年加入武汉大学计算机学院工作。在TSE、TKDE、TSMC、ICSE、FSE等软件工程领域国际权威期刊会议发表论文40余篇。担任APSEC 2018、ICSME-NIER 2018、COMPSAC 2018、VISSOFT-NIER 2017等国际会议的程序委员会成员。主持和参加国家自然科学基金等多个中国和欧盟项目。担任TSE、TOSEM、TKDE、TEVC、ICSE、FSE、ASE等权威国际期刊和会议的审稿人。

代码坏味的检测与重构

摘要:软件重构（software refactoring）是提高软件质量的一种重要手段，已经被工业界广泛使用。本报告首先简要介绍软件重构的背景、概念、流程与关键技术。之后，重点介绍代码坏味（code smells）的概念及其检测方法。从传统的基于代码度量和启发式规则的检测方法开始，分析现有检测方法的优缺点，引出本课题组的主要研究工作。最后，详细介绍我们提出的基于监控与反馈的代码坏味检测方法，以及基于深度学习的坏味检测与重构推荐方法。

刘辉  教授、博士生导师、教育部新世纪优秀人才。2008年从北京大学获得博士学位并加入北京理工大学计算机学院，2012-2013年在英国UCL进行访问研究。目前主要研究领域包括智能化软件开发环境、深度学习与人工智能、基于大数据的软件工程等。主持国家自然科学基金等国家级科研项目，入选教育部新世纪优秀人才、北京青年英才等省部级人才资助计划。在IEEE TSE、ICSE、ASE、FSE等国际一流期刊与国际会议上发表论文二十余篇，获得CCF B类期刊IET Software Premium（Best Paper）Award等学术奖励。