第六届CCF开源创新大赛的ModelScope挑战赛中,复旦大学白泽智能团队以“智慧资讯精灵”智能阅读器项目夺冠。团队由三位本科生与一名研究生组成,成员们齐心协力、攻坚克难,共同实现了项目从零到一的实现。通过本文,我们将深入了解他们的参赛历程、面临的挑战及成功经验,为后续参赛者提供宝贵的参考与启发。2023年5月到10月,复旦大学系统软件与安全实验室白泽智能团队参加了第六届CCF开源创新大赛,并在开源任务挑战赛道的“ModelScope开源模型挑战赛”中获得一等奖的佳绩。今年,团队很荣幸受到CCF开源发展委员会的邀请,在第七届CCF开源创新大赛举办之际分享过往的参赛经验,并期待今年选手们更好的表现。去年ModelScope挑战赛赛题(https://www.gitlink.org.cn/competitions/index/track2_2023_modelscope)要求是,基于阿里达摩院魔搭ModelScope社区的开源大模型,使用自主智能体技术,开发一款创新而有实际价值的应用。参赛小组包括复旦白泽智能团队(https://whitzard-ai. github.io/index. html)的三位本科生(洪淳宇、陈冠旭、陈沛仪)以及一位研究生(陆逸凡),参赛作品是“智慧资讯精灵——基于LLM的智能阅读器”。团队使用自主智能体技术加持资讯阅读器,通过提示工程和上下文学习充分挖掘大模型的能力,通过外部知识库注入拓展了大模型的知识边界,并进一步结合机器学习算法,实现了包括智能问答、智能推荐在内的多个功能,希望在信息爆炸的时代为用户提供更好的阅读体验。
最初,白泽智能团队的三名本科成员在专业课堂上听到老师安利CCF开源创新大赛,产生了跃跃欲试的想法。在与张谧老师、陆逸凡学长沟通过后,结合团队在人工智能安全(包括大语言模型安全)领域的深厚技术积淀,几位“小白泽”们决定本研合作、瞄准开源任务挑战赛道的“ModelScope开源模型挑战赛”报名参赛。
ModelScope挑战赛分为热身赛、初赛和决赛,其中热身赛和初赛较为基础,只需自主查阅相关资料、动手实操便可完成;决赛则需要选手们开动脑筋,开发出一款基于大模型自主智能体技术加持的应用。在决赛的分数构成中,创新性(包括作品是否足够新颖、是否能提供实用价值)占了50%,因此一个有价值的选题尤为关键。为了确定选题,团队首先调研了AutoGPT等大模型智能体技术的相关论文,了解学术界最前沿的对于智能体技术的各种应用;接着成员们大开脑洞,结合现有的各类产品优劣与市场需求,提出了各种智能体的应用方案:基于网络热点新闻的自动视频剪辑助手,可以互动聊天的虚拟主播,自动化工作流的办公助手…… 团队成员们在充分评估各个方案的可行性与现实价值之后,最终将选题确定为基于大语言模型的智慧阅读器:在网络信息流爆炸的现代,市面上常见的基于推荐算法的新闻软件存在信息茧房的风险,且内容受制于平台;而国外一些流行的RSS(Really Simple Syndication)阅读器,但功能大多较为简陋、无法提供很好的用户体验。因此,团队计划开发一款智慧阅读器,基于大语言模型的能力实现针对推送文章的自动增强、智能问答与智能推荐。
刚开始推进该项目时,团队的主要成员还是软件工程专业的大二学生,对于大模型以及各种智能体技术都不甚了解。白泽智能团队的陆逸凡学长精心搜集整理了大模型相关的许多知识,并以PPT演讲的方式向“小白泽们”耐心讲解、帮助快速入门;陆逸凡学长还会经常分享看到的技术博客与创意应用,鼓励“小白泽们”打开思路、大胆实践。此外,张谧老师也邀请本科成员们参加团队的论文研讨会,学习从大模型结构到训练、推理、应用的各种知识。“小白泽们”通过将学习到的理论知识与实操经验结合在一起,构建起坚实的大模型基础,为后续的项目研发奠定了基础。“非常感谢实验室提供的指导和支持,通过学习入门lab我们打下了AI领域的知识基础,通过日常组会我们也得以了解到如AutoGPT、LLM Agent等LLM领域的前沿知识,使我们得以将这些最新的内容添加到我们的项目中,进一步丰富和完善项目内容。”团员成员陈冠旭说。项目推进过程中的另一个难点在于工程量非常庞大。团队计划探索在资讯阅读器上加持大语言模型的可能性,这一应用几乎没有现成的资料可借鉴,从新闻资讯的爬取、数据筛选处理,到ModelScope平台上大模型的部署和调用,到大模型外部知识库的构建、推荐算法的设计,再到用gradio搭建丰富美观的前端界面,每一步都需要成员们自己实现。暑假期间,团队成员们全身心地投入到项目的设计开发中,边学边做,边做边学。在完成这样一项庞大的项目过程中,白泽智能团队总结出了以下三个经验可以分享给后续的选手。第一,严谨敏捷的例会形式。成员们会每周进行一次讨论会,在会议中同步上一阶段的情况、制定后续计划,如果遇到什么困难则会及时跟学长沟通讨论,确保进度有条不紊地推进。在这一过程中,洪淳宇作为参赛团队的队长,起到了非常关键的组织和引导作用。“在每次讨论前,我会提前确定流程,在讨论时注意进度的把握,结束前还会制定下一阶段的学习或开发目标。”洪淳宇这样回忆道。
第二,规范详细的文字存档。成员们还很擅长对项目的进度管控以文字方式存档,并共享在Notion这款在线笔记上(例如,前一张截图是团队在共享的Notion文档中留存的会议记录)。此做法极大促进了信息的透明流通、历史回顾与团队间的无缝协同。
此外,除了实验室提供的知识分享与技术支持,团队成员们还会主动学习更多智能体相关的技术与底层原理,并将学习笔记制作为PPT与其他成员分享。这些文字资料从整体上提升了每个成员对于大模型的认知、对于项目的理解,并极大程度提升了团队的工作效率。陈沛仪分享的PPT,关于CVP范式
(ChatGPT-Vector-Prompt,即后来火热的RAG检索生成增强技术)
第三,清晰合理的协作方式。团队成员大多是软件工程专业的学生,具有比较成熟的项目管理思维和分工协作经验;此外,本科成员们还是同班同学,此前有过多次课内的项目合作经历。面对庞大的项目,成员们将开发流程一步步拆解为多个deadline,将目标应用模块化,分解为一个个高内聚、低耦合的函数接口,并进行相应的分工。成员们都非常靠谱,各司其职,遇到困难互帮互助,最终共同实现了这样一个庞大工程从零到一的实现。在提交完智慧阅读器作品后,团队一路过关斩将突破层层筛选,成功入围十月份在西北工业大学举办的总决赛。团队的每个成员在欣喜之余,也感觉到莫大的压力:总决赛将以PPT答辩的形式进行评估,因此比起实际完成的作品,现场讲述的方式更为重要。在九月底的那些深夜,成员们一遍遍地打磨着答辩PPT与讲稿,试图把作品的背景与市场价值以最流畅又最有吸引力的方式讲述给听众,把作品的功能与技术原理以最通俗又最炫目的方式呈现出来。主讲人洪淳宇一开始试讲时非常紧张、磕磕巴巴,并且许多地方的表述较为生硬。陆逸凡学长耐心地一次次听他试讲并给予修改建议,并亲身示范一些关键部分应该怎样表述;白泽智能团队的张谧老师也精细把关,给出了许多指导性的意见。为了让表达更加清晰流利、对于零知识的听众友好,洪淳宇也开始到处寻找身边的同学进行试讲。在打磨过无数次后,洪淳宇终于渐渐地流利且自信起来,甚至能代入自身的体验、绘声绘色地向听众们介绍这款作品。最终,经过近5个月的作品准备与层层打磨,白泽智能团队从共计279支参赛队伍中脱颖而出,取得总决赛第1名的成绩。在颁奖典礼上,复旦白泽智能团队荣获ModelScope任务挑战赛一等奖
“整个比赛过程不乏坎坷,但更多的是不断拓展知识边界所带来的喜悦。”陈沛仪说,“感谢陆逸凡学长一直以来对我们的帮助,感谢张谧老师在答辩阶段给我们的建议,是大家共同的努力才有了这样圆满的结果。”以赛促学,以研助赛,本次比赛也是复旦大学系统软件与安全实验室对本科生培养的又一次成功实践。目前,团队的三名本科生洪淳宇、陈冠旭、陈沛仪都已决定选择白泽智能团队进行深造。未来,“小白泽们”将在更广阔的平台上进行大模型智能体、大模型安全相关的学术研究与实践探索,构建连接理论与应用的坚实桥梁。期待在不久的将来,他们能够引领新一代人工智能技术的浪潮,为世界贡献来自“小白泽”的独特智慧与力量。CCF开源发展委员会(CCF ODC)秉承创新、开放、协作、共享的理念和价值观,聚焦打造自身开源的新型开源创新服务平台,培育孵化原始创新的开源项目,培养开源创新实践人才。依托CCF链接科教资源、产业资源和社会资源等,形成产、学、研、用联动的开源创新模式,探索由学术共同体主导的开源发展新路径,为中国计算机学会会员乃至全球开源创新实践者提供高水平服务,助力开源生态建设。
白泽智能负责人为张谧教授,该团队主要研究方向为AI系统安全,包括AI供应链安全、数据隐私与模型保护、模型测试与优化、AI赋能安全等研究方向,在网络安全与AI领域顶会顶刊发表论文数十篇,曾获网安顶会ACM CCS最佳论文提名奖。主持科技部重点研发计划课题等,并主持奇安信、阿里、华为、百度等企业项目,获CCF科学技术奖自然科学二等奖、华为优秀技术成果奖、CNVD国家最具价值漏洞等荣誉。深度参与信安标委《生成式人工智能服务安全基本要求》、《人工智能安全标准化白皮书》等多项国家/行业标准编制/建议工作。
张谧教授个人主页:https://mi-zhang-fdu.github.io/index.chn.html
白泽智能(Whizard AI):https://whitzard-ai.github.io/
还没有关注复旦白泽战队?
公众号、知乎、微博搜索:复旦白泽战队也能找到我们哦~
文章来源: https://mp.weixin.qq.com/s?__biz=MzU4NzUxOTI0OQ==&mid=2247490623&idx=1&sn=f86cf99bf673d4357d6dca057adb32a9&chksm=fdeb9841ca9c11578469405170e6b17e9c39e76acac9c14f11d164057116fe90fe93a78a4c4e&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh