西湖论剑演讲实录 | 吴世忠院士：迎接人工智能的安全挑战

> 关于我们 > 安恒动态 > 2024 > 正文

fnt_36">西湖论剑演讲实录 | 吴世忠院士：迎接人工智能的安全挑战

阅读量：次 文章来源：安恒信息

编者按 ●●

2024年5月18日，以“智绘安全乘数而上”为主题的2024年第十二届西湖论剑·数字安全大会在杭州国际博览中心成功举行。中国工程院院士吴世忠在《迎接人工智能的安全挑战》的主题演讲中提出，在人工智能时代，安全问题呈现出前所未有的复杂性。它不仅涵盖传统的Security，即信息安全，还包含Safety，即系统运行的稳定性和可靠性，以及伦理安全，即技术应用必须符合道德伦理标准。这三者交织融合，形成了全新的安全图景。这是与传统安全问题的根本区别，对个人隐私保护、社会稳定、国家发展和国际合作等方面都提出了新的挑战和要求。因此，构建一个安全、坚韧、可信的人工智能发展生态，至关重要。这要求我们必须在推动技术发展的同时，充分考虑到安全保障，实现发展与安全的统筹兼顾。以下为吴世忠院士现场发言内容。

中国工程院院士吴世忠

尊敬的各位领导、专家，新老朋友们，大家上午好！

非常高兴，在初夏来到美丽的西子湖畔、钱塘江边，参加今天的西湖论剑大会，和大家一起探讨“智绘安全乘数而上”。

这是一个新题目，很难讲，但又必须讲。所以，我想分享三点浅显的看法，讲一些现实的问题。

一

人工智能是新质生产力

根据科技界的主流观点，人工智能（AI）发展大致上可以分为三个时代，即机器学习的弱人工智能时代，机器智能的强人工智能时代和机器意识的超人工智能时代。经过60多年的哺育，今天的AI正处在懵懂可爱的少年时期。深度学习大模型的应用，造就了ChatGPT的勤学好答、Sora的文生图景和GPT-4o的声情并茂。中国有句老话，叫做“三岁见大，七岁见老”。经过60多年的艰难探索，人工智能在十年内突飞猛进，在两年内爆发增长，在近半年内更是应接不暇。这种成长的加速度，在科技史上绝对空前的。这是否预示着人工智能发展到了一个关键期？是否预示着通用人工智能（AGI）会到来？让我们拭目以待。

综观人工智能的发展态势，我们能够深切地感受到创新的强大动能，感受到科技对传统经济增长和生产力发展的颠性覆影响，感受到技术进步对生产效率和生活质量的巨大贡献。所以，英伟达创始人黄仁勋说“算力就是权力”。美国更是直接将人工智能作为技术霸权的手段，对我们进行断供、卡压；不断推出的大模型一次又一次地拓展了智能的边界，让我们应接不暇；即将耗尽的人类高质量数据，又会孕育出怎样的新能力，是否可能也会像最近推出的新应用一样超出我们的想象呢？特别是日新月异的新应用正在不断地重新定义经济发展板块或政治势力的范围。从这个意义讲，由算力、模型、数据、应用共同成就的人工智能是真正的新质生产力。

作为一个致力于民族复兴的发展中大国，我国早已预见到以人工智能为主的这一轮科技革命的战略机遇。从十年前的2015年至今，国家从专业规划、技术攻关、市场培育、应用引导等方面，先后发布了20多项政策文件。我理解，国家是希望在几十年“互联网+”的基础上，激发数据要素的乘数效应，进而抓住人工智能的发展机遇，通过网、数、智统筹推进，让人工智能赋能百业千行，造福千家万户。这是中国式现代化志在必得的一个历史机遇，因为在人工智能的指数效应下，AI会影响到每个个体，每个家庭，每个团队，每个学科，乃至每个行业和每个国家。

作为一名从事网络信息安全的科技工作者，我也想到了人工智能会带来安全挑战。但是，正如邬院士所说，有很多没有想到的，没有预见到。确实，我个人没有预见到人工智能的安全焦虑来得这么快，影响这么大。这两年，从杰弗里·辛顿从谷歌辞职，到OpenAI内部“宫斗”，再到众多科学家、企业家、公众人物公开表达担忧，仅在2023年一年，对人工智能安全的深度焦虑就从技术界蔓延到商业界到社会领域乃至全球。近70多个国家在五年内出台了人工智能安全治理方面的战略对策和法律文件近百件。尽管各自的立场不同，但是各个国家都在关注人工智能的公平、向善、负责、信任、尊严、团结、发展等。

联合国框架下的多边机制和技术、商业、网络社区的多方机制，也都在大小会上研究探讨，共同推进人工智能安全与治理方面的研究，强化基础设施的安全保障，推广负责、安全、向善的人工智能应用。前两天中美之间就在进行这方面的对话。可以说，人工智能安全治理已成为大国博弈的一个协调议题，成为国际治理的当务之急。

这又验证了中国的一句老话，那就是“一利生必有一弊随”。人工智能的横空出世给人类带来了无限生机和希望的同时，也送来了细思极恐的近忧和远虑。

谷歌公司前CEO埃里克·施密特组织了一批国际社会的名人雅士，滚动归纳面向2050年人工智能可能面临的世界性难题。这是最近他们列出的最新的十大难题，并在五年内悬赏1.5亿美元，诚招天下豪杰，寻求解决之道。他们认为，这些问题不解决，人工智能发展不可能很顺利。

当前的十大问题可以归结为技术发展的安全、应用发展的安全、社会发展的安全和人类发展的安全。仔细看这十大难题，相信大家会和我有一样的感受，那就是，未来已来、时不我待。我们要抓住历史性机遇，实现高质量发展，就必须主动应对安全新挑战，统筹好发展和安全。

二

人工智能的安全新挑战

回顾互联网出现以来的网络信息安全发展历程，我不敢像邬院士一样追溯到冯诺依曼，但可上溯到三十年前。根据这三十年的发展，也可以把网络安全大致分为三个阶段，前20年左右是IT驱动阶段，从局域网、城域网到广域网，再到物联网。万物互联追求的是规模，安全的重点是边界防护，就是刚才邬院士讲的那些盒子。后10年是DT驱动时代，以大数据、云计算为特征，追求数据的流动，激发数据的价值，就是数据“要素×”的概念。安恒信息就是这个阶段成长起来的公司。这一时期安全的重点是在内容上。

而今，AI驱动开启了一个新的阶段，面对的是全新的对象。这个对象现在国际上有一个新词，叫Homo Technologicus（科技智人）。它是与社会人相似又有不同的新物种，是鲜活的硅基生物，是像人从猿变成智人一样的革命性飞跃。所以，从网络信息安全方面讲，它的风险，除了过去我们熟悉的外在风险之外，更重要的是，其所带来的我们完全未知的内在的自身风险。

导致或者推动这一轮新的发展阶段的基层技术是什么？就是以人工智能和合成生物学为主的一系列的颠覆性技术。去年，我认真读了美国两大著名的人工智能头部企业联合创始人Mustafa Suleyman撰写的《巨浪将至》。我认为它是能与《第三次浪潮》相提并论的讲述科技革命的经典。这本书指出，人类正处在一场史诗级技术革命的风口浪尖，人工智能变革将与蒸汽机、电力或数字晶体管变革相媲美，必将创造空前巨大的繁荣，同时带来前所未有的挑战。书中归纳出新一轮技术浪潮的四个特点：一是能够重塑权力并消除壁垒的不对称性；二是在广度和深度层面快速迭代的超等演化性；三是广泛赋能多技术领域的通用性；四是远超控制或预测范围的自主性。这些技术特点促成了本世纪人类面临的安全困境，也就是说，技术浪潮已经势不可挡，人类只能因势利导。

人工智能的“巨浪”已极大地改变了安全问题的内涵和外延。过去，我们习惯把网络信息安全（Security）叫做非传统安全，现在即将成为传统安全。由科技智人带来的未知的难以预测的新型安全问题已经成为现实。还有，刚才邬院士提到的人工智能技术应用涉及的伦理安全问题，会因为种族不同、文化差别、意识形态等变得更为复杂，有的甚至会挑战人类的天理或人伦。所以，人工智能时代的安全比过去更为复杂，至少是Security（既有安全），Safety（新兴安全）和Ethics（伦理安全）交织交融的新图景。这是安全问题和以往的根本区别。

在传统安全领域，AI已经系统性融入网络攻防的各个环节，赋予Security新的内涵。我们举两个例子。

一是AI助力网络防御。美国微软公司推出了一款全新的网络安全产品Security Copilot。它内置了GPT4，并且与跨越65万亿个网络安全威胁模型库相结合，给用户提供生成式、自动化网络安全人工智能服务。去年一年运行成果表明，它可以将安全事件响应、评估和防御，从过去的数小时到数天降低到分钟级，防守之快不言而喻。二是人工智能助攻网络攻击。美国重要智库Mitre，就是提出网络韧性和弹性的这家公司，发布了一张人工智能系统对抗性威胁的场景图，呈现了人工智能应用于从侦查踩点、网络渗透到维持控守、数据获取，再到秘密传递、后场处理等网络攻击全生命周期的复杂场景。威力之大，可想而知。可以说，人工智能用于安全防护或用于网络攻击这两方面，在国际社会发展迅猛。可喜的是，国内安全行业也在积极投身于人工智能安全和人工智能赋能安全方面的研究。会前，我了解到安恒信息在这方面做了大量的工作，并在这两年的重大安保活动中小试牛刀，取得了不错的成绩。

在新兴的自身安全领域，人工智能隐含了不少新的隐患。由于神经网络、深度学习的算法或机理上具有不透明性和难解释性，很多科学家担心的技术失灵、智能失常甚至出现幻觉、涌现意外的功能等都可能出现。比如，特斯拉自动驾驶出现的“坟场幽灵”；ChatGPT经常一本正经地胡说八道，永远说正确的话，永远说从众的话。因此，虽然人工智能现在反应很快，但不太聪明，甚至还有意想不到的感情表达。通过恶意提问甚至可以污染数据，引导越狱，引发恶魔模式等。所以，在短短两年内，出现了很多人工智能应用的怪象。这种硅基生命与生俱来的安全隐患，是一种全新的安全风险。我们对这方面过去了解太少，经验不足，因而威胁更大，防范更难。

伦理方面的安全风险。马克思说过，人与动物的根本区别在于会制造和使用工具。从石器时代一直到冷热兵器时代，人类面临的技术伦理由来已久。只不过人工智能时代伦理问题更加惊世骇俗，就是因为它快“活”了，所以需要从生命的角度考虑伦理问题。比如，价值观可能难以对齐人类，在数据训练中可能会学会偏见或欺骗，在处理冲突和困境的时候可能不会遵循人类的道德准则。再比如，深度伪造类的技术作恶，技术武器化用于军事，技术霸权加剧地缘政治冲突等。这些都是过去的技术手段难以达到的影响。

我读过基辛格的《论世界秩序》。书里指出人工智能的危害比核武器还会超前一大步。核武器之所以能够被控制，是因为人类如果都动用它，可能会导致“同死”。对于人工智能，希望通过治理能够达到“共生”。细细品味，这的确值得我们深思。为什么我专门强调这是一个新的安全问题？因为这些风险可以泛化，它不仅是一个伦理问题，它对个人、对种族、对国家甚至对人类都可能造成影响。所以，影响之广，不得不防，难度之大，又防不胜防。这就是难题。

所以说，人工智能的发展客观上对安全保障提出了新的要求。我不敢说是范式的改变，但至少提出了新的要求。从目前看，人工智能技术的推广应用是大势所趋，也是人心所向。但是，个人应用需要谨慎，社会推广需要安全，国家发展需要对这些技术进行防控，甚至国际治理也需要协调。刚才，赵厚麟先生特别从国际组织的角度讲到协调的重要性。我想，这应该是目前国际国内的一个共识。因此，我们认为，在智能化时代要确保个人隐私和安全，要维护社会和稳定，要支撑国家的发展和安全利益，要维护国际合作和和平，就必须要有一个安全、坚韧、可信的人工智能发展生态，也就是必须要统筹好发展和安全。

三

统筹发展与安全

大力发展人工智能是国家当前的政策导向和战略部署。以安全保发展，对我们科技界、财产界而言，既责无旁贷，又大有可为。要统筹好发展与安全，至少有四方面的工作，需要我们做实做好。

三观要正。统筹发展与安全是习近平新时代中国特色社会主义思想的一个重要内容，为我们抢抓人工智能发展机遇，应对安全治理的严峻挑战，提供了根本遵循，值得我们反复学习，深入领会。我理解，领会这个精神要牢固树立以下三个观念：一是辩证的信息安全观。总书记反复强调网络信息安全要辩证地看，安全是相对的不是绝对的，是动态的不是静态的，是整体的不是局部的，尤其强调，是为发展服务的。二是要树立总体国家安全观。总书记讲，没有网络安全就没有国家安全，没有信息化就没有现代化，并创造性提出了总体国家安全观，要求我们从系统、整体、全局的高度认识和处理安全问题，综合考虑国家安全涉及的方方面面。三是全球安全治理观。总书记创造性提出的人类命运共同体的主张，受到了世界各国的积极响应。去年，也是在他的提倡下，发布了全球人工智能治理倡议，提出了共建共管、共治共享的主张，引起了世界各国的反响。我理解，这三种观念是我们迎接人工智能挑战的强大的思想武器。

技术要硬。人工智能的安全挑战是可能出现的科技智人给我们提出的全新挑战，颠覆性技术是对抗的焦点。一方面，国家与国家之间科技竞争已经是剑拔弩张，另一方面，现代人类和即将出现的科技智人暗地里的博弈也是惊心动魄。我国在AI领域布局早、需求大，但是技术差距客观存在，安全能力也亟待改变。比如，在关键技术卡脖子方面，我们需要更加自立自强；在基础设施领域，需要实现可管可控；在技术应用方面，需要提供更多安全便捷的手段；在社会发展上，需要让人工智能变得可靠可信。科学技术是我们国家发展的支撑和底气。国家在人工智能方面的技术需求目前是最为迫切的，这给我们科技界、学术界、财产界提出了攻坚克难的奋斗方向，也提供了大展宏图的用武之地。

能力要强。为人工智能的推广应用或健康发展创造一个更加安全、坚韧、可信的发展生态，既是社会期盼，又是财产追求，更是国家的责任。要做到确保人工智能自身或人工智能服务的安全可靠，就需要我们安全行业做到与时俱进，用邬院士的话讲，要实现范式转变，不再局限于局部的安全防护或单一的技术应对，不再纠一个漏洞、一个问题，而是需要把Security、Safety、Ethics等各种问题融为一体，构建一个高度弹性或韧性的新型的安全保障体系。邬院士刚刚提了一个问题，就是怎么衡量弹性或韧性。我理解，衡量人工智能发展的安全韧性或者弹性要有三方面的指标：一是风险承受能力；二是恢复发展的能力；三是适应变革的能力。如果从这三个维度把能力提起来，对人工智能的发展应该是有益的。

伦理要顺。伦理安全是人工智能安全的新内容。伦理顺就是人工智能的发展需要顺天理、合人伦，要以人为本。以人为本，技术要求叫做对齐。当前，研究非常热络，Nature、Science杂志都越来越多发表这方面的文章。总体看，解决伦理问题不单纯是一个政治问题，更是一个社会科学的问题，同样涉及技术问题，需要技术和非技术的方法来解决。

学术界、技术界已经提出一些基本的技术方法和非技术方法，因时间关系我不一一列举。我想强调的一点就是，需要我们学术界、财产界共同努力，研究开发相关的理论、方法或技术手段，使这样的对齐更方便、更量化、更便捷、更有效。

各位领导、同志们，科技创新永无止境，人工智能正方兴未艾，安全风险如影相随，但美好的未来依然可期。我相信，人工智能一定会造福人类，而不会取代人类。但是，我也相信，会使用人工智能的人可能会取代不会使用人工智能的人。所以，我想用一句话结束我今天的分享。那就是，拥抱人工智能吧，但请注意安全。

谢谢大家。

扫码观看直播回放直击大会精彩现场

关闭

AI智能体专区

AI智能体专区

告警研判和降噪智能体

安全运营咨询服务智能体

恶意邮件研判智能体

数据分类分级智能体

API安全智能体

自动化渗透测试智能体

终端数据防泄漏智能体

恶意软件检测智能体

数据安全咨询服务智能体

核心安全产品

场景解决方案

Saas产品订阅专区

热门产品推荐

安恒数盾数据安全管控平台最热

数据库审计与风险控制系统推荐

明御防火墙最热

ClawdSecbot-“龙虾卫士”一键下载免费用

AI安服数字员工

AI安服数字员工

AI渗透测试

AI应急响应

AI安全咨询

AI代码审计

AI数字安全教师

AI+安全服务

AI+ 安全服务

一切产品皆资源，一切资源皆服务

干货内容

干货内容

热门内容

精彩推荐

热门内容

精彩推荐

热门内容

精彩推荐

热门内容

精彩推荐

热门内容

精彩推荐

热门内容

精彩推荐

热门内容

精彩推荐

fnt_36">西湖论剑演讲实录 | 吴世忠院士：迎接人工智能的安全挑战

相关推荐

告警研判和
降噪智能体

安全运营咨询
服务智能体

恶意邮件研判
智能体

数据分类
分级智能体

API安全
智能体

自动化渗透
测试智能体

终端数据防
泄漏智能体

恶意软件检
测智能体

数据安全咨询
服务智能体

AI数字
安全教师