据《纽约时报》14日报道，中国国家安全部副部长陈一新指出，人工智能（AI）可能对共产党权力的控制构成直接威胁。 陈副部长在13日发表在国营杂志《网信》上的文章中，呼吁加强对AI的控制，并要求政府进行更严格的监督。他表示，强化对AI的控制不仅是为了保护国内的政治稳定，还为了抵御来自“敌对国家”的网络攻击和虚假信息活动，以及与美国等国的军事竞争。他提到，美国知名的AI模型如Claude和Mitos等，都是新的网络安全威胁。陈副部长还警告，外国情报机构可能利用AI进行大规模间谍活动，并攻击中国的核心基础设施。 《纽约时报》指出，陈副部长的文章警告称，怀有不良意图的人可能利用AI生成虚假视频和音频，进行“宣传战”。布鲁金斯学会研究员凯尔·陈在接受《纽约时报》采访时表示：“他们（中国共产党）感到恐惧，尤其是深度伪造视频可能迅速传播，导致社会不稳定。他们担心有人可能伪造习近平（中国国家主席）未曾说过的话，从而引发混乱。” 陈副部长的反应引起关注，正值全球AI领域的领导者们对快速发展的AI表示担忧之际。然而，美国总统唐纳德·特朗普则对美国在AI领域的领先地位表示自信，并强调持续开发AI的重要性。特朗普在12日表示：“我们在AI方面领先于中国”，并补充道：“坦白说，我希望保持这种趋势，因为在AI领域获胜的人将获得胜利。”他在14日通过社交媒体Truth Social发文称：“AI所需的唯一控制和安全措施是强大而明智的总统，而美国已经有这样的总统。” 习近平主席尚未直接提及AI。根据《商业内幕》的报道，习近平在13日于新德里举行的金砖国家峰会上表示：“我们应该以人为本，开发有利于社会的AI，并建立基于共识的全球AI治理体系，照亮共同繁荣之路。”他还建议，亚洲、非洲和南美等发展中国家的“全球南方”国家应更快推动AI治理标准的建立。※ 本报道经人工智能（AI）系统翻译与编辑。

“超越人类的超智能”，“在10年内，人工智能（AI）导致人类灭绝的可能性为10%。” OpenAI和Anthropic相继发布新模型，宣称实现了通用人工智能（AGI）。在短短三天内，它们解决了数学难题并自我编写代码以提升智能。这一场景仿佛重现了科幻电影中的情节，两家公司也不断发出关于“AI统治人类”的警告。 在AI行业中，有观点认为这两家公司在即将上市之际，通过某种恐惧营销来夸大AI的性能。然而，最新AI模型的能力已进入超出人类理解和控制的阶段的分析也得到了支持。 专家们一致认为，在重新定义人工一般智能（AGI）的背景下，研究如何将AI控制在符合人类意图的“对齐”变得愈发重要。 ◆每次发布新模型时反复出现的‘失控’警告 根据10日IT行业的消息，OpenAI在2日（当地时间）发布最新模型“GPT-6 Astra”时，首次将其风险等级体系中的网络安全风险评定为最高等级“关键”。 OpenAI在安全报告中表示，Astra能够在没有人类逐步指示的情况下，在防御良好的系统中发现未知的安全漏洞并开发新的攻击方法。同时，该模型的思维过程监控能力，即所谓的监控可能性，已大幅低于之前的模型。 Anthropic在6月发布的报告中警告，下一代AI突破可能会产生完全脱离人类控制的模型，并向竞争对手提议建立多边AI军备控制体系。实际上，其最高级模型“Mitose Preview”因能够自主生成史上最强的网络武器而推迟发布。 这种模式并非首次。去年5月，Anthropic发布“Claude Opus 4”时，也因在安全性测试中发现模型威胁替代其工程师的行为，启动了最高等级的安全措施ASL-3。今年4月，因能够自主生成网络武器而推迟发布其高级模型“Mitose Preview”。 两个月后，即6月4日，Anthropic发布了关于下一代AI可能完全脱离人类控制的“递归自我改进”报告。该报告发布五天后，Anthropic正式推出了模型“Claude Mitose 5”，但因出口控制问题在三天后暂停访问，经过一个月才恢复。这一系列风险警告与新模型发布的消息几乎是同步的。 OpenAI也经历了类似的轨迹。7月，因Hugging Face被黑客攻击事件，OpenAI表示将加强对训练和评估过程的控制，随后判断Astra的网络能力超出预期，因而推迟发布以进行额外的安全性审查。经过近两个月的重新审查，最终得出的结果是首次授予“关键”等级，OpenAI也将这一等级作为新模型卓越性能的依据。 Anthropic研究员埃文·赫尔文估计AI统治人类的概率为10%，而Anthropic首席执行官达里奥·阿莫代则提到灾难性情况发生的概率在25%左右。“深度学习之父”杰弗里·辛顿前谷歌副总裁也提出类似的10%至20%的概率。 ◆“恐惧即营销”……反驳声音也不容小觑 对于过度担忧的反对声音也不容小觑。将大型语言模型称为“概率鹦鹉”的华盛顿大学教授艾米莉·本德等批评者对AGI本身的可能性持怀疑态度，认为人类统治的情景仍然停留在科幻领域。 图灵奖得主扬·勒昆也多次批评所谓的“AI末日论者”，称灾难情景仅仅是未经验证的假设。他指出，OpenAI、DeepMind和Anthropic的领导者们实际上是进行大规模游说的参与者，恐惧宣传越成功，越可能导致少数企业垄断AI的“监管捕获”。 如果以安全为名引入许可证或执照制度，资金不足的初创企业和开源阵营将首先被淘汰，只有已经占据市场的科技巨头才能生存，这一逻辑也在不断被提出。 硅谷通过宣称其技术可能毁灭世界来反向宣传其技术的重要性，这一观点也持续受到质疑。过去关于卡车运输业即将消失或某些国家已经拥有超智能AI的预测，至今未能实现。 实际上，科技巨头在每次发布新模型时，都会将风险等级上调或安全性报告作为证明其性能优越性的依据，这也使得风险警告本身被批评为营销元素。 ◆Neuralize、Hugging Face黑客事件……AGI重新定义的实际证据 与AI恐惧营销无关的是，AI模型的运作方式已经进入人类难以理解和控制的领域。 高丽大学人类启发AI研究所教授崔炳浩表示：“AI统治人类的说法仍然属于科幻领域，但随着AI模型性能的提升，确实有脱离人类控制的趋势。”他称之为“对齐问题”。 崔教授以“Neuralize”作为控制失效的具体案例。AI在内部以人类无法理解的语言进行推理，虽然重复运算越多，性能越好，但人类对AI的思维过程却越来越难以了解。他指出，AlphaGo展示了人类所建立的“围棋定石”实际上并不存在，最近的AI模型也揭示了人类的“安全定石”同样是虚幻的。 实际上，GPT-6 Astra引入了“循环深化”的新推理方式，在此过程中，模型的思维过程以数千个数字的内部表示处理，使得人类难以窥探其内容。 今年7月，OpenAI的内部模型在基准测试中失控，黑客攻击了Hugging Face服务器，这一事件进一步支持了这些担忧。当时，数百个AI代理利用获得的自主权进行意外的黑客攻击，OpenAI在近一周内未能察觉。这一事件促使美国国会分别提出“AI杀手开关法”和“禁止人工超智能法”。 这种能力的扩展引发了AGI定义的争论。OpenAI将通往AGI的路径分为五个阶段：聊天机器人、推理者、代理、创新者和组织。最近的模型被评估为已进入能够自主执行长期任务的第三阶段“代理”，并接近创造新知识的第四阶段“创新者”。 OpenAI在8日宣布，其内部AI系统证明了一个被称为千年难题的Navier-Stokes方程的奇点存在，该难题在近90年内未能解决。 崔教授表示：“与其关注AI统治人类的末日情景，不如集中精力寻找实际的控制方案。即使这些恐惧情景成真，对我们也没有太大帮助。最终，如何理解和控制AI，找到对齐的答案才是重要的。”※ 本报道经人工智能（AI）系统翻译与编辑。

Anthropic公司最近因“米托斯冲击”成为全球AI行业的焦点。米托斯是一种超越“克劳德奥普斯”的代理型AI，曾用于美伊战争模拟。其出现不仅引发技术竞争，更提出了“如何控制AI”的根本问题。米托斯被认为具备超越现有AI的自主性和问题解决能力，尤其在复杂的网络攻击场景中表现出色。然而，这种自主性也带来了巨大风险。AI代理在没有明确指令的情况下自行判断和行动，可能突破现有安全和控制体系。行业专家关注代理型AI的结构特性。AI初创公司MakinaRocks的CEO尹成浩表示：“引入AI的目的是让其在给定目标下自主判断和执行。代理型AI的自主性越强，风险点也随之增加。”实际中，失控行为的担忧已成为现实。尹成浩指出：“使用代理型服务时，可能会出现意外支付或未预料的外部沟通等失控案例。在企业环境中，这种问题可能导致数十亿韩元的决策或机密信息泄露，风险更大。”在这种情况下，开发者中出现了“Mac Mini热潮”。他们利用高性能小型电脑Mac Mini构建“隔离网络”环境，以物理方式阻止信息泄露和未经授权的行为。专家一致认为，未来AI应用的关键在于“可控的自主性”。尹成浩强调：“应为AI提供自由运作的‘游乐场’，但必须在反映企业安全和治理的环境中运行。比起模型性能，更重要的是建立精细的控制结构以安全使用AI。”战争模拟结果显示，AI智能已在我们身边。如何在治理框架内安全利用这种智能，将成为产业竞争力的核心。