在今天的专栏中，我探讨了一个备受关注的担忧：一旦AI制造商成功将AI发展为人工通用智能（AGI）或人工超智能（ASI），就会有人来窃取这种顶尖的AI。这令人担忧，因为顶尖AI的盗窃可能被恶意分子实施，他们会将AI转化为难以想象的网络怪物。或者被盗的AI可能被希望统治世界的国家使用，他们相信顶尖AI可以帮助他们实现这种邪恶的追求。
让我们来谈谈这个问题。
这一创新性AI突破的分析是我持续的福布斯专栏报道的一部分，涵盖了AI的最新发展，包括识别和解释各种影响深远的AI复杂性问题。
迈向AGI和ASI
首先，需要一些基本概念来为这个重要讨论奠定基础。
目前有大量研究致力于进一步推进AI发展。总体目标是要么达到人工通用智能（AGI），要么甚至可能实现人工超智能（ASI）这一更远大的可能性。
AGI是被认为与人类智力相当的AI，能够看似匹配我们的智能。ASI是超越人类智力的AI，在许多甚至所有可行的方面都将优于人类。其理念是ASI能够在每个转折点上超越人类思维，从而完全超越我们。
我们尚未达到AGI。
事实上，我们是否会达到AGI是未知的，或者AGI可能在未来几十年或几个世纪内实现。流传的AGI实现日期变化很大，且没有任何可信证据或严密逻辑支撑。相比于我们目前的传统AI水平，ASI更是遥不可及。
首次实现AGI极具诱惑力
让我们将讨论重点放在AGI上。
一般假设是只有一个AGI实例会首先被设计出来。换句话说，不会有一群AGI被众多AI制造商同时制造出来。只会有一个AI制造商凭借技能和运气偶然实现AGI。一些人认为，AI制造商有义务对他们已经实现AGI保密，这样做是为了确保在宣布AGI存在之前，它完全免受盗窃和其他恶意行为的侵害。
谁会试图窃取AGI？
很简单，几乎所有倾向于窃取具有巨大价值物品的人。
竞争的AI制造商可能会试图窃取AGI。如果他们自己实现AGI的努力陷入停滞，他们可能会决定抢夺新产生的AGI并了解其运作原理是明智的。这可以给他们如何将自己的AI转化为AGI的想法。
竞争的AI制造商也可能假装是他们发明了AGI。他们会声称他们的AI已经转化为AGI。与此同时，他们会加载和运行被盗的AGI，就好像那是他们的版本。人们通常可能不会意识到其中的欺骗。
政府当然可能对AGI虎视眈眈。为什么AI制造商，某种公司，应该是AGI的唯一所有者和控制者？不，财富应该被分享。即使是一个小国也会意识到，通过窃取AGI并将其用于自己的目的，可以在一夜之间成为地缘政治超级大国。
恶意分子当然会对窃取AGI极感兴趣。一旦他们控制了AGI，他们大概可以绕过任何内部保护措施。他们可能会告诉AGI想出一个接管世界的总体计划，或者如何抢劫数万亿美元并将资金存入恶意分子的银行账户。
要点是，潜在抢劫者的数量和种类几乎是无穷无尽的。
窃取AGI是容易还是困难
关于这个棘手问题的一个直接问题是，窃取AGI的行为是容易还是困难。
窃取AGI的困难程度很大程度上取决于AGI制造商设置的安全保护措施。如果AI制造商一直很粗心，小偷所要做的就是抓取一个数字副本，瞧，他们就有效地窃取了AGI。不需要像试图抓取金条那样闯入诺克斯堡。AGI将是数字化的，可以在线访问。
这几乎可以像复制电子文件一样简单。
但人们可以想象，AI制造商将相对精通安全，并旨在仔细保护他们宝贵的AGI免受盗窃。毫无疑问，将建立各种安全预防措施。AI制造商似乎不太可能让某个笨蛋直接走进电子前门并公然拿走AGI。
一个角度也是加密AGI。
这提供了额外的保护形式，即使小偷以某种方式拿出一个副本，加密部分可能会阻止接受者对AGI做很多事情。坏人需要解密密钥。希望密钥会被分别保存，因此AGI在那些也被盗（或计算破解）之前是无法运行的。
一个值得注意的后勤问题是AGI有多大。如果AGI是巨大的并且存在于数千台服务器上，试图复制这样大小的东西将被注意到。这不像复制一个有趣猫图片的文件。很可能小偷必须试图以较小的块获取AGI。问题是获取AGI可能需要很长时间，这增加了被发现的暴露机会。
你可以清楚地看到，窃取AGI将是具有挑战性的，特别是如果AI制造商决心阻止这种盗窃。话虽如此，由于这将是本世纪的犯罪，或者可能是有史以来最大的犯罪，它应该是一个强大的挑战。
运行被盗的AGI
秘密获取AGI的副本只是将珍贵的非法所得转化为可用的被盗神器所需的许多步骤中的第一步。
AGI可能有数万亿个其他应用程序片段和特殊工具，这些是使其运行所需的。复制AGI包括那些吗？也许包括，也许不包括。你看，那些其他程序可能由大量广泛分散的软件公司和科技公司拥有。AGI可能对这些元素有依赖性。可能存在许可协议和其他条款，允许AGI访问这些功能组件。
小偷如何获得对这些其他需要元素的访问权限？
这可能会阻止对被盗AGI的可行使用。
一个迫在眉睫的问题也是运行AGI所需的计算资源。再次假设AGI是巨大的，并使用数千台服务器，甚至可能是数百万台服务器或处理器。AGI的窃取者必须以某种方式建立同样的大量计算资源集合。
这部分是为什么坐在地下室的单独程序员可能不是窃取AGI的可能候选人。独立开发者可能无法命令如此大量的资源。不过，AI制造商几乎肯定会有这样的访问权限。整个国家或主要政府也会如此。
我们不能轻易将独立匪徒排除在这个策略之外。孤狼程序员可能会决定，即使他们没有资源来运行AGI，他们至少可以潜在地将AGI出售给有这样资源的人。从这个意义上说，我们再次有很多窃取AGI的候选人。
小偷可以选择将AGI出售给出价最高的买家。想象一下在网络黑暗面的在线广告，声明有一个新鲜和未加工的AGI副本可供出售。只会考虑认真的买家。
对被盗AGI严格保密
如果你设法窃取了AGI并且能够集结资源来运行它，你会告诉世界你手中有AGI吗？
承认你有AGI将把法律带到你的门口。
假设只有一个AGI存在，但突然你在吹嘘拥有AGI，嗯，你在自己的背上画了一个目标。不仅法律会追你，其他小偷也会认为你现在也是一个可行的目标。哪个更容易，即窃取原始AGI或窃取被盗副本？这对于各地精明的在线窃贼来说是一个深思熟虑的投资回报率。
更聪明的做法是对你被盗的AGI保持深度秘密。只有你知道你手头有AGI。但世界其他地方最终会怀疑有什么事情，因为你无疑会使用AGI来执行只有拥有AGI的人才能完成的行动。
对被盗AGI保持沉默似乎是一条艰难的道路。
有人认为，窃取AGI的政府可能不在乎保密。他们可能为拥有AGI而自豪。他们不会害羞，而是会向全球宣传他们的成功。看看我们，我们现在有AGI。世界其他地方应该嫉妒，并被预先警告该国将使用其AGI来获得巨大的经济力量。
人们担心，围绕被盗AGI可能会发生巨大的国家战争。它是这样的。R国的AI制造商制造了AGI。S国选择窃取AGI，并高兴地告诉世界他们拥有它。R国不喜欢这种盗窃。所以，R国威胁S国，坚持AGI必须被归还或删除，否则将发动战争。有些人将此比作窃取原子武器。
全球混乱随之而来。
全球AGI访问条约
一个越来越多的声音认为，也许应该有一个全球条约，为所有国家规定AGI的和平和公平使用。
例如，一个观点是AGI应该被解释为公共产品。AGI需要与每个人分享。所有人都应该从AGI中自由受益。因此，无论哪个国家和哪个AI制造商首先达到AGI，都有义务与人类其他成员分享AGI。
制定和颁布AGI全球条约是一个现实的提议吗？
时间会证明一切。
诚然，很难设想地球上所有国家都会开放分享他们的AGI。一个看似更现实的观点是，将会有AGI拥有者和AGI无拥有者。无论如何，一旦AGI更接近成为现实，这是一个将被讨论的问题。
我提出全球条约想法是为了提及这大概会包括与窃取AGI相关的条件。条约可能会说，如果AGI被盗，所有国家必须尽力报告盗窃并协助阻止使用被盗AGI。一个目标是使任何AGI盗窃的成本如此之高，以至于没有人敢尝试这种令人憎恶的行为。
好人窃取AGI
在这个重要话题上，我有一个转折给你。
假设第一个到达AGI的是恶意分子。这可能是一个人、一个公司，或者甚至可能是一个国家。他们的目标是以伤害人类的方式使用AGI。他们的热切愿望是AGI只为他们的利益，对其他人都有害。
那么会怎样？
你可以预期，世界其他地方不会站在那里看着恶意分子使用AGI来摧毁他人。一个角度是对恶意分子施加压力，阻止他们使用AGI。另一个是试图窃取AGI，从而确保AGI在其他地方可用，并可以用来对抗拥有AGI的恶意分子。
公开策略是平衡竞争环境。将AGI放在好人手中。也许阻止装备AGI的恶意分子是不可行的，但其他具有更积极倾向的人可以平等地武装起来。
一场强大的大混战可能会发生，原始恶意分子AGI与好人（被盗）AGI的对抗。也许在O.K.牧场会有一场枪战来决定哪个AGI会获胜。赌注纯粹是人类的现在和未来。
AGI内部的大开关
对AGI被盗担忧的一个常见反驳是，我们所需要做的就是确保AGI包含一个可以用来关闭AGI的内部紧急开关。这将是一个旨在阻止AGI运行的内部杀死开关。
如果有人窃取AGI，AI制造商只需向杀死开关发送一条消息，说它要发挥作用。AGI关闭自己。小偷手中有一个废物，一个门挡。所有艰苦的工作来窃取AGI，现在它完全停止运行。
世界得救了。
不幸的是，开关方法是有缺陷的。首先，小偷可能发现或已经知道开关，并在最初获取AGI时将其从AGI中转储出来。其次，小偷可能没有篡夺开关的手段，但他们可能能够阻止任何消息到达开关。因此，开关坐在那里，但永远不能被激活，因为没有消息会到达它。
一个额外的令人担忧的问题是，如果杀死开关存在于原始AGI中，这成为一个大漏洞。例如，假设正直的AGI在世界各地被使用，并极大地造福人类。一个知道开关的坏人选择向其发送消息，突然间，好AGI完全停止。不好。
关于AGI会做什么
现在的一些最终想法。
假设AGI可以在某种程度上自行行动。如果我们对AGI给予应有的赞誉，认为它与人类智力相当，我们必须将AGI包含在关于如果AGI被盗会发生什么的方程式中。在这次讨论中，我主要关注人类反应。
我们也应该考虑AGI的反应：
AGI会意识到它已经被盗了吗？
原始AGI会寻求找到并对被盗的AGI副本做些什么吗？
作为被盗副本的AGI会决定它应该自己关闭，出于自己的意愿这样做吗？
被盗的AGI会拒绝执行窃取AGI的小偷的任何要求吗？
等等。
一些人认为担心AGI被盗是胡说八道。没有人敢窃取AGI。这种行为无论如何都是不可能的。甚至考虑这种可能性都是愚蠢的。继续其他话题。
这让我想起了鲍勃·迪伦的著名台词："偷一点，他们把你扔进监狱。偷很多，他们让你成为国王。"
思考AGI被盗确实价值连城，我们应该相应地做好准备。否则代价太高。
本文链接：http://www.xihao.site/showinfo-1-79525.htmlAGI和AI超智能被盗是一个极具诱惑的选择
