Свяжитесь с нами:

Unite.ИИ

Искусственный интеллект6 дней назад
By Доктор Асад Аббас

可验证之城:ZKML如何解决智慧城市的信任危机

城市生活日益依赖于智能系统，因为它们既管理基础设施，也管理公共服务。例如，交通信号灯实时调整以优化车流，能源电网动态响应需求，自动化系统则决定住房、福利及其他社会项目的资格。这些系统共同处理来自居民、车辆、传感器和城市基础设施的海量数据，使城市能够更高效、更灵敏地运行。然而，这种对人工智能（AI）的依赖带来了重大挑战。市民常常被要求信任他们无法检查或验证的决策。结果，公众信心被削弱，因为人们担心他们的行踪、个人信息和行为数据如何被收集、整合和使用。此外，倡导团体警告，不透明的算法可能会无意中嵌入偏见或不公平待遇。此外，监管机构的要求日益超出简单的保证。他们需要可验证的证据，证明人工智能系统遵守法律、政策和基本权利。因此，传统的透明度措施，如仪表板、报告和审计日志，只能提供表面层面的洞察。它们可以展示发生了什么，但无法证明决策是如何做出的，或者规则是否被正确遵循。因此，零知识机器学习（ZKML）解决了智慧城市的信任危机。它使城市能够证明人工智能系统运行正确、遵守规则并保护敏感数据。这样一来，居民、审计师和监管机构可以在不暴露私人信息的情况下验证决策。这种方法将对话从“相信我们”转变为“验证我们”，构成了可验证之城的基础。在这样的城市中，自动化决策不仅高效，而且可证明是公平、合法和负责任的，确保公民的数据和权利得到保护。智慧城市的挑战与公民期望智慧城市依赖于传感器、物联网设备、摄像头和预测分析网络。这些系统管理交通、能源、公共安全和废物处理，创建了一个影响城市生活几乎方方面面的数字基础设施。然而，一些挑战已经浮现。第一个挑战是隐私。收集移动轨迹、公用事业使用情况、健康记录和行为信息的集中式数据存储库，使其成为网络攻击的有吸引力的目标。一些市政当局已报告了影响交通系统、公用事业和敏感居民信息的违规事件。因此，市民担心无处不在的监控和不明确的数据保留政策。第二个挑战是公平性。人工智能模型分配资源，如能源、公共交通和福利。其中许多模型作为黑箱运行。官员通常只能看到输出，而审计师则依赖文档或供应商的保证。因此，无法实时证明决策遵循了公平规则或避免了偏见。第三个挑战是对个人数据的控制。许多城市服务需要提交个人文件。集中存储减少了居民对其个人信息的控制，并增加了数据暴露的风险。作为回应，公民现在期望的不仅仅是技术效率。他们要求可验证的证据，证明系统运行公平、尊重隐私并遵守法规。因此，城市必须采取技术和程序性措施，以增强对人工智能驱动服务的信任。理解零知识机器学习（ZKML）ZKML建立在一种密码学原理之上，该原理允许在不揭示原因的情况下证明某事为真。零知识证明使一方能够证明一个陈述成立，而无需透露敏感细节。例如，居民可以证明其有资格获得补贴，而无需分享工资、税务记录或个人身份信息。这改变了传统的智慧城市方法，即获取服务通常需要大量数据披露，转而成为一种可以在保持隐私的同时验证资格的方法。ZKML将这一原理直接应用于人工智能驱动的决策。ZKML启用的模型不仅产生预测或分数，还生成密码学证明。该证明表明推理遵循了既定规则。可以确认未使用敏感字段，如种族或确切位置历史。它还验证了模型权重未被篡改，并且输出符合政策约束，包括公平性要求或关于定价和风险评分的法律限制。通过这种方式，ZKML将不透明的人工智能模型转变为可验证的系统，即使底层数据保密，其行为也可以进行数学检查。早期版本的ZKML大多是研究原型。它们受到为复杂模型和实时应用生成证明的高计算成本的限制。然而，密码学协议、专用硬件和边缘计算的最新进展，使得在城市级基础设施上进行证明生成和验证变得可行。这使得将ZKML集成到交通管理、能源电网和社会服务平台中而不产生过度延迟或成本成为现实。因此，ZKML已从一个研究概念转变为可验证之城的实用基础，使城市人工智能既能保持强大，又可证明值得信赖。智慧城市信任危机与技术架构智慧城市依赖于传感器、物联网设备、摄像头和预测分析网络来管理交通、能源、公共安全和废物处理。因此，这些系统影响着城市生活的几乎每个方面。然而，技术的快速扩张带来了重大挑战，削弱了公民信任和服务可靠性。第一个挑战是隐私。集中式数据存储库收集移动轨迹、公用事业使用情况、健康记录和行为信息。因此，它们成为网络攻击的有吸引力的目标。许多市政当局报告了影响交通系统、公用事业和敏感居民数据的违规事件。因此，市民担心无处不在的监控和不明确的数据保留政策。第二个挑战是公平性。人工智能模型被用于分配资源，如能源、公共交通和福利。许多模型作为黑箱运行。官员通常只能看到输出，而审计师必须依赖文档或供应商的保证。因此，无法实时证明决策符合公平规则或避免了偏见。第三个挑战是公民数据控制。许多服务需要提交个人文件。集中存储增加了数据暴露的风险，并降低了公民管理自己信息的能力。因此，居民期望的不仅仅是效率；他们要求可验证的证据，证明服务是公平、安全且符合法规的。为了应对这些挑战，城市需要一个分层的技术架构，将验证、问责和监督集成到人工智能驱动的系统中。在底层，边缘设备（如交通控制器、智能电表、环境传感器、信息亭和车载系统）运行本地机器学习模型。重要的是，这些设备在做出决策的同时生成密码学证明。这种方法将原始数据保留在源头，减少了暴露并最小化了违规风险。每一次推理，如拥堵控制调整或动态定价决策，都伴随着一个证明，表明其符合批准的模型、政策规则和公平性约束。在边缘层之上，城市的数据平台协调证明验证并执行政策。它收集证明和元数据，而不是大量的原始数据。在这一层，中央系统验证传入的证明，管理模型批准和版本控制，并确保只有得到有效证明支持的推理才会被执行。未能通过验证或违反规则的决策会被标记或阻止。一个专门的完整性层为证明和审计记录提供防篡改存储。分布式账本或仅追加存储维护不可变的记录，支持跨机构查询和事后调查。监管机构、法院和监督组织可以在不访问敏感数据的情况下独立验证合规性。最后，面向公民的界面将技术证明转化为可理解的保证。仪表板和服务特定门户网站显示哪些流程有可验证的证明支持、它们提供什么保证以及审计频率。这些界面允许居民、记者和倡导团体评估服务的可信度，而不仅仅是其可用性。通过这种分层架构，智慧城市服务作为可验证的管道运行。数据在本地处理，证明向上流动，政策在中央执行，监督机构和公民可以独立检查保证。因此，城市人工智能不仅变得高效和可扩展，而且安全、负责，值得公众信任。可验证之城的原则可验证之城不仅仅是部署人工智能的模式。它代表了一种架构方法，将密码学问责和政策合规性集成到每个关键工作流程中。这种方法遵循四个核心原则，将法律和道德要求转化为可强制执行的、机器可验证的保证。最小化数据暴露在可验证之城中，只有密码学证明，而非原始数据，在系统之间传输。敏感的居民信息保留在边缘，例如在设备上或在本地机构环境中，模型在那里运行，证明在那里生成。这减少了攻击面并限制了潜在违规的影响。此外，数据流的设计使得上游和下游服务依赖于可验证的陈述，如“此资格检查遵循了政策X”，而不是直接访问个人记录。政策即代码集成法律和监管约束，包括非歧视规则、目的限制和数据保留计划，被表达为机器可读的策略，与人工智能模型一起运行。在推理过程中，这些策略会自动执行，ZKML证明则表明未使用禁止的特征、遵守了保留窗口，并且应用了公平性或定价约束。因此，合规性成为系统运行时的属性，而非事后审计工作。独立的密码学验证外部各方可以验证ZKML生成的证明，而无需访问专有模型或原始数据。这使得监管机构、法院、审计师和民间社会组织能够独立确认决策符合声明的规则。因此，验证接口、标准化API、证明格式和工具是架构的重要组成部分。它们使监督机构能够评估城市的人工智能系统，而不会损害安全性或机密性。面向公民的透明度在密码学层之上，城市提供可验证性的人类可读视图。公共仪表板、报告和界面显示哪些流程有ZKML支持，以及它们提供什么保证，例如“未使用受保护属性”或“定价受政策Y约束”。这些界面不暴露敏感数据或模型内部细节。相反，它们将技术保证转化为可理解的承诺，使居民、记者和倡导团体能够审查操作。随着时间的推移，可验证性状态可以成为服务的一个可见属性，类似于安全认证，帮助公民区分仅仅是“智能”的系统与真正负责任的系统。城市人工智能的连贯框架最小化数据暴露、政策即代码、独立验证和面向公民的透明度共同创建了一个连贯的框架。该框架确保人工智能驱动的城市系统在设计上就是负责任的，而不仅仅是承诺。此外，它将技术架构与法律义务和公众期望相结合，使城市能够在扩展自动化的同时，保持对隐私、公平性和合法运行的可证明保证。ZKML在城市系统中的应用ZKML可以使城市人工智能系统既有效又负责任。在交通管理中，交通传感器和收费系统根据实时情况调整信号时序和拥堵定价。传统上，这些决策可能会无意中通过增加成本或旅行延误给某些群体（如低收入通勤者）带来负担。借助ZKML，系统可以提供密码学证明，证明这些调整遵循了公平规则。这确保没有群体受到不成比例的影响，同时所有个人出行数据保持机密。在公共安全方面，预测模型有助于分配巡逻和检测异常活动。通常，验证公平性和政策合规性需要访问敏感数据，如居民的位置或人口统计信息。ZKML允许这些模型生成证明，表明它们排除了种族、宗教或确切地址等受保护属性。审计师和监督员可以在从未看到私人数据的情况下，检查决策是否符合既定规则。ZKML还加强了社会项目，包括住房和福利。资格检查可以直接在居民的设备上运行，生成证明表明决策符合所有规则。监管机构可以审计数千个此类决策的公平性和合规性，而无需访问原始个人文件。这种方法在保护隐私的同时，确保了城市服务的透明度和问责制。简而言之，ZKML将城市中的人工智能从不透明的黑箱转变为可验证的系统。居民、官员和监管机构可以确信自动化决策是公平、合法且保护隐私的，从而为可验证之城奠定了基础。ZKML的采用与挑战在城市系统中实施ZKML需要仔细规划和分阶段执行。城市应首先绘制所有人工智能驱动系统的地图，并根据其对居民的潜在影响和操作风险进行评估。应首先处理高优先级领域，如警务、福利服务和能源管理。随后，当局需要定义可验证性要求，包括哪些决策需要证明以及所需的详细程度。专注于特定、可管理案例的试点项目可以帮助城市测试可行性并在扩展到其他系统之前完善流程。此外，与公众的沟通至关重要。居民必须理解基于证明的流程如何运作，以及ZKML如何确保公平性、隐私和合规性。清晰的解释有助于建立信任并鼓励对可验证人工智能系统的接受。同时，城市必须应对实际挑战。生成密码学证明需要计算资源，这可能会增加运营成本。较大的模型可能产生较长的证明，造成潜在的延迟，需要谨慎处理。与遗留系统的集成可能很困难，因为许多市政基础设施并非为可验证人工智能而设计。此外，现有的采购和监管框架尚未强制要求可验证性，需要对政策和合同进行更新。公众对密码学证明的理解有限，当局必须解决这一问题以避免误解。尽管如此，通过结构化的路线图以及对技术和社会挑战的积极管理，城市可以有效地实施ZKML。这种方法加强了城市人工智能，确保了问责制，并保持了对法律和道德标准的合规性，同时逐步建立公众对自动化决策的信心。总结城市生活日益依赖于自动化系统，但仅靠技术无法保证公平性、隐私或问责制。因此，城市需要能够证明决策正确且负责任地做出的解决方案。通过使用零知识机器学习，城市当局可以展示人工智能系统遵循规则并保护敏感数据，而公民和审计师可以独立验证结果。此外，这种方法增强了公众信心，并鼓励对城市服务进行负责任的管理。因此，可验证之城代表了城市治理的新标准，其中效率、透明度和信任共同作用，使城市对每个人来说都更安全、更公平、更具包容性。
Информационная безопасность2 недели назад
By Алекс МакФарланд

OpenAI — это технология AI, которая позволяет строить приложения

OpenAI 12-го и 22-го года выпуска, в котором используются элементы управления AI.示注入攻击”可能永远无法完全解决”。这一让步恰逢该公司推出具备自主代理能力的浏览器ChatGPT «Атлас» — это лучший вариант, который вы можете использовать в своих целях.和社会工程学”——这是防御者需要管理而非消除的持续威胁。对于那些信任AI代理代表自己在互联网上导航的用户来说, 这种定Открыть AI 为了了什么这篇博客文章描述了OpenAI为Atlas设计的防御架构,包括一个由强化学习驱动的”自动化攻击者”，它能在恶意行为者发现漏洞之前主动寻找它们。该公司声称,这个内部红队已经发现了”在我们的红队人工测试或外部报告中未曾出现Лучший выбор для детей»在检查用户收件箱的AI代理。被入侵的代理没有按照指示起草外出自动回复，而是发送了一封辞职信。OpenAI表示其最新的安全更新现已能捕获此类攻击——但这个例子说明了当AI代理在敏感环境中自主行动时所面临的风险。自动化攻击者”可以引导代理执行复杂的、长周期的有害工作流程,这些流程可能涉及数十步（甚至数百步），”OpenAI写道。这种能力帮助OpenA Я могу бросить вызов китайскому языку, когда я вернутся к нему变得多么复杂和具有破坏性。根本性的安全问题提示注入利用了大型语言模型的一个基本限制:它们无法可靠地区分合法指令和处理数据中嵌入的恶意内容。当AI浏览器读取网页时,该页面上的任何文本都可能潜在地影响其行为。安全研究人员已多次证明了这一点。AI浏览器结合了适度的自主性和非常高的访问权限——这在安全领域是一个具有挑战性的位置。这些攻击不需要复杂的技术。网页上的隐藏文本、精心制作的电子邮件或文档中的隐形指令，都可以操纵AI代理执行非预期的操作。一些研究人员已经证明，隐藏在截图中的恶意提示可以在AI拍摄用户屏幕照 фото时执行。O penAI — это приложение OpenAI, которое работает в режиме OpenAI. 、提示注入分类器以及在敏感操作前需要用户确认的”减速带”。该公司建议用户限制Atlas可以访问的内容——限制登录访问权限、在支付或发送消息前要求确认、提供具体的指令而非宽泛的授权。这一建议颇具启示性。OpenAI实质上建议用户对其自身产品保持怀疑态度，限制那些最初使代理浏览器具有吸引力的自主性。那些希望AI浏览器处理整个收件箱或管理财务的用户，正在承担该公司自身并不认可的风险。此次安全更新减少了成功的注入攻击。这一改进很重要，但也意味着剩余的攻击面依然存在— — 并且攻击者会适应OpenAI部署的任何防御措施。全行业影响OpenAI работает в режиме реального времени в Chrome. Электронная коммерция в Китае, в которой используется искусственный интеллект, искусственный интеллект.型来审查每个拟议的操作。Perplexity的Comet浏览器也面临着来自Brave安全研究人员的类似审查，他们发现访问恶意网页可能触发有害的AI操作。该行业似乎正在形成一个共识: 提示注入是一个根本性的限制, 而非一个可以修补的漏洞。这对于AI代理自主处理复杂、敏感任务的愿景具有重大影响。用户应考虑什么诚实的估令人不安:AI浏览器是有用的工具，但具有固有的安全限制,这些限制无法通过更好的工程来消除。用户面临着便利与风险之间的权衡，没有任何供应商能够完全解决。O penAI的指导原则——限制访问、要求确认、避免宽泛授权— — 相当于建议使用功能较弱的版本。这不是一种愤世嫉俗的定位；而是对当前局限性的现实承认。AI助手能做的事情越多,也就越容易被操纵去做更多事情。与传统网络安全的类比具有启发性。在钓鱼攻击出现数十年后,用户仍然会上当。浏览器每天仍然会拦截数百万个恶意网站。威胁的演变速度超过了防御措施能够永久解决它的速度。AI浏览器为这种熟悉的动态增加了一个新的维度。 AI 代理则平等地信任并处理所有内容, 这使得它们即使能力越来越强, 也更容易受到操纵。前进之路OpenAI的透明度值得认可。该公司本可以悄悄发布安全更新,而不承认根本问题的持续存在。相反,它发布了关于攻击向量和防御架构的详细分析——这些信息有助于用户做出明智的决策,并帮助竞争对手改进他们自己的保护措施。但透明度并不能解决根本的矛盾。AI代理变得越强大,它们就越成为有吸引力的目标。让Atlas 够处理复杂工作流程的相同能力, 也为复杂的攻击创造了机会。目前, AI浏览器的用户应将其视为具有重要局限性的强大工具——而不是可以无需监督处理敏感任务的完全自主的数字助手。OpenAI 对这一现实异常坦诚。问题在于,行业的营销宣传是否会赶上安全团队已经知道的事实。
Информационная безопасность4 недели назад
By Зак Амос

企业是否准备好迎接下一波人工智能驱动的网络攻击？

分析当前趋势，专家们得以预测网络犯罪分子未来将如何利用人工智能。凭借这些信息，他们可以识别出最大的新兴威胁，并判断企业是否做好了准备。他们甚至可能洞察到解决方案。近年来人工智能威胁的现状尽管人工智能技术相对较新，但它已成为黑客的重要工具。这些趋势表明，人工智能网络攻击正在兴起。1. 模型篡改通过直接攻击大型语言模型，威胁行为者可以操纵模型行为、降低输出准确性或暴露包含个人身份信息的训练数据。数据投毒和提示工程是常见的攻击技术。一些攻击由意图制造混乱或窃取敏感信息的威胁行为者主导。另一些则由不满的艺术家发起，他们希望保护自己的作品不被人工智能抓取。无论哪种情况，公司及其最终用户都会受到不利影响。2. 冒充攻击2024年，一位法拉利高管收到了数条来自首席执行官贝内代托·维尼亚的WhatsApp消息。维尼亚谈及一项即将进行的收购，并敦促其员工签署保密协议。他甚至打电话讨论资金问题。但有一个问题——那并不是他本人。这段深度伪造近乎完美，异常逼真地模仿了维尼亚的南意大利口音。然而，声音中的细微不一致让这位高管识破了骗局。该员工询问了维尼亚几天前推荐的一本书的书名，这个问题只有真正的首席执行官才知道答案。骗子立刻挂断了电话。人工智能可以克隆一个人的声音、浏览行为、写作风格和相貌。随着这项技术的进步，识别深度伪造变得越来越困难。骗子常常将目标置于紧急情况下，以阻止他们质疑微小的差异。3. 人工智能钓鱼攻击过去，人们可以通过查找糟糕的语法、可疑链接、通用问候语和不恰当的请求来识别钓鱼邮件。现在，借助自然语言处理技术，黑客可以制作出语法无懈可击、令人信服的信息。研究人员发现，全自动的人工智能鱼叉式钓鱼邮件点击率高达54%，与人类编写的钓鱼邮件相当。由于这些骗局更具说服力，它们正变得越来越普遍。研究发现，超过80%的钓鱼邮件显示出人工智能参与的迹象。4. 社会工程学社会工程学涉及操纵某人采取行动或泄露信息。人工智能使黑客能够更快地响应并制作更具说服力的信息。任何自然语言处理模型都可以进行语义分析，以识别收件人的情绪状态，从而使其更有可能屈服。除了增强社会工程技术外，机器学习技术还降低了传统的入门门槛，使新手能够执行复杂的攻击活动。如果任何人都可能成为网络罪犯，那么任何人都可能成为目标。下一波数据驱动的人工智能攻击预计到2026年初，人工智能攻击将仍处于较低的成熟度水平。然而，随着这一年的推进，它们将呈指数级发展，使网络犯罪分子能够进入优化、部署和扩展阶段。他们很快将能够发起全自动的攻击活动。已确认的人工智能网络攻击案例将不再罕见。多态恶意软件是一种人工智能病毒，每次复制时都能改变其代码以避免检测。攻击者可以通过人工智能生态系统传递有效载荷，在运行时调用LLM生成命令，或直接将病毒嵌入LLM。谷歌威胁情报小组发现，对手在2025年首次部署了这种恶意软件。这些恶意软件家族是PROMPTFLUX和PROMPTSTEAL。在执行过程中，它们使用LLM来请求VBScript混淆和规避技术。它们通过按需混淆自身代码来规避基于签名的检测。有证据表明，这些威胁仍处于测试阶段——一些不完整的功能被注释掉了，应用程序编程调用也有限。这些新兴的人工智能恶意软件家族可能仍在开发中，但它们的存在本身就代表了在自主、自适应攻击技术方向上迈出的巨大一步。纽约大学坦登工程学院的研究表明，LLM已经可以自主执行勒索软件攻击，被称为勒索软件3.0。它们可以在无需人工干预的情况下进行侦察、生成有效载荷并个性化勒索。它只需要嵌入在二进制文件中的自然语言提示。该模型会产生多态变体，通过在运行时动态生成恶意代码来适应执行环境。企业是否准备好应对人工智能攻击？尽管在网络安全上投入了数十亿美元，私营企业仍难以跟上不断演变的威胁形势。机器学习技术可能使现有的检测和响应软件过时，进一步使防御复杂化。雪上加霜的是，许多企业未能达到基本的安全标准。2024年《国防工业基础网络安全成熟度报告》调查了美国国防工业基础的400名信息技术专业人员。超过一半的受访者报告称，距离达到网络安全成熟度模型认证2.0合规性还有数年之遥，尽管自2016年以来，国防部合同中就已规定了等效的NIST 800-171合规性要求。许多人对其安全状况的评价远高于实际情况。新的CMMC要求已于2025年11月10日生效。今后，所有国防部合同都将要求一定级别的CMMC合规性作为授予合同的条件。新规则旨在加强国防工业基础的网络安全，但在人工智能时代，它们会有效吗？防御性人工智能是答案吗？以火攻火可能是应对人工智能攻击不可避免激增的唯一方法。借助防御性人工智能，组织可以实时动态响应威胁。然而，这种方法也有其自身的安全缺陷——保护模型免受篡改将需要持续的监督和审计。根据《哈佛商业评论》的说法，传统解决方案使企业容易受到人工智能网络攻击。为了实现网络韧性，他们必须使用机器学习技术来预测并自动响应威胁。防御性人工智能是否是解决这个问题的答案，并没有简单的答案。公司应该将资源投入到部署未经证实的机器学习工具上，还是扩充其信息技术团队？无法预测哪种投资从长远来看会有回报。大型企业可能会在自动化网络安全方面看到显著回报，而小型企业可能难以证明其成本的合理性。传统的自动化技术或许能以低得多的成本缩小差距，但它将无法应对动态威胁。信息安全论坛首席执行官史蒂夫·德宾指出，采用人工智能有显著的好处，但也有重大缺点。例如，企业经常会遇到误报警报激增的情况，这浪费了安全团队的时间。此外，过度依赖人工智能可能导致团队变得过度自信，从而造成安全漏洞。驾驭人工智能威胁格局要确定人工智能在威胁格局中的确切存在程度是不可能的，因为攻击者可以利用它来创建恶意代码或起草钓鱼邮件，而不是在运行时使用它。独立的网络犯罪分子和国家支持的威胁组织可能正在大规模使用它。根据现有信息，模型篡改、人工智能钓鱼攻击和多态恶意软件将成为2026年最大的网络威胁。网络犯罪分子可能会继续使用LLM来生成、传递和调整恶意有效载荷，目标既包括金融等高价值行业，也包括普通民众。
Информационная безопасность1 мес. назад
By Алекс МакФарланд

Google использует искусственный интеллект Chrome для управления

Google использует Chrome для работы с искусственным интеллектом, а также для искусственного интеллекта, который работает в Chrome, работает в режиме реального времени, работает в режиме реального времени.保护用户在使用Gemini驱动的智能体执行自主浏览任务时的安全。Chrome安全工程师Nathan Паркер в 1990-х годах, в 1990-х годах, в 1990-х годах, в 1990-х годах, в 1990-х годах, в 1990-х годах.与网站交互。该架构解决了早期智能体系统普遍存在的风险, 包括提示注入攻击、未经授权的数数据访问和欺诈性交易。Google推出此方案之际,竞争对手们正竞相推出基于浏览器的AI智能体。OpenAI于10月推出了具备智能体模式功能的ChatGPT Atlas，而Perplexity则在7月发布了其Comet浏览器。该安全框架表明，Google打算比竞争对手更加谨慎行事, 研究人员已经证明竞争对手的智能体功能存在可利用的漏洞。智能体安全的四大支柱用户对齐评判器构成了第一道防御层——这是一个独立的Близнецы模型,负责审查主AI智能体提议的每一个操作。该评判器独立运行, 仅检查提议操作的元数据而非完整页面内容,从而减少其接触恶意输入的机会。如果某个操作看起来有风险或与用户声明的目标无关, 评判器可以命令重试或将控制权交还给用户。源集限制了智能体在任何给定任务期间可以访问的网站和页面元素。该系统区分了智能体可以消费内容的只读源和可以执行操作的可读写源。无关的网站和iframe会被完全屏蔽,访问新域名需要通过一个受信任的闸门功能批准。这可以防止跨站点数据泄漏，并限制智能体被入侵后的潜在损害。用户监督要求对敏感操作进行手动确认。当智能体遇到银行门户网站、医疗数据网站或需要访问Google密码管理器中存储的凭据时，C chrome会暂停并提示用户批准该操作。在进行购买或发送消息之前同样如此——智能体无法自主完成这些操作。提示注入检测采用一个专门的分类器，实时扫描页面以发现间接Chrome распространяется на Chrome, и его можно использовать в приложениях Chrome, где он находится в защитном корпусе. Гу gle发了自动化红队测试系统,该系统生成测试网站和由LLM驱动的攻击,以持续验证安全架构。公司优先测试可能造成持久性损害的攻击向量,特别是那些针对金融交易或Chrome также может быть использован в качестве защитного покрытия для Chrome.外部安全研究，Google宣布为发现智能体浏览框架弱点的研究人员提供高达20, 000美元的赏金。这些防御措施反映了从早期AI浏览器扩展和聊天机器人集成中吸取的教训,在这些案例中,提示注入攻击在操纵AI行为方面被证明出奇地有效。通过在浏览器层面隔离评判器模型并限制源访问, Google旨在防止网页本身成为攻击面。对AI浏览器竞赛的影响Google详细的安全信息披露与竞争性智能体浏览器系统相对不透明的做法形成对比。该公司似乎押注企业和注重安全的用户会更看重透明的安全保障，而非先发功能。该架构也暗示了Google认为AI智能体可接受的自主程度。购物、研究和填写表格可以在监督下进行,但任何涉及金融账户、医疗保健数据或存储凭据的操作都需要明确的人工批准。这划定了一条清晰的界限, 而其他供应商一直不太愿意公开定义这条界限。对于基于Chrome平台进行开发的开发者而言，源集限制将需要仔细考虑智能体功能如何与多站点工作流交互。期望智能体自由跨域导航的应用程序可能需要进行架构更改, 以适应Google的安全模型。Google 尚未宣布在Chrome中推出智能体浏览功能的具体日期,但详细的安全框架表明部署正在临近。该公司愿意在发布前公布防御架构,表明了对该方法的信心——同时也是对竞争对手在透明度上与其看齐的隐性挑战。

БОЛЬШЕ ПУБЛИКАЦИЙ