这篇文章是一个播客的文字稿,由 Wes Reisz 和 Reken 的 CEO Shuman Ghosemajumder 讨论了 GenAI 时代数字信任的紧迫挑战。他们强调了网络犯罪的指数级转变,其中生成式人工智能使犯罪分子能够大规模地模拟人类行为,同时对数百万个目标发起高容量的攻击。Ghosemajumder 解释了 GenAI 如何通过自动化高质量的跨语音和视频的社会工程,绕过传统上依赖人工的防御,从而解决了欺诈者的“最终环节”问题。讨论的一个关键漏洞是“Gell-Mann 失忆症”效应,即用户隐式地信任自信的 LLM 输出,使他们容易受到虚假信息的影响。该播客还探讨了 AI 生成的代码的挑战和风险,强调需要仔细监督和高级开发人员的监督,以管理代码质量和潜在的缺陷。为了应对这些威胁,讨论提倡一种“零信任 (Zero Trust) 架构”,利用行为遥测来检测细微的异常,并应用博弈论来优先考虑安全预算,以对抗经济动机的犯罪。对话强调了创建深度伪造的容易程度,以及人工智能生成内容在互联网上的普遍性。因此,工程师需要构建超越默认信任的系统。




