日前据报道，安全研究人员trail of bits发现了一个漏洞，有可能从gpu内存中窃取“关键数据”，英伟达、苹果、amd和高通等多个型号的消费性gpu受到影响。
该漏洞被命名为“leftoverlocals”，这个漏洞不只是针对消费者应用程序，而是通过侵入大语言模型（llm）和机器学习（ml）模型中使用的gpu来完成任务。由于模型训练涉及敏感数据使用，因此提取数据更危险。
卡内基梅隆大学（carnegie mellon university）的专家正在对leftoverlocals进行跟踪，据称该信息已经被受其影响的主要gpu供应商共享，其中包括英伟达、苹果、amd、arm、英特尔、高通和imagination等。
在amd radeon rx 7900 xt上运行70亿参数量模型时，leftoverlocals漏洞在gpu每一次调用数据时可能会泄漏约5.5mb数据，在llama.cpp上运行7b模型时，每次llm查询总共会泄漏约181mb数据。这些信息足以高精度地重建大语言模型响应。
leftoverlocals相当依赖gpu如何隔离其内存，而这与cpu框架不同，因此通过可编程接口获得对gpu共享访问权限的攻击者可以窃取gpu内的内存数据，这将带来多种安全后果。
对于普通消费者来说，leftoverlocals可能不值得担心，但对于云端运算或推理等产业的相关人员来说，会使llm和ml框架的安全性存在疑虑。
