近期，基于Transformer的大语言模型(LargeLangunge Model,LLM)研究取得了一系列突破性进展，模型参数量已经突破千亿级别，并在人类语言相似文本生成方面有了卓越的表现。目前已有多个商业化大模型发布，如OpenAI推出的GPT系列1-、Google推出的T5H⁴和PaLM⁵,以及Meta推出的OPT1s等大语言模型等。特别是OpenAI推出ChatGPr],由于其强大的理解与生成能力，在短短2个月内突破了1亿用户量，成为史上用户增长速度最快的消费级应用程序。为了应对市场冲击，谷歌也推出了BARD聊天机器人，Meta则开源了LLaMA模型8]。国内各大企业、高校和研究机构也纷纷进入大模型领域，推出了一系列对话大模型，包括百度文心一言网、360智脑叫、讯飞星火叫、商汤商量、阿里通义千问、智源悟道、复旦MOSSIS、清华ChatGLM19等。

大语言模型正在各个应用领域引起巨大的变革，并已经在搜索、金融、办公、安全、教育、游戏、电商、社交媒体等领域迅速普及和应用。例如微软将GPT4应用于必应搜索引擎和Office办公软件，而谷歌把PaLM2等模型应用在Workspace办公套件、Android以及Bard聊天机器人。

然而，伴随着大语言模型广泛应用的同时，也衍生出一系列严重的安全风险，并引发了多起安全事件。如OpenAI曾经默认将用户输入的内容用于模型训练，从而导致了多起隐私数据泄漏事件。据媒体报道，亚马逊公司发现ChatGPT生成的内容中发现与公司机密非常相似的文本。韩国媒体报道称，三星公司在引入ChatGPT不到20天内就发生3起涉及机密数据泄漏的事故，其中2起与半导体设备有关，1起与会议内容有关[8]。据网络安全公司Cyberhaven的调查，至少有4%的员工将企业敏感数据输入ChatGPT,而敏感数据占输入内容的11%。

此外，大模型系统近期也被相继爆出多个安全漏洞。例如，ChatGPT的Redis客户端开源库的一个错误，导致1.2%的ChatGPT付费用户个人信息泄露，包括聊天记录、姓名、电子邮箱和支付地址等敏感信息120。随后，OpenAI网站又被爆出Web缓存欺骗漏洞，攻击者可以接管他人的账户，查看账户聊天记录并访问账单信息，而被攻击者察觉不到211。360AI安全实验室近期还发现大模型软件LangChain存在任意代码执行的严重漏洞。

总体而言，目前大语言模型面临的风险类型包括提示注入攻击、对抗攻击、后门攻击、数据污染、软件漏洞、隐私滥用等12324,这些风险可能导致生成不良有害内容、泄露隐私数据、任意代码执行等危害。在这些安全威胁中，恶意用户利用有害提示覆盖大语言模型的原始指令实现的提示注入攻击，具有极高的危害性，最近也被OWASP列为大语言模型十大安全威胁之首。

来源：大数据协同安全技术国家工程研究中心

关于我们

我们是一家专注于分享国内外各类行业研究报告/专题热点行业报告/白皮书/蓝皮书/年度报告等各类优质研究报告分享平台。所有报告来源于国内外数百家机构，包含传统行业、金融娱乐、互联网+、新兴行业、医疗大健康等专题研究.....目前已累积收集近80000+份行业报告，涉及众多大板块，多个细分领域。

内容涵盖但不限于（市面上有的基本都有）：

1、互联网运营、新媒体、短视频、抖音快手小红书等等；

2、房地产、金融、券商、保险、私募等；

3、新技术（5G）、金融科技、区块链、人工智能类；

4、电子商务、市场营销、运营管理、麦肯锡、德勤等；

5、快消品、餐饮、教育、医疗、化妆品、旅游酒店、出行类等；

免责声明：

本平台只做内容的收集及分享，报告版权归原撰写发布机构所有，由星夜智库社群通过公开合法渠道获得，如涉及侵权，请联系我们删除；如对报告内容存疑，请与撰写、发布机构联系。