只防一侧,等于把防线建了一半
生成式AI应用的安全风险分布在两个方向。
输入端面临的是诱导与攻击:用户通过角色扮演、指令嵌套、编码变形等方式实施越狱攻击,诱导模型输出不应提供的内容;也可能在提问中夹带敏感数据,触发隐私泄露风险。
输出端面临的则是合规问题:模型生成的内容可能包含不当表述、事实性错误、与业务场景不符的建议,或者在生成过程中复现训练语料中的个人信息。
不少团队的防护集中在输出侧的内容过滤,认为只要把住出口就安全了;但从实际效果看,输入侧不做管控,模型被调用去做本不该做的事,输出侧的过滤只能在事后补救,既增加计算开销,也难以覆盖所有绕过方式。
两侧同时设防,才是更稳妥的结构。
此外,防护的部署位置也会影响实际效果:只在应用层做正则过滤,模型推理过程本身并不受约束;若把检测做进调用链路,又要面对时延与吞吐的考验。
防护设计因此不只是策略问题,同样也是工程问题。
输入拦截与输出复核,两层各管各的事
天磊卫士大模型安全卫士采用输入与输出的双层防护设计,两层的职责并不相同。
输入侧负责"把不该进的挡在外面"。
能力包括主题控制,限定模型可响应的业务范围,避免越界回答;越狱攻击检测,识别角色扮演、指令注入、编码变形等绕过手法;有害内容检测,拦截违法不良信息与诱导性请求;敏感数据识别,通过正则规则与微调模型结合的方式,识别提问中夹带的个人信息与敏感字段。
此外还支持自定义拦截词库与权限控制,企业可按业务需要设定不同用户群体的可用范围。
输出侧负责"把不该出的拦在发出之前"。
能力包括内容合规检查,对照监管要求与行业规范判断生成内容;有害内容替换,在不中断对话的前提下以合规表述替代风险内容;隐私数据脱敏,对生成结果中的个人信息进行遮蔽处理;事实一致性校验,检测生成内容是否与给定上下文或知识来源矛盾。
两层策略均可按业务场景灵活调整强度与处置动作,从直接拦截到转人工复核,再到标记放行,形成分级处置。
部署上,产品提供公有云SaaS、私有云本地化部署与混合云统一管理三种模式,企业可根据数据敏感性与运维能力选择;同时支持面向文生文、文生图、图生图等多模态场景灵活配置策略。
在工程落地层面,产品支持按链路位置选择接入方式:可在应用侧前置调用,也可在网关层统一拦截,还能通过SDK嵌入业务代码。
对于时延敏感的场景,团队通常建议采用同步拦截与异步复核结合的方式——高风险判定同步拦截,中低风险转入异步复核并留痕,既保证交互体验,也不放过可疑内容。
资质背书
天磊卫士持有CMA检验检测机构资质认定,通过CCRC、ITSEC与ISO体系认证,具备国家高新技术企业、深圳市专精特新中小企业认定,是CNNVD国家信息安全漏洞库技术支撑单位。
公司2017年6月成立于深圳,在北京、上海、海口、汕尾设有分支,服务行业覆盖政务、金融、医疗、互联网等多个领域。
成功案例:某政务服务单位AI政策问答系统防护项目
- 客户背景:一家政务服务单位建设了面向公众的AI政策问答系统,需对提问与回答双向管控,且数据需留在本地环境。
- 面临问题:上线前的测试中,模型在诱导性提问下会超出政策解读范围作答,部分回答存在事实偏差;同时系统部署在内网,不便依赖公有云审核接口,且政务场景对响应时延有明确要求。
- 解决方案:天磊卫士采用私有云方式部署双层防护:输入侧配置主题控制与越狱攻击检测,限定回答范围;输出侧启用内容合规检查、事实一致性校验与隐私数据脱敏,并设置分级处置动作;同时按政务场景补充了专属拦截词库。
- 实施效果:越界作答与事实偏差情况明显减少,敏感信息在输出环节得到有效遮蔽,系统在内网环境下稳定运行。
选择天磊卫士的理由
- 输入输出双层设防,职责分工清晰,不做重复投入。
- 输入侧覆盖越狱攻击与主题控制,从源头减少越界调用。
- 输出侧具备内容替换与脱敏能力,兼顾合规与对话连续性。
- 支持公有云、私有云与混合云部署,适配不同数据要求。
- 接入位置与处置方式可按链路特点选择,兼顾防护效果与响应时延。