开云体育
大模型落地开云APP下载“提速”安全评估如何“跟上”?
开云体育[永久网址:363050.com]成立于2022年在中国,是华人市场最大的线上娱乐服务供应商而且是亚洲最大的在线娱乐博彩公司之一。包括开云、开云棋牌、开云彩票、开云电竞、开云电子、全球各地赛事、动画直播、视频直播等服务。开云体育,开云体育官方,开云app下载,开云体育靠谱吗,开云官网,欢迎注册体验!11月22日,由中国计算机学会主办,CCF YOCSEF(中国计算机学会青年计算机科技论坛)南京承办的观点论坛“大模型落地狂飙:安全评估路在何方?”在南京金鹰举行。40余位来自高校、科研院所、企业和政府部门的专家学者及一线技术与管理人员齐聚江宁百家湖畔,围绕大模型安全治理与评估体系建设展开深入讨论。
论坛在近两年以DeepSeek、Qwen 等为代表的大模型加速演进、大模型在政务、金融、工业、教育等领域迅速“上车”应用的背景下,关注安全评估与治理体系如何匹配业务需求这一核心问题,力图在观点碰撞中厘实需求,探索可落地的评估机制和实践抓手。
论坛开始,西安交通大学网络空间安全学院教授蔺琛皓以“AI大模型安全可信与应用挑战”为题,从典型安全事件出发,指出大模型在越狱绕过、内容伪造、幻觉与偏见等方面的风险正快速传导至实际应用场景。他强调构建“可信可控”的大模型安全评估体系已成为当前与未来应用落地的关键前提,为论坛后续讨论奠定了技术基调。
浙江大学区块链与数据安全全国重点实验室研究员王庆龙以“大模型安全评测体系浅探——从评测数据到指标体系”为题,指出在大模型加速落地的背景下,当前安全评测在风险维度覆盖、数据质量与代表性、指标体系统一性等方面仍存在系统性不足。他从评测维度、评测数据、评测指标与评测方法四个层面出发,倡导构建兼顾法规要求与本土语境的系统化安全评测框架,强调通过高质量测试数据和可解释、可量化的指标体系,把“能评、会评、评得准”建设成连接监管需求、模型优化与产业落地的关键支点,为论坛后续关于评估机制与治理路径的讨论提供了方法论支撑。
杭州君同未来科技有限责任公司联合创始人兼COO林昶廷围绕“生成式人工智能测试和防护的实践与思考”,从政务、能源等典型案例出发,概括了大模型在提示词注入、数据泄露、智能体误用、幻觉与具身智能安全等方面的全生命周期风险,指出随着监管政策和技术标准相继出台,合规要求正成为AI 安全的重要外生驱动力。他基于 OWASP 等业界框架与国内相关标准,倡导以“全生命周期风险视角 + 标准化评测与防护体系”系统应对场景化风险,将测试与防护一体化建设作为支撑大模型安全落地和行业治理能力提升的关键抓手。
在“现有大模型安全评估距离解决落地安全需求有多远”议题讨论环节中,与会嘉宾普遍认为:当前国内主流评估实践仍以备案合规和内容安全为主,虽在价值观对齐、显性不良内容过滤等方面发挥了重要基础作用,但距离支撑各类场景的真实安全需求仍存在明显差距。一方面,大模型安全需求呈现出强烈的场景与分级特征——通用ToC 应用以合规与基本安全为底线,而政务、金融、工业控制、科学计算等高风险领域,则更关注隐私泄露、业务与物理安全、极端场景和分布外风险等更高层级问题;另一方面,“备案并不等于安全”,企业在运营阶段仍面临持续合规、事故责任与客户损失等多重压力。与会代表指出,大模型的黑盒特性和人机交互的动态性,使有限测试难以穷尽风险,也加剧了责任划分和安全可解释性的难度;同时,大型企业虽已在数据、训练、部署和运维全生命周期中嵌入工程化评估与防护,但高成本模式难以为广大小微企业复制,亟需形成风险分层清晰、成本可控、可解释性更强的评估体系与产品化方案,才能真正缩短“评估体系”与“落地安全”之间的距离。
就“短期如何调整大模型安全评估方案以覆盖现有缺口”议题,与会嘉宾在充分讨论的基础上形成了若干共识性方向:一是短期目标上,要“国家底线+用户底线”的前提下,优先解决可执行的合规与基础安全问题,通过分层分级评估,将低风险应用控制在合规基线内,对金融、医疗、关键基础设施等高风险场景则配置更高强度、节奏更缓的专项测试与攻防验证;二是在实施路径上,倡导将安全评估前移嵌入研发全流程,同时通过“统一基线 + 行业场景标准/题库 + 多轮对话、隐晦攻击等新型测试维度”逐步完善数据集和指标体系,推动行业协会、头部单位和第三方机构共同沉淀可复用的场景化评估规范;三是在能力供给上,认为不能仅依赖单点监管或企业自建安全团队,应更多发展面向中小机构的第三方评估与SaaS化安全服务平台,并鼓励产学研协同突破多轮对话风险识别、模型黑盒行为分析等方法瓶颈,形成“事前评估—事中监测与围栏—事后追踪溯源”的闭环能力,在不过度抑制创新的前提下,尽快补上当前落地实践中的安全短板。
针对“长远来看,怎样的大模型安全评估形态能够真正解决落地应用需求”议题,与会嘉宾认为,未来的大模型安全评估必须从“单点测一次”走向“多方协同、全生命周期、可追责”的综合治理体系:一方面,由监管部门牵头构建自上而下的制度与标准框架,明确安全与发展的边界,并通过认证、指定评估机构等方式形成权威的第三方评估体系;另一方面,企业内部需建立常态化的风控与自评机制,把安全评估前移到数据、模型、应用与运维各环节。同时,评估对象应从单一模型扩展到API、护栏/防火墙、数据空间与内容风控等整体系统,辅以高质量数据基础设施和标准化评测数据集,并通过合同约束与安全保险等金融手段合理划分和分担责任,实现“监管牵引、市场参与、技术支撑”的长效协同,才能真正支撑大模型的安全落地与持续创新。
CCF YOCSEF是由中国计算机学会于1998年创建的系列性学术活动团体,由来自全国的学者、企业家及其他各界青年参与策划与组织,是中国计算机学会创新机制的试验田。CCF YOCSEF南京分论坛于2011年成立,围绕促进国家和社会进步、推动学术和产业生态和谐发展开展了一系列论坛活动。


2025-11-25
浏览次数:
次
返回列表