（来源：twt企业IT社区）
摘要
面对医疗网络安全威胁持续演化、业务连续性要求高和专业人力紧张等现实压力，我院探索利用生成式人工智能构建医疗安全智能体平台，以提升安全运营的自动化与智能化水平。本文在介绍安全数据底座、模型底座及典型智能体场景的基础上，重点梳理实施中需要回答的数据治理、模型可靠性、组织协同、渐进式集成与成本效益评估等问题。相关探索尚处于持续验证阶段，本文旨在以实践框架为引，与twt社区关注课题三（行业最具价值智能体）、课题四（高可用运维）、课题七（开源与供应链安全）及三甲医院纵向专项的同行，共同讨论安全智能体在关键行业规模化落地的可行路径与风险管控共识。
关键词：生成式人工智能；安全智能体；安全运营；医疗信息化；可信AI
作者：陈嘉旖
高级工程师，上海市肺科医院信息处处长，中国卫生信息与健康医疗大数据学会人工智能科学应用创新分会委员，上海市医院协会信息管理专业委员会委员，上海市软件行业协会医疗健康数据管理专业委员会委员。从事医疗信息化工作十余年，主要负责医院信息化项目的规划建设及新技术应用工作，主持建设了医院互联网医院、专病数据库及专科大模型应用等重点项目，取得了良好的应用效果，对信息化与临床业务的结合应用有丰富的经验。
1. 医疗安全运营的现实驱动
医疗业务具有7×24小时连续运行、数据高度敏感、合规要求严格和攻击目标价值高等特点。与此同时，传统安全运营中心普遍面临告警疲劳、异构数据难关联、高级威胁分析依赖少数专家、响应链路较长等问题。生成式人工智能并非替代现有安全体系的捷径，但其在语义理解、知识关联与流程编排方面的能力，为缓解上述瓶颈提供了新的探索方向。
生成式人工智能的演进速度之快、赋能范围之广、影响之深远前所未有。以负责任的态度推动生成式人工智能的发展不仅十分必要，而且越来越紧迫，这已成为影响人工智能乃至人类文明发展的重要议题。人工智能技术实际上是在人类思维活动上进行的延伸、 模拟和扩展的一种新型科学技术[1]。人工智能的应用场景日益丰富，AI技术已在金融、医疗、制造、交通、教育、网络等多个领域实现技术落地。人工智能的广泛应用及其商业化进程，正加速推动数字化转型、产业链结构的重塑优化以及生产效率的提升。
通用化与专用化双路径并行发展，垂直行业成为主攻应用方向。通用大模型以庞大参数、强泛化及多任务学习能力应对多样任务，同时具备跨模态的理解和生成能力。专用化的行业大模型则在特定领域发挥着不可或缺的作用，通过精细化优化满足行业的特殊需求，不仅参数规模更为精简，具有更低的成本优势，而且能够深度融合企业或机构的内部数据，为实际业务场景提供高度精准的服务。随着大模型在垂直行业的深入应用与推广，其巨大的潜在价值将得到更为广泛地认可和体现。
2. 人工智能在网络安全领域的应用趋势
生成式人工智能作为人工智能领域的重要分支，以其强大的数据处理能力和创新的应用场景，正在以前所未有的速度改变着各行各业，对网络安全工作的影响也不例外[2]。早从十多年前开始，全球各类安全产品和工具已经逐步利用 AI 提升对恶意威胁的检测效率，以及安全产品自动化响应和处置的能力，大幅提高安全运营效率，降低人工参与比例和安全服务成本。AI 基于一系列结构化和非结构化数据，包括日志信息、设备遥测数据、网络包头和其他可用信息，提供咨询、增强服务和半自主网络安全防御功能。网络安全领域的各类威胁、样本、日志、事件，同样可以通过生成式人工智能进行学习训练、推理研判，并且微软、OpenAI、谷歌、CrowdStrike、斯坦福大学、清华大学等机构的大量学术研究和工程实践证实，生成式人工智能相比传统机器学习和深度学习算法，具有更高的威胁检出率，更低的误报率，更强的意图理解和内容生成能力，甚至具备自主联动情报、沙箱、安全设备等能力。生成式人工智能技术能够有效提升软硬件网络安全防护水平、提高网络防御人员决策效率、优化第三方检测评估技术等，极大地提高网络安全弹性[3][4]。其能在网络安全中的应用，为网络安全的威胁检测、事件研判、溯源处置，甚至应用开发安全、数据安全等领域，都具有巨大助力。目前，国内外在网络安全中应用 AI 技术的一些典型场景如下：
（1）网络入侵检测。利用 AI 技术，通过学习网络流量的正常行为特征，构建流量检测模型，对网络流量进行实时监测。当网络中出现与正常行为特征不相符的行为时，AI 模型系统能够自动识别和研判，触发警报或采取相应的防御措施。
（2）恶意代码检测。传统的恶意代码检测主要依赖静态特征库匹配，这种方式对于新型病毒和变种病毒效果不佳。利用 AI 技术，通过对恶意代码的特征和行为模式进行学习，构建恶意代码检测模型，对文件的静态属性（如代码结构）和动态行为（如运行时操作）进行实时监测，发现异常后触发警报或采取相应的防御措施。
（3）威胁情报分析。利用 AI 技术，能够有效提升安全威胁情报分析多个环节的工作效率，比如基于自然语言处理（NLP）技术对采集到的多源安全数据（包括网络流量、日志文件、安全事件、漏洞信息、社交媒体、论坛、暗网）进行分析，提取其中的关键信息；利用聚类、决策树等机器学习算法对正常行为进行建模，识别威胁活动；构建知识图谱，将攻击者、恶意软件、漏洞、攻击目标等信息进行关联，以便更好地理解攻击者的行为和意图等[5]。这些工作的优化，能够让安全威胁情报分析变得更加高效和智能化。
（4）钓鱼欺诈识别。综合利用自然语言处理（NLP）和计算机视觉（VC）等 AI 技术，对电子邮件中的文本、附件、网页链接、二维码等内容进行分析，通过检测其中的文本语法错误、表述异常、域名相似度、恶意链接、恶意代码等，识别出钓鱼和欺诈信息的特征。
（5）安全运营中心。利用 AI 技术，可以在安全运营工作中多个环节提升效率和效果，比如自动化监控和告警、事件响应、日志分析、SIEM 增强、恶意软件检测、预测性分析、安全配置和合规性检查以及用户体验优化等。不同环节可能涉及不同的 AI 技术应用，比如在自动化监控和告警中，通过机器学习模型自动监控网络和系统活动，识别异常，减少误报；在安全事件分析中基于预先训练的行为模型进行智能关联分析；通过生成式大语言模型构建智能问答交互窗口，提升安全运营人员工作效率等。
（6）网络舆情监测。利用 AI 技术，能够自动分析和识别网络上的舆情信息（自然语言处理、情感分析），发现其中潜在的网络安全风险和威胁，比如针对重要基础设施的网络攻击预谋，帮助相关组织及时采取和升级安全防范措施。
（7）数据安全风险监测。利用 AI 技术，构建数据分类分级的自动化工具，并通过数据的理解建设数据风险的感知预警体系，帮助医院进一步完善数据资产的管理以及数据资源访问和交互的风险监测能力。
3. 医疗安全智能体平台：探索路径与核心决策点
3.1.探索路径与核心决策点
立足于医疗行业“降本增效与智慧化升级”的业务需求，面对威胁增加、合规监管严格及运营成本高昂等安全挑战，希望构建基于能力池的弹性扩展智能安全架构。通过在应用层、模型层及底座层做出现代化技术抉择，深度权衡技术先进性、数据合规隐私与自主可控能力，并以“基础设施兼容、核心能力验证、全面智慧化赋能”三阶段路径有序推进落地，确保安全治理的高效与稳健。
3.1.1 安全体系向AI领域转变探索：辅助而非替代安全决策
未来安全运营将与生成式人工智能应用逐步融合。基于AI的监测和响应能力，可辅助开展网络流量分析、异常识别和事件处置，但高风险动作仍应保留人工复核、权限控制和审计留痕。其价值不应仅以功能数量衡量，还应通过误报压降、平均检测时间（MTTD）、平均响应时间（MTTR）、人力投入和业务影响等指标持续验证。
3.1.2 多元化安全智能体协同探索：明确职责边界与处置权限
多类安全智能体可以分别承担研判值守、数据安全、威胁检测、行为分析和终端安全等任务，但并行运行也可能带来职责重叠、结论冲突和重复处置。实践中需要建立统一的任务编排、置信度阈值、升级机制和人工兜底规则，并通过标准接口与现有SOC、防火墙、EDR和SOAR等系统渐进式集成。
3.1.3 统一安全数据探索：先治理、再智能
随着安全体系向AI领域转变，来自不同设备、平台和业务系统的数据需要在授权边界内完成采集、清洗、标准化和质量评估[6]。对于HIS、PACS等非安全系统日志，还应落实最小必要、脱敏、分级授权和全程审计。统一数据底座并不等于集中全部原始数据，而是以可控、可追溯的方式为模型提供高质量上下文[7]；数据投毒、偏差累积和敏感信息泄露也应纳入持续治理。
3.1.4 核心决策点
（1）集成形式：原则上不推倒重来，而是选择告警降噪、事件辅助分析等低风险高频场景开展小范围验证，再扩展至数据安全和自动化处置。每一阶段均应设置可回退机制，并与现有SOC流程共同演进。
（2）智能体协同：按照“建议—复核—执行”划分权限。初期优先让智能体承担检索、归并、解释和报告生成，对隔离终端、封禁账号等高风险动作保留人工审批；成熟后再依据可量化效果逐步扩大自动化范围。
（3）模型底座：开源模型便于私有化和深度适配，商用模型通常具备更成熟的服务能力。选型时应同步评估效果、算力成本、许可条款、版本更新、供应链风险和退出机制；微调与评测数据应可追溯。
（4）数据底座：自建、采购或混合建设，应结合院内数据主权、接口改造量和长期运维能力决策。HIS、PACS等日志接入须先明确用途、范围、脱敏和留存策略，避免为追求数据规模突破合规边界。
3.2.医疗多元化安全智能体平台实践
医疗多元化安全智能体平台可被理解为面向威胁检测、运营研判、数据资产梳理和流转风险分析等场景的能力池。建设思路是在保留现有安全体系的基础上，以安全数据底座和安全模型底座承载新增能力，并通过标准接口与安全设备、平台、业务系统及医疗大模型连接。该架构是阶段性探索方案，具体选型和建设范围仍需根据数据合规、现网兼容性、团队能力与投入产出评估逐步收敛。安全架构如下图所示：
基于多元化安全智能体平台建设方案，各核心模块为：
应用层：
原生融合安全大模型构建研判值守智能体、数据安全智能体、威胁检测智能体、行为分析智能体及终端安全智能体等搭建医疗多元化智能体平台将医院安全体系向智慧化迈进。在后续安全智能体的搭建以模型形式灵活扩展。
模型层：
基于生成式大模型技术，面向web检测、钓鱼监测、运营、数据安全等安全领域，训练开发的安全大模型应用。各类大模型应用可提供威胁检测能力增强、告警日志自主研判解读、自然语言交互、自动化排查检索和生成等能力。
底座层：
安全数据底座对接流量探针、终端安全、安全运营平台等，采集各类安全设备日志、告警、资产等数据，基于统一数据规范进行清洗、富化、标准化。并利用机器学习方式理解数据字段，生成标准化和字段提取规则。安全数据底座同时提供安全数据接入质量评估以及利用率评估，便于及时调整接入数据类型、大小，支撑上层模型和应用高效分析研判。安全模型底座支撑各类安全大模型部署推理，提供API工具接口、RAG向量数据库等能力，支撑模型实现完整的智能体框架。同时，安全模型底座支持模型调度和高可用、模型推理优化。通过对GPU算力资源进行统一管理，高效调度，并行优化，提高模型推理性能和可靠性稳定性。同时提供模型水印、模型加密技术，实现部署的模型只能接受来自授权用户和应用的推理请求。安全模型底座可在高性能训练卡上部署，支持基于基模的微调和微调模型的部署推理。
传统安全体系：
传统安全体系包括现有防火墙、终端安全、流量检测平台、流量探针、安全运营平台等。现有安全体系告警和日志可上传安全数据底座进行统一治理，同时对接安全应用进行结果展示或自动化处置。
AI和应用体系：
通过安全智能体对接各类AI应用、医疗大模型，基于医疗信息化语料，场景安全语料，院内资产信息等可将安全智能体平台与医疗信息化结合形成医疗AI安全体系。
3.3.智能体应用场景
（1）告警降噪
近半年的实践期间，实现了从海量告警中识别少量精准的安全事件的转变。期间接入网络与终端侧告警超16.3万条，GPT分析定性出有效告警996条，AI赋能告警消减率高达 99.32%。
构建网端关联融合模型，旨在解决异构安全设备间日志规则的命名差异、分类异构性及字段语义鸿沟问题，通过安全大模型驱动的动态泛化能力实现跨源告警的语义归一与事件归并；设计威胁定性分级机制，针对海量告警中存在的业务误报、自动化探测噪声与人工渗透、黑产攻击等高价值威胁的混杂现象，引入多维度特征提取与模式识别算法，建立噪声过滤与威胁增强模型，确保有限运维资源聚焦于真实攻击链的研判与响应[8]。
（2）告警/事件分析
安全自动处置879条有效告警，仅123条需人工决策，在有效告警中，严重告警仅占0.94%，高危告警占仅18.93%，累计节省研判时间可超3800小时。单告警/事件的MTTD由传统人力的至少10min升级为30s，效率提升95%。
安全事件分析体系通过三阶架构实现攻击链全景解构与高效响应：1）基于ATT&CK矩阵构建威胁知识图谱，将碎片化告警聚合为高质量安全事件，提供攻击技术ID映射、进程树行为钻取及自动化处置建议，支持一键遏制、SOAR编排等标准化操作；2）建立四维可视化模型，涵盖终端失陷溯源（入口定位与行为复现）、攻击影响面评估、多主机关联分析及攻击者画像生成，形成"点-线-面-体"的立体研判视图；3）采用复杂事件处理（CEP）引擎实现多源数据语义关联，结合云端威胁情报与时间线推理，构建闭环分析流程，显著提升MTTD（平均检测时间）与应急响应效能。通过攻击故事线重构、行为模式识别与处置决策支持，实现从孤立告警向智能事件分析的转变。
（3）数据安全风险检测
数据访问风险检测体系通过大模型驱动的双轨研判机制，实现动态安全防护。首先，基于多源异构数据理解范式，构建融合自然语言处理与行业规则的知识图谱，实时解析数据中的敏感信息，生成动态分类分级标签，建立数据资产拓扑。其次，引入实战攻防经验训练的异常检测模型，对数据流转过程进行行为轨迹追踪与风险模式匹配，自动生成包含访问路径、威胁推理的研判报告，形成"检测-分析-响应"的闭环链路。该体系通过语义解析与行为推理的协同，有效应对数据生命周期中的越权访问、敏感泄露等风险，提升安全治理的智能化水平。
（4）钓鱼邮件检测
在钓鱼邮件场景中，AI赋能邮件检测实践效果良好，和传统的邮件网关对比提升明显，检出率可由传统方案的15.7%提升至94.8%，误报率可由传统方案0.15%降低至0.046%。
钓鱼邮件场景主要的实践原理：1）基于多特征融合的对抗样本识别引擎，综合解析邮件发件人画像、正文语义特征、附件行为模式及二维码元数据，通过攻击意图推理与思维链关联分析，突破传统规则匹配的局限性，实现对高隐蔽性钓鱼攻击的检测；2）利用大模型的内容生成能力，自动构建包含邮件原文还原、攻击链路可视化、异常特征说明及处置建议的四维解读报告，将人工研判流程转化为智能分析流水线。该体系通过语义理解与行为推理的协同，有效应对0day钓鱼攻击变种，显著提升检测覆盖率与响应效率。
4. 现实挑战、验证指标与待解问题
4.1.成本与价值验证
平台投入不仅包括模型与GPU算力，还包括数据治理、接口改造、评测、运维和人员培训。建议从小场景建立基线，持续比较告警压降率、MTTD、MTTR、人工工时、误处置率和单次推理成本，并与传统设备升级、MDR服务等路径进行同口径评估。现阶段不宜在缺少实测数据时宣称显著收益。
4.2.组织与流程适配
智能体引入后，安全分析师的职责将部分转向知识维护、提示与规则调优、结果复核和模型评测。团队需要明确智能体输出的责任边界，建立培训、双人复核、异常升级和定期复盘机制，避免因自动化形成新的单点依赖。
4.3.可信性与供应链治理
医疗场景必须正视模型幻觉、数据投毒、提示注入、越权调用和敏感数据泄露等风险。应对模型、框架、插件和数据集形成可追溯清单，落实版本锁定、漏洞监测、隔离测试、输出证据引用和全链路审计。对于开源模型，可探索建立面向安全AI的“模型物料清单”，并形成持续更新和退出机制。
4.4.社区协同思考
上述问题分别关联twt社区课题三的行业智能体价值验证、课题四的模型底座高可用与智能体服务SLA、课题七的开源与供应链安全，以及三甲医院纵向专项中的核心医疗业务连续性保障。仍待共同讨论的问题包括：安全智能体SLA应如何兼顾准确率、响应延迟与可用性，关键行业能否建立可控共享的评测数据集，开源模型及其依赖应采用何种统一清单和持续监测机制等。
5. 以实践发起协作
医疗安全智能体的探索仍处于起步阶段。其背后的可信AI运营、成本治理、组织转型和供应链安全，并非医疗行业独有，也是金融、能源、制造等关键行业共同面对的系统性课题。我们诚挚邀请twt社区同仁，尤其是参与课题三、课题四、课题七及相关行业专项的专家，基于本文提出的探索框架和开放问题，分享可验证的指标、失败经验与治理方法，共同形成智能时代安全运营的务实路线图。
参考文献：
[1]华程,卜俊兰,张婷婷.人工智能技术在网络空间安全防御中的应用[J].数字技术与应用,2024,42(10):60-62.
[2]刘坤峰,刘欣慧.生成式人工智能对网络安全的影响[J].中国新通信,2025,27(04):27-29.
[3]宋艳飞,樊伟.生成式人工智能对网络安全的影响分析[J].工业信息安全,2024,(01):85-91.
[4]姜海.人工智能时代,AI安全防御“不容小觑”[J].互联网经济,2019,0(6):100-101.
[5]郭春颖.AI模型安全可信性关键技术与测评方法研究[J].通信世界,2025(1):39-41.
[6]郝宁.基于人工智能技术的网络安全管理应用研究[J].信息记录材料,2024,25(02):66-68.DOI:10.16009/j.cnki.cn13-1295/tq.2024.02.021.
[7]张少昌.人工智能安全框架下信息安全防护机制的探索[J].中国信息界,2025(1):149-151.
[8]常禾雨,魏祥坡,司念文,屈丹.面向网络空间防御的人工智能安全对抗框架[J].信息工程大学学报,2024,25(5):574-579.