一、引言
近年来,以 ChatGPT、Sora 等为代表的大模型技术受到了国内外各领域的广泛关注, 业界普遍认为 2024 年将会是 AI 商业应用的爆发元年,AI 绘画、AI 写作、AI 编程等已经极大方便了人们的工作和生活。我们正处于人工智能的黄金时代,技术交织催动了各类智能应用的不断涌现,大模型技术的爆发式增长实现了对传统人工智能技术的多元化融合,自然语言处理、机器学习、神经网络、知识图谱等技术互相促进,在大模型的带动下,随着模型参数量级的提升和训练数据规模的提升出现了量变引起质变的神奇效果,智慧能力也出现了质的飞跃。
AI 大模型在公共安全领域也被广泛用于城市现代化治理,人工智能技术在公共安全领域已有众多成功落地实践的案例,特别在视频监测、交通管理、舆情管控、预测预警等层面, 人工智能技术与众多公共安全业务场景深度融合,为城市社会治理智慧化提质增效。随着大模型迭代式颠覆性发展,越来越多涉及人工智能相关领域的厂商将产品研发方向逐步向应用领域对齐渗透。可以预期,人工智能技术将持续对安防行业产生深远影响。
随着 AI 大模型应用场景不断涌现以及计算规模不断攀升,大模型训练需要一个“规模庞大 + 异构计算 + 生态兼容”的加速计算底座来缩短训练周期,实现模型能力的快速迭代。云计算平台自身具备高可靠、易扩展、灵活调度、能够有效提升基础资源利用率的特点,当前大众耳熟能详的 AI 大模型基本都构筑在云计算平台的基础之上,这也对云计算的各个层面产生了深远影响,持续推动着云计算产业向多元算力融合调度、综合应用服务支撑、芯云安全一体化等方向不断创新。
二、云计算加速AI大模型产业发展
1.多元算力融合调度,提升AI大模型训练推理效率
我国智能算力领域仍处于严重的供不应求状态, 美国对 AI 芯片的出口管制措施和大模型训练需要英伟达单一集群千卡、万卡的规模相矛盾。为解决这个矛盾,国内涌现了一批针对不同的使用场景生产研发 AI 芯片的厂商,也导致国内智算集群多是多元算力并存的情况,如何更加精确的管理和调度多元算力资源、更加高效的实现数据访问和存储、更加合理的构建算力网络,是 AI 大模型发展对云计算平台提出的期望和要求。
在多元算力管理调度层面,云平台厂商要紧紧围绕国产信息技术应用创新要求以及人工智能产业发展趋势,需要兼容适配多种异构算力资源,例如X86、ARM 等架构的 CPU 处理器,以及各个厂商人工智能加速卡等异构算力基础设施,来满足大模型应用对底层算力的需求。云计算平台需要支持异构资源池的统一管理,来实现多种架构算力基础设施资源的统一调度与使用。同时,云计算平台还需要通过不断优化计算模块、简化请求处理路径、引入动态调度机制等方式来实现异构资源的灵活调度, 让资源调度更精准、并发处理能力更强,充分利用有限的算力资源来实现 AI 大模型赋能产业应用。
在存储架构设计方面,AI 数据存力与大模型数据归集、数据处理、模型开发、训练推理、数据归档等环节的执行效率紧密相关。在 AI 应用开发过程中,需要频繁从数据集读取 Tokens,但每个 Token 通常只有几个字节大小,存储系统需要满足实时高并发海量小IO 的能力,以极低的延迟来保障性能。云计算平台需要满足AI 大模型计算系统与存储系统间数据交换的性能要求,其主要技术发展趋势有以下几点:首先,存储系统的多级缓存加速技术,通过多个GPU 计算节点的本地SSD 磁盘可以构建出临时的通用数据缓存空间,在作业执行时通过数据加载策略驱动,对训练数据实现快速加载。作业完成时,再将作业数据移动到后端存储,这种方式可以有效提升海量小文件元数据和数据资源的访问性能。其次,在传统的 AI 训练场景下,智能计算芯片读取数据需要先将数据加载到缓存,再由CPU 发往智能计算芯片进行读取,这种操作会产生额外的数据拷贝工作,加大系统开销,影响应用运行效率。为解决这类问题,存储系统可以运用云计算平台的加速卡直通优化技术实现多层级智能加速,让 AI 服务器的智能计算芯片直接读取存储数据,消除 CPU 处理开销,避免缓存带来的额外数据拷贝延迟,提升存储访问性能,满足 AI大模型多样化的用户场景应用需求。
在网络架构设计层面,利用 AI 加速卡进行深度网络训练,根据不同的情况采用不同的并行方式, 通常有单机单卡、单机多卡和多机多卡,而在单机多卡和多机多卡情况下又可以分为数据并行和模型并行两种方式。在处理器速度获得巨大提升的今天, 网络带宽成为了人工智能计算系统计算效率的重要制约因素。对于人工智能网络模型训练时,除了满足可以提供计算强大计算能力的 AI 计算处理器之外还需要保证 PCI-E 的传输带宽。对于多机情况,则需要云平台能够提供更好网络带宽的网络设备来保证整个系统的数据传输效率,减少网络数据传输带来的影响。大模型时代对算力网络的要求更为严苛, 不但要实时感知各类应用需求、提升网络带宽、降低网络延迟、提升数据传输效率,还要不断调整优化调度策略,合理运用算力度量、算力标识、算力感知、算力路由等技术,实现从云网协调向算网融合发展,来满足云上大模型的大规模数据处理和网络调度需求。
2.综合应用服务支撑,降低AI大模型应用开发难度
大模型的兴起同步推动了云计算平台服务能力的提升,在充分满足AI 大模型训练推理所需的算力、存储、网络资源以及资源调度需求的同时,需要对数据管理和大模型应用提供支撑。
数据作为 AI 大模型应用的关键要素,云计算平台引入数据中台可为 AI 大模型应用开发提供便利,提供数据汇聚、数据治理、数据组织、数据处理、数据分级分类、数据服务等数据全生命周期管理能力,降低 AI 大模型应用数据管理难度。
云计算平台引入云原生容器技术使能,为 AI 大模型应用部署提供容器编排、代码托管、持续集成等平台支撑能力,简化应用开发管理流程,并对外提供开放兼容的统一服务接口。除此之外,云计算平台以 MaaS 服务的方式提供简化大模型调用方式来促进大模型技术的普及和深化应用。当前,越来越多的云计算平台厂商已经将原有的各类服务组件重新定义,组件底层均采用容器、微服务等技术作为支撑,将云平台打造成了一个动态、可扩展的生态系统。在这种模式下,各类云平台服务组件可独立自主地为用户提供服务,并支持按需扩展、灵活组合和快速迭代,为 AI 大模型厂商提供一个功能可持续丰富的云计算环境。
3.芯云安全一体化,为AI大模型应用创新安全保障护航
AI 大模型技术的迅猛发展,在极大提升人们生产生活质效的同时,也带来了新的数据安全风险。AI 大模型的训练需要海量数据进行投放来提升其推理的精确度,但是在大模型的训练、应用和模型优化的过程中,所投放的数据可能包含了公民个人信息或隐私。如果不对其计算环境和处理过程实施必要处理和保护,可能会造成对公民个人信息的误用或滥用,侵犯个人隐私权益。
在云计算环境保护层面,云计算平台需要能够为 AI 大模型的数据训练提供完备的安全保障能力。一方面,可以通过部署云防火墙、流量检测、云堡垒机、应用防火墙、数据库审计、攻击预警等安全防护组件,提升云计算平台安全防护能力以保障大模型外部环境安全。还可通过安装主机防护、病毒攻击检测、态势感知等安全服务,加固云主机系统, 修复系统漏洞,保障大模型应用所在的云主机的安全。另一方面,可以引用“可信计算”的概念,可信计算的核心思想是“可信传递”,即从一个初始的可信根出发,通过不断扩展信任边界来确保整个系统的安全可信,可利用芯片的安全启动能力,完成大模型系统在启动过程中和启动过程后的动态安全度量,保证系统在启动环节整个环境当中数据的安全性。同时,数据在大模型计算的过程中,可以通过为云服务器提供芯片级安全能力,为用户提供数据可用而不可见的可信执行环境,运用动态密钥验证系统,为平台和租户提供加解密服务,对用户信息、日志数据、虚拟化资源提供多种国密算法来分别保证大模型应用的每个独立虚拟机内部数据的安全性。
在数据处理过程保护层面,为打造更为贴近行业的大模型应用,在训练数据准备阶段就需要对数据进行初步加工提炼。首先,可以通过数据分类来厘清数据资源的种类情况,并根据敏感程度对数据进行分级处理,保障数据使用的合规安全。其次, 可对数据资源进行冗余去重和低质过滤,提供数据的多样性,避免低质量的训练数据对模型造成污染,保障训练过程的稳定性。同时,需要积极发挥国产密码技术在大模型隐私信息安全保护中的作用,对大模型训练所使用的大量数据资源进行敏感内容的识别和提取,通过云计算平台调用芯片的数据加解密能力,加强对敏感数据的加密存储、加密传输和脱敏处理,保障敏感信息不出域,降低数据安全风险。
三、AI大模型在安防行业的发展趋势
大模型技术的创新性发展,当前已经逐步渗透到了人们生产生活的各个方面, 2024 年 7 月,北京率先发布《北京市推动“人工智能 +”行动计划(2024-2025 年)》,力争于 2025 年年底形成 100 个优秀的行业大模型产品和 1000 个行业成功案例。人工智能产业化也将促进整个智能产业链的整体协同发展,包括智能制造、软件开发、数据处理和云计算等技术都会随着人工智能技术的深入应用,为千行百业带来新的机遇和挑战。在公共安全领域,人工智能技术当前已逐渐成为了增强指挥决策准确性、提高生产力工作效能的重要手段,与大数据、云计算等技术共同成为了推动现代化城市治理的科技支撑与创新驱动,AI 大模型也将持续对城市公共安全现代化治理赋能,为维护社会和谐稳定、国家长治久安、人民安居乐业发挥强劲有力的保障作用。
大语言模型作为 AI 大模型的一个重要分支,通过训练大量文本数据,其自身具备理解和生成自然语言的能力,大语言模型当前已经具有了广泛的应用和实践案例,诸如文本摘要、知识问答、情感分析、智能撰写等能力在公共安全领域拥有着广阔的应用前景。通用大语言模型结合行业数据挖掘分析以及特色知识信息的灌注,可以形成特色的行业大模型,再结合特定场景的应用,能够有效激发并释放科技潜能。例如,在舆情信息监管方面,大语言模型可以实现对海量、碎片化舆情类数据的综合分析和业务洞察,并快速精准地提炼出关键信息要素, 帮助有关部门动态分析、跟踪信息动向并及时进行干预和引导,正本清源, 保障网络空间的天朗气清;在突发事件应急管理方面,通过运用大模型技术, 对应急管理领域的相关数据进行深度挖掘分析,帮助管理部门及时发现问题、提前预警,并做出科学的决策。同时,还可以通过智能问答的方式,为现场工作人员提供科学有效的处置措施建议、为救援疏散部门规划出最优的救援路线和最近的疏散点位、为后勤保障部门推荐合理的救援物资配备方案等等, 大模型在应急管理方面可以有效提升应急响应速度和处置效率,让应急管理工作更加精准高效。
与大语言模型不同,多模态模型更加注重跨模态信息的融合与交互,特别是在图像识别、图像生成、视频生成等方面,能够实现更为丰富和深入的数据理解。在公共安全领域,多模态模型可以便捷地实现对视频图像内容信息的抽取,更为全面、准确的识别出事件的相关信息要素,有利于对突发事件进行快速响应和处置,以保障公民的生命财产安全和社会稳定。例如:在道路交通管理层面,一方面,可以通过多模态模型有效识别出道路损毁坍塌、路面积雪结冰、设施破损毁坏等异常情况并及时进行通报预警,相关部门可以及时按照预警级别进行有效处置,实现降本增效;另一方面,还可以基于多模态模型,构建以车纹识别为核心的在途车辆违法预警和联网缉查机制, 自动提取机动车车辆外观特征信息,智能监管驾驶人的驾驶行为,实现机动车个性化特征的数字化表达,主动发现违法驾驶行为并进行通报预警,经相关部门审核后进行布控拦截或非现场处置。
AI 大模型技术发展至今,在行业应用方面已经不再是由用户下达一些简单指令完成单一的任务,智能体同样也是当前行业重点的发展方向。作为 AI大模型技术的综合载体,智能体能够把大语言模型和多模态模型的能力进行整合,在公共安全领域的特定场景下具备能理解、会思考、懂规划、做决策、可执行的能力,有效协助用户完成各类复杂任务,实现更高级别的信息分析、任务执行和智能决策。
展望未来,AI 大模型推动了新一轮以智能算力为特征的算力基础设施升级浪潮,云计算平台厂商应把握历史机遇,积极助力大模型能力与应用建设, 推动产业转型升级、赋能科技创新进步,为新时期经济社会发展贡献力量。
■文/ 刘泽隶 吕志成 曾宇航 徐维泽 曙光云计算集团股份有限公司
文章来源于《中国安防》杂志2024年第11期
《中国安防》
-国内行业权威杂志-
出版发行:《中国安防》编辑部
主管主办:中国安全防范产品行业协会
电话:010-88825523