Redian新闻
>
阿里安全大模型工程实践、NVIDIA NIM 推理微服务解析 | 研讨会直播预告

阿里安全大模型工程实践、NVIDIA NIM 推理微服务解析 | 研讨会直播预告

公众号新闻



5月16日19点,智猩猩将举办「企业级大模型工程实践在线研讨会」。阿里巴巴 AI 基础架构工程师刘彬(花名:慧原)NVIDIA 软件解决方案架构师吴金钟两位技术专家将分别做题为《阿里安全大模型工程实践》、《NVIDIA NIM 推理微服务加速企业级生成式 AI 应用落地》的专题分享和线上答疑。



 演讲介绍


演讲一: 阿里安全大模型工程实践

演讲嘉宾:刘彬(花名:慧原),阿里巴巴 AI 基础架构工程师

演讲时间:5 月 16 日 19:00 – 19:30


内容概要:


本演讲将深入探讨在阿里安全在大模型应用、特别是 Transformer 模型的工程实践和优化策略。演讲将从模型的结构分析、训练、部署、推理优化、量化技术到未来规划,向 AI 领域的工程师、研究人员和开发者,提供阿里安全团队在大模型技术应用的阶段性实践成果分享。在具体实践中,阿里安全采用 NVIDIA NeMo 框架和 TensorRT-LLM 显著优化了模型训练与推理性能。其中 NeMo 在多卡环境可实现 2-3 倍的训练加速,TensorRT-LLM 结合 SmoothQuant Int8 可实现领先的推理加速比,动态批处理策略 (Dynamic Batch) 将计算步骤减少 30%,实际 QPS 增益 2-3 倍。Prompt 优化策略在特定业务中提升吞吐高达 10 倍。整体优化成果显著增强了模型性能与业务效率。


听讲受益:


1.  技术洞察:深入理解大模型在实际应用中的工程挑战与优化策略,特别是在 Transformer 模型的处理、分布式训练和资源管理。

2.  应用实践指南:对于 AI 开发者和工程师,演讲将提供明确的模型训练、部署、优化、量化技术方案,如应用 NVIDIA NeMo 框架、TensoRT-LLM 推理加速库、动态批处理策略(Dynamic Batch)、Prompt 优化策略等,值得借鉴学习。

3.  量化决策:模型量化方法和评估的介绍,帮助您在选择适合业务的量化方案,平衡精度与资源消耗。


演讲二:NVIDIA NIM 推理微服务加速企业级生成式 AI 应用落地

演讲嘉宾:吴金钟,NVIDIA 软件解决方案架构师

演讲时间:5 月 16 日 19:30 – 20:00


内容概要:


进入 2024 年,企业正将注意力转向大规模生产部署,其中包括将 AI 模型连接到现有企业基础设施、优化系统延迟和吞吐量、日志记录、监控和安全性等。这种生产路径既复杂又耗时,需要专业技能、平台和流程,尤其是在大规模部署的时候。


NVIDIA NIM (NVIDIA Inference Microservice) 可以帮助企业解决上述问题。NIM 是一个容器化的推理微服务,包含行业标准 API、特定领域的代码、优化的推理引擎和企业运行时,是 NVIDIA AI Enterprise 的一部分。它是一种全新的软件打包和交付方式,能够快速部署各种定制 AI,并简化生成式 AI 模型在数亿 GPU 环境上的部署,包括云、数据中心和 GPU 加速的工作站。


本演讲将介绍 NVIDIA 如何通过 NIM 推理微服务赋能企业快速实现生成式 AI 技术的实际应用落地,共分为三个核心部分:NIM 概述、NIM 加速生成式 AI 全流程构建、通过 NIM demo 展示其可无缝接入现有 AI 开发管道、快速构建行业 AI 应用、快速构建多智能体 AI 应用的能力和巨大潜力。


听讲受益:


4.  企业决策者:了解 NIM 推理微服务如何简化生成式 AI 部署,加速业务转型,降低模型的选型、开发、验证、服务迁移等一系列成本,并大幅提升部署效率。

5.  技术团队:获取 NIM 推理微服务实现生成式 AI 快速大规模部署的实践指南,从数据处理到部署、优化、评估、推理,一站式解决方案。

6.  开发者:学习如何集成 NVIDIA NIM 推理微服务到现有 AI 开发管道,通过快、好、省的方式实现概念验证。

7.  研究人员:了解 NVIDIA 针对 LLM 推理和部署优化所提供的软件及微服务,包含可用来支持各类大模型推理优化和部署的 TensorRT-LLM 及Triton 推理服务器等技术。


 报名方式


对此次研讨会感兴趣的朋友,可以扫描下方二维码,添加小助手格尔进行报名。已添加过格尔的老朋友,可以给格尔私信,发送“NVIDIA2403”即可报名。


我们会为审核通过的朋友推送直播链接。同时,本次研讨会也组建了交流群,直播开始前会邀请审核通过的相关朋友入群交流。


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
AI辅助内部研发效率提升,昇腾大模型推理的最佳实践鹅厂革新大模型工具全链条!5分钟开发AI助手,河南学生已经用上了AI早知道|360安全大模型3.0发布;通义听悟上线音视频问答助手;腾讯混元大模型参数规模扩展至万亿使用 Tessent 测试解决方案在 2.5D / 3D 设计中实施 DFT|西门子EDA在线研讨会直播预告岱根塔拉的芦花开了Nvidia 股票 1121了!!!零一万物李谋:当大模型推理遇到算力瓶颈,如何进行工程优化?今日arXiv最热NLP大模型论文:揭露大语言模型短板,北京大学提出事件推理测试基准破解大模型安全难题,360推出大模型安全能力框架今日arXiv最热CV大模型论文:国产开源视觉大模型InternVL 1.5发布,赶超GPT-4V水准今日arXiv最热大模型论文:COLING 2024: 复旦发布AoR,层级聚合推理突破大模型复杂推理上限打造人力资源一站式服务解决方案,SmartDeer助力医健企业出海中国工业互联网研究院:人工智能大模型工业应用准确性测评报告英伟达新核弹B200发布,一台服务器顶一个超算,万亿参数大模型30倍推理加速|亮马桥小纪严选Nvidia 股票上 1000 了!!!!!!精选MLE岗位丨Apple、Fujitsu、NVIDIA等公司开放岗位!惊呆!大模型工程师月薪快10w了![旅游] Día de la Independencia | 2017年9月游墨西哥城第3-4天谷歌、阿里、字节、科大讯飞、月之暗面、智谱等大模型落地实践案例集结完毕|AICon 北京 2024 议程上线方正证券金融科技云原生微服务建设实践直播预告 | 中国心理卫生协会-心理工作者科普技能提升营-营前公益科普直播 精彩预告通过鼓励孩子动手做实验、实践、提问来帮助他学会思考问题和自己寻找答案。阿里安全使用 NVIDIA NeMo 框架和 TensorRT-LLM 的大模型工程化落地实践大模型的“瘦身”革命:巨头逐鹿轻量化大模型 | 大模型一周大事最新大模型推理优化进展:英伟达、阿里、腾讯和零一万物专家观点解读|AICon【直播预告】泪小管插入剂的产业化实践、风险和机遇使用 HyperLynx/ Calibre 助力您的 3D IC 电子仿真|西门子EDA在线研讨会直播预告那知青 那罐头开源大模型火了!(附99个大模型微调模型/数据/工具)!三十年的“好”五年后的开篇阿里通义千问2.5大模型发布;阿里达摩院提出“知识链”框架,逐步纠错降低大模型幻觉丨AIGC日报今日arXiv最热大模型论文:大模型都能怎么用?中南大学最新综述:大模型时代的自然语言处理360安全大模型3.0来了!垂直大模型,他们这么训会议预告|洪子诚文学史研究与当代文学学科发展研讨会论种族歧视万字综述大模型高效推理:无问芯穹与清华、上交最新联合研究全面解析大模型推理优化
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。