- 智算中心:AI产业化、产业AI化
本文来自“人工智能专题报告:智算中心—赋能AI产业化、产业AI化”,智算中心——AI时代的算力基座,GDP增长的重要抓手。智算中心以数据为资源,以强大的计算力驱动Al模型对数据进行深度加工,向企业提供技术支撑。《2022—2023中国人工智能算力发展评估报告》显示,2022年,中国人工智能在互联网、
- 2024中国超融合市场发展研究
本文来自“2024中国超融合市场发展研究”,超融合基础设施(HCI)作为一种创新的服务器架构,它通过软件定义技术实现了资源管理、应用部署和运维的一体化。HCl整合了计算、存储、网络和虚拟化等关键IT功能,为企业提供了高度集成和自动化的解决方案。VMware用户和合作伙伴面临永久授权取消和合作伙伴计划
- 大模型云网基础架构与关键技术
生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输协议优化。流控/拥塞控制技术、负载均衡技术、自动化运维技术和面向广域远程直接内存访
- 什么是HBM?
HBM(High Bandwidth Memory,高带宽内存)是为满足巨量数据处理需求而设计的DRAM技术,提供超高数据传输速率。HBM通过使用堆叠内存芯片以及硅通孔(Through-Silicon Via,TSV)技术与微凸点(Microbump)互连来实现更高的带宽和更低的功耗,从而解决传统内
- 2024年中国信创产业现状调研(领域细分)
近日,艾媒咨询官方发布了《艾媒咨询:2024年中国信创产业发展白皮书(精简版)》,汇集了芯片、服务器、整机等十五个信创行业的重要数据信息,且深入剖析了中国信创产业发展现状、产业链典型细分领域成长情况、标杆企业优秀经验以及未来发展趋势,为行业提供了重要参考和决策依据。下载链接:艾媒咨询:2024年中国
- 国产AI算力芯片厂商全景图
AI 算力芯片主要包括 GPU、FPGA,以及以 VPU、TPU 为代表的 ASIC 芯片。其中以 GPU 用量最大,据 IDC 数据,预计到 2025 年 GPU 仍将占据 AI 芯片 8 成市场份额。然而,相较传统图形 GPU,通用型算力 GPU 在芯片架构上缩减了图形图像显示、渲染等功能实现,
- 如何“榨干”本地服务器or数据中心
很多企业已经有本地研发环境,但依然为一些问题而头疼——本地资源利用率为什么这么低??设计仿真业务卡顿,怎么搞?加机器?扩存储?集群化?如何搭建一个研发集群?LSF、Slurm、OpenLava、SGE?没有经验?EDA/CAE等工具无法使用?仿真Case异常退出?验证出现中断?项目高峰期或冲刺期,怎
- 大模型场景下智算平台的设计与优化实践
本文来自“架构师峰会:大模型应用与实践合集”,《大模型场景下智算平台的设计与优化实践》,全面探讨了在大模型时代背景下,智算平台的新特点、面临的挑战以及针对性的技术实践。同时,文章也分享了百度在智算平台建设方面的经验和成果,并对智算平台的未来发展进行了深入的思考和展望。大模型时代,智算平台新特点:小模
- 新硬件驱动分布式事务处理系统
本文来自“新硬件驱动分布式事务处理系统”,新硬件繁荣,为大数据管理带来机遇。硬件能力单一与应用需求多样间的矛盾造成系统性挑战,本文通过新硬件驱动研究案例:“分布式事务处理” 与 “RDMA网络”,从性能、功能、智能三个方面进行了尝试,并取得了一些效果。《算力网络:光网络技术合集(1)》1、面向算力网
- Ethernet以太网:格局多竞争,开放占优
本文来自“网络系列报告之交换机概览:IB性能占优,以太网开放占优”,在Ethernet架构的网络中,以太网交换机是核心设备之一。基于以太网进行数据传输的多端口网络设备,每个端口都可以连接到主机或网络节点,主要功能就是根据接收到数据帧中的硬件地址,把数据转发到目的主机或网络节点。上篇文章:Infini
- 一个具有2560个GPU,316800个CPU核心的超算系统
今天是“Venado”超级计算机的剪彩仪式,早在 2021 年 4 月Nvidia 宣布其首款数据中心级 Arm 服务器 CPU 的计划时就曾暗示过这一点,并进行了一些详细讨论,但还不够充分。现在我们终于可以了解有关 Venado 系统的更多详细信息,并更深入地了解Los Alamos将如何使其发挥
- 更快的PCIe 6.0,更快的1.6T光模块
英伟达在GTC 2024大会上发布了基于“Blackwell”架构的 GB200、HGXB200 和 HGX B100,其中 GB200 将集成 2 个 Blackwell 系列 GPU 和 1 个 Grace CPU,支持内部 NVLink v5 和 PCIe 6.0。PCIe 带宽比“Hoppe
- 交换机专题:国内外交换机发展趋势研究
本文来自“《他山之石系列:交换机专题合集》”“交换机专题:国内外交换机发展趋势研究”,据IDC数据,2022年,全球交换机市场规模为3080亿元,同比增长17%,预测2022-2027年CAGR约为4.6%;中国交换机市场规模为591亿元,同比增长9.5%,预计未来5年增速高于全球增速,稳定在7%-
- 深入理解基于鲲鹏处理器的极致性能优化
更多内容请参考“鲲鹏CPU软件性能调优(精编版)”,从硬件特点分析如何进行性能调优,同时还介绍了项目中性能调优的思路和常用性能采集工具。“终极版:服务器基础知识全解(182页PPT)”和“2024中国服务器CPU行业概览:信创带动服务器CPU国产化”。鲲鹏处理器为核心的华为TaiShan服务器在国产
- 新算力硬件:调度技术与挑战
算⼒需求爆发式增⻓ vs. 算⼒硬件演进呈现领域化、规模化、异构化特征,应⽤的算⼒外需求驱动操作系统在调度机制上突破,新算⼒硬件体系对调度机制造成了多⽅⾯的挑战。本文来自“面向新算力硬件体系的调度技术挑战”,重点分析面向新算力硬件体系的调度技术挑战,以及应对之道。推荐阅读:2024年半导体分析洞察(
- 大模型未来:百模征战,产业智能跃迁(2024)
目前,AGI处于研发阶段,大模型是实现AGI的重要路径。AI大模型通过预先在海量数据上进行大规模训练,而后能通过微调以适应一系列下游任务的通用人工智能模型。在“大数据+大算力+强算法”的加持下,进一步通过“提示+指令微调+人类反馈”方式,实现一个模型应用在很多不同领域。人工智能的发展已经从“大炼模型
- 英伟达GPU:AI超大规模组网
本文来自“英伟达GPU加速迭代,聚焦AI超大规模组网”,在 2024 年以前,英伟达平均 2 年推出新一代 GPU 架构,目前 Blackwell 芯片已经投产,并预计于 2025 年推出 Blackwell Ultra AI 芯片,2026 年推出下一代 AI 平台“Rubin”,2027 年推出
- Infiniband格局寡头,性能占优
本文来自“网络系列报告之交换机概览:IB性能占优,以太网开放占优”,根据OpenAI的《Scaling Laws for Neural Language Model》,适当扩大模型参数量,语言模型的生成及预测能力将会提高,但这一正向关系很大程度上受到计算约束的限制,即相同的计算约束下,总有最佳的模型
- GPU/TPU大集群组网技术分析
流行的GPU/TPU集群网络组网,包括:NVLink、InfiniBand、ROCE以太网Fabric、DDC网络方案等,深入了解它们之间的连接方式以及如何在LLM训练中发挥作用。为了获得良好的训练性能,GPU网络需要满足以下条件:1、端到端延迟:由于GPU间通信频繁,降低节点间数据传输的总体延迟有
- 以太网:如何满足AI计算互联要求?
本文来自“光通信深度:以太网在AI算力中的Why、How和What”,文章“以太网:如何满足AI计算互联要求?”。传统云计算及相应算法产生的数据流基本为占用内存小、波动范围小的流量,因此虽然网络为非全局路由,按照既定策略为流量分配路径也不会过多出现拥塞;AI 计算产生的数据流中大象流(Elephan