Redian新闻
>
首个GPU高级语言,大规模并行就像写Python,已获8500 Star

首个GPU高级语言,大规模并行就像写Python,已获8500 Star

公众号新闻
机器之心报道

编辑:泽南、小舟

最多可支持 10000+ 个并发线程。


经过近 10 年的不懈努力,对计算机科学核心的深入研究,人们终于实现了一个梦想:在 GPU 上运行高级语言。


上周末,一种名为 Bend 的编程语言在开源社区引发了热烈的讨论,GitHub 的 Star 量已经超过了 8500。



GitHub:https://github.com/HigherOrderCO/Bend


作为一种大规模并行的高级编程语言,它仍处于研究阶段,但提出的思路已经让人们感到非常惊讶。使用 Bend,你可以为多核 CPU/GPU 编写并行代码,而无需成为具有 10 年经验的 C/CUDA 专家,感觉就像 Python 一样!


是的,Bend 采用了 Python 语法。


与 CUDA、Metal 等低级替代方案不同,Bend 具有 Python、Haskell 等表达性语言的功能,包括快速对象分配、完全闭包支持的高阶函数、无限制的递归,甚至 continuation。Bend 运行在大规模并行硬件上,具有基于核心数量的近线性加速。Bend 由 HVM2 运行时提供支持。


该项目的主要贡献者 Victor Taelin 来自巴西,他在 X 平台上分享了 Bend 的主要特性和开发思路。


首先,Bend 不适用于现代机器学习算法,因为这些算法是高度正则化的(矩阵乘法),具有预先分配的内存,并且通常已经有编写好的 CUDA 内核。


Bend 的巨大优势体现在实际应用中,这是因为「真正的应用程序」通常没有预算来制作专用的 GPU 内核。试问,谁在 CUDA 中制作了网站?而且,即使有人这样做了,也是不可行的,因为:


1. 真正的应用程序需要从许多不同的库导入函数,无法为它们编写 CUDA 内核;

2. 真实的应用程序具有动态函数和闭包;

3. 真实的应用程序会动态且不可预测地分配大量内存。


Bend 完成了一些新的尝试,并且在某些情况下可以相当快,但现在想写大语言模型肯定是不行的。


作者对比了一下旧方法和新的方法,使用相同的算法树中的双调排序,涉及 JSON 分配和操作。Node.js 的速度是 3.5 秒(Apple M3 Max),Bend 的速度是 0.5 秒(NVIDIA RTX 4090)。


是的,目前 Bend 需要整块 GPU 才能在一个核心上击败 Node.js。但另一方面,这还是一个初生的新方法与大公司(Google)优化了 16 年的 JIT 编译器在进行比较。未来还有很多可能性。


如何使用


在 GitHub 上,作者简要介绍了 Bend 的使用流程。


首先,安装 Rust。如果你想使用 C 运行时,请安装 C 编译器(例如 GCC 或 Clang);如果要使用 CUDA 运行时,请安装 CUDA 工具包(CUDA 和 nvcc)版本 12.x。Bend 目前仅支持 Nvidia GPU。


然后,安装 HVM2 和 Bend:


cargo +nightly install hvmcargo +nightly install bend-lang


最后,编写一些 Bend 文件,并使用以下命令之一运行它:


bend run    <file.bend> # uses the Rust interpreter (sequential)bend run-c  <file.bend> # uses the C interpreter (parallel)bend run-cu <file.bend> # uses the CUDA interpreter (massively parallel)


你还可以使用 gen-c 和 gen-cu 将 Bend 编译为独立的 C/CUDA 文件,以获得最佳性能。但 gen-c、gen-cu 仍处于起步阶段,远没有像 GCC 和 GHC 这样的 SOTA 编译器那么成熟。


Bend 中的并行编程


这里举例说明可以在 Bend 中并行运行的程序。例如,表达式:


(((1 + 2) + 3) + 4)


不能并行运行,因为 + 4 取决于 + 3,而 + 3 又取决于 (1+2)。而表达式:


((1 + 2) + (3 + 4))


可以并行运行,因为 (1+2) 和 (3+4) 是独立的。Bend 并行运行的条件就是符合并行逻辑。


再来看一个更完整的代码示例:


# Sorting Network = just rotate trees!def sort (d, s, tree):  switch d:    case 0:      return treecase _:      (x,y) = treelft   = sort (d-1, 0, x)      rgt   = sort (d-1, 1, y)      return rots (d, s, lft, rgt)# Rotates sub-trees (Blue/Green Box)def rots (d, s, tree):  switch d:    case 0:      return treecase _:      (x,y) = treereturn down (d, s, warp (d-1, s, x, y))

(...)


该文件实现了具有不可变树旋转的双调排序器。它不是很多人期望的在 GPU 上快速运行的算法。然而,由于它使用本质上并行的分治方法,因此 Bend 会以多线程方式运行它。一些速度基准:


  •  CPU,Apple M3 Max,1 个线程:12.15 秒

  •  CPU,Apple M3 Max,16 线程:0.96 秒

  •  GPU,NVIDIA RTX 4090,16k 线程:0.21 秒


不执行任何操作即可实现 57 倍的加速。没有线程产生,没有锁、互斥锁的显式管理。我们只是要求 Bend 在 RTX 上运行我们的程序,就这么简单。


Bend 不限于特定范例,例如张量或矩阵。任何的并发系统,从着色器到类 Erlang 的 actor 模型都可以在 Bend 上进行模拟。例如,要实时渲染图像,我们可以简单地在每个帧上分配一个不可变的树:


# given a shader, returns a square imagedef render (depth, shader):  bend d = 0, i = 0:    when d < depth:      color = (fork (d+1, i*2+0), fork (d+1, i*2+1))    else:      width = depth / 2color = shader (i % width, i /width)  return color# given a position, returns a color# for this demo, it just busy loopsdef demo_shader (x, y):  bend i = 0:    when i < 5000:      color = fork (i + 1)    else:      color = 0x000001return color# renders a 256x256 image using demo_shaderdef main:  return render (16, demo_shader)


它确实会起作用,即使涉及的算法在 Bend 上也能很好地并行。长距离通信通过全局 beta 缩减(根据交互演算)执行,并通过 HVM2 的原子链接器正确有效地同步。


最后,作者表示 Bend 现在仅仅是第一个版本,还没有在合适的编译器上投入太多精力。大家可以预期未来每个版本的原始性能都会大幅提高。而现在,我们已经可以使用解释器,从 Python 高级语言的角度一睹大规模并行编程的样子了。


参考内容:

https://news.ycombinator.com/item?id=40390287

https://x.com/VictorTaelin?ref_src=twsrc%5Egoogle%7Ctwcamp%5Eserp%7Ctwgr%5Eauthor

https://x.com/DrJimFan/status/1791514371086250291





© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
五一抢票难,Python抢票脚本,火了!【高级公寓】Alder at Allston Yard|Allston|24新建近BU高级公寓谷歌突破2万亿美元里程碑,却被曝裁掉整个Python团队?PyTorch之父怒批离谱一名24fall网友反馈:同一申请季递交4个G5+1个G6,0 offer全拒信,问题就出现在这里!墨尔本网红请愿:呼吁允许女性携带胡椒喷雾上街!目前已获8000多个签名阿里1号AI「员工」上岗,007写代码助攻大厂程序员!炸掉祖传屎山代码,Java丝滑改Python【租房】免中介费和一个月租金丨接本科高级公寓The Indie|Allston|24新建近BU高级公寓如何不用经纪人卖自家房子 (之一)比 Python 快 9 万倍的 Mojo 终于开源了!刚上线 star 已超过 1.7 万突发!谷歌Python团队解散,PyTorch之父震惊谷歌裁掉整个 Python 团队!PyTorch 创始人急得直骂人:“WTF!核心语言团队无可替换”突发!谷歌 Python 团队全体被裁,急得 PyTorch 之父爆粗【Poem Reading Tuesday】The Star 英文诗和英文歌的节奏有关系吗10个python爬虫入门实例摩根大通:再见Python,你好SQL纽约琐事(十)一跃而过野心藏不住了!不满CPU统治,英伟达决定彻底重写软件开发栈!黄仁勋:为什么还要用Python?命令行都不需要!GPU开发时代将至2024 年 3 月编程语言排行榜,Python 与其他语言之间的差距从未如此之大!墨尔本网红请愿:呼吁法律允许妇女携带胡椒喷雾!目前已获8000多个签名一个拥有2560 个GPU,316800 个CPU核心的超算首个GPU高级语言,大规模并行就像写Python,已突破1万 Star!谷歌狂喜:JAX性能超越Pytorch、TensorFlow!或成GPU推理训练最快选择Homart集团成功收购Thompson's Herbals和Thursday Plantation,进一步扩展澳新市场影响力!第一个开源的大规模并行数据库突然 404,国内数仓市场或迎大变动仅剩3席|全面掌握Python, SQL等数据分析语言、工具和拓展包,高效斩获心仪offer!puppy是小狗,love是爱,那“puppy love”是什么意思?AI编程语言Mojo正式开源标准库,宣称比Python快9万倍Pylon框架:在PyTorch中实现带约束的损失函数谷歌Python团队全员被裁——负责内部Python所有基础设施、曾对数亿行代码执行自动重构今日arXiv最热大模型论文:首个面向AI的python编程框架,提升大模型编程能力新思路最新!2024最赚钱编程语言榜单出炉,Python爆冷出局…用Python写个自动批改作业系统!Rust编写的Web开发框架——同时支持Node和Python我和老伴(十二)个人感慨之120 香港人大政协再回首 (二十四)
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。