Redian新闻
>
[电脑] EPYC7D12 8盘3.5寸机械+多盘nvme闪存 【25G高性能】 NAS搭建方案分享

[电脑] EPYC7D12 8盘3.5寸机械+多盘nvme闪存 【25G高性能】 NAS搭建方案分享

科技

CHH ID:wengong8

如题,分享的是一个超强的NAS复合存储方案。该方案可在一个21.3升的小型nas机箱内容纳8个机械硬盘和十余个nvme闪存盘,且支持并几乎跑满25gbe高速网络。

价格放到最顶:整机含50TB硬盘约1个w整

continue。。。
这段时间着手搭建有几点:
1、今年洋lj硬件真便宜

2、618闪存价格大跳水,nvme ssd价格跌到逼近hdd,比ahci(sata)ssd更低,速度更快。

so需要一个能放得下大量剁手买来的nvme盘的NAS方案,最好避免使用昂贵的asmedia/plx拆分芯片和nvme阵列卡,且要能支持按需扩展(单盘扩容)并保证安全性。

3、苹果WWDC23发布了船新的apple silicon Mac pro,顺利成章apple silicon官宣安排上了mellanox网卡(适配cx4-cx7)。arm Mac由于全系标配雷电,用扩展坞转出PCIe*4即可蹭上Mac pro 的驱动。

(Intel MAC盼了近十年都没给mellanox驱动…还记得上万rmb的atto 40gbe网卡吗…)。到这个节点放出来,只能说懂得都懂。


Mac若能用25g网络连接到NAS,难不成Mac内置黄金存储就可以迎来解放, 再也不用给雷电盘交智商税了。。。吗?
4、新家入住解锁了homelab存放位置,然后希望NAS同时能够再跑一些extra load,如家庭影院、视频转码、相册备份识别、HA智能家居、娱乐串流,挂机下载等等。

5、楼主的电脑硬盘已满,急需大容量安全高速的存储阵列。

综上五条,汇总后即极为迫切的需要一个性能强、功耗低、扩展性好的虚拟化平台。同时运行hdd阵列和ssd阵列以及若干应用。
硬件选型过程中,因为一颗漂洋过海而来的四舍五入不要钱的神秘7d12,所以选择了epyc霄龙作为虚拟化平台。
接下来,我将详细介绍硬件选择、安装过程、系统设置和性能测试。

  1. 如果要抄作业请留意代码注释部分。


bom list清单
| 零件类型 | 型号 | 数量 |
| --- | --- | --- |
| CPU | AMD EPYC 7D12 | 1 |
| 主板 | 超微 H11SSL-C | 1 |
| 内存 | 镁光32GB  2400mhz 2r4 Reg ecc  | 3 |
| 硬盘 | 3TB CMR机械盘 SAS 希捷es3 | 7 |
|  | 18TB CMR机械盘 西数hc550 | 1 |
| 硬盘2 | 长江颗粒 第一方 致态 PC005 1TB (系统盘) | 1 |
|  | 长江颗粒 第一方 致态tiplus5000 2TB (数据盘1) | 2+ |
|  | 长江颗粒 第三方  2TB(数据盘2) | 3+ |
| 网卡 | mellanox CX4-Lx(4121a)  和25g光模块    | 1 2 |
| 网卡2 | rtl8156bg 2.5g usb网卡 | 1 |
| 显卡 | nVidia tesla p4 和涡轮散热模块 | 1 1 |
| 机箱 | 星之海 半人马座β版 | 1 |
| 电源 | sfx 750瓦 | 1 |
| 散热器 | 服务器涵道散热器 | 1 |
| 散热2 | 利民8015  | 3 |
| 散热3 | 猫头鹰12025  | 2 |
| 散热3 | 猫头鹰6025   | 1 |
| 其他 | nvme-PCIe转接卡  | 3  |

| mac转接 | jhl7440雷电三扩展坞(6540也可) | 1 |
| --- | --- | --- |
| mac网卡 | mellanox CX4-Lx(4121a)  和25g光模块 | 1 1 |
| pc网卡 | mellanox CX4-Lx(4121a)  和25g光模块 | 1 1 |
| 其他 | om3光纤跳线 | 2 |

CPU
大船货AMD EPYC 7D12,属OEM定制 ZEN2 Rome罗马系列。与锐龙3000系同源的Starship/Matisse架构,32核心64线程128兆L3。主频不高1.8-2.0ghz,但功耗极低,双烤最大83w。且pcie通道多达128条。很契合需求。



瘦死的骆驼比马大,
[email protected]也能轻松cpuz过万,用锐龙8核的功耗换来16核的性能,香~

这款CPU在闲鱼上可以拿到600元左右的价格。直接买三通道残废版也许可以砍到500

  1. `7d12好u也很挑内存,lz换了三颗u两个板最终也没四通道,基本确定是内存兼容问题`

  2. `注意 超微h11点亮7d12需要bios v2.4以下。`


机箱

机箱这个很重要,提到前面说。
首先由于lz的homelab存放地——储藏柜深度只有600mm,所以没法捡各路便宜大碗的2U/4U准系统;
这就将视野放在了小体积8盘位的nas专用机箱上。由于epyc平台标准主板最小就是ATX(排除妖板/节点板),所以刚需7扩展槽。
ATX+8盘以上+7pcie槽,小体积。。。那就是半人马座咯,1200r,咬牙掏吧。



半人马座β版。21.3L极限尺寸,风道和开孔配h11ssl不多不少。sff8643的位置很舒适。
上层据说有150瓦的解热,实测成功压住。但用全套猫扇依旧很吵,零距离摆放需佩戴降噪耳机,(应该)不能摆放在卧室环境。

  1. `整套大约30斤,体积虽小但不便携`

  2. `注意sfx电源模组线一般较短,h11ssl的cpu 4pin 供电可能需要pcie转eps12v延长线`

  3. `半高的nvme-PCIe 四盘扩展卡通常走线比较刁钻,可能不好协商到PCIe4.0,买h12系列记得注意一下。`


主板

主板方面,选择了超微H11SSL-C。



有8个SATA和2个SFF8643,SFF8643可以插8个SAS盘。
有三个pcie x16插槽和三个pcie x8插槽,双千兆i210和一个IPMI远程管理接口,1000元左右,

**应该是最便宜的EPYC ATX标准规格主板。**

预算充足的话更推荐用超微H12SSL,多28条PCIe通道,且PCIe3.0 → PCIe4.0

内存

内存方面,选择了三根32GB DDR4 2400 ECC REG内存条组96GB三通道。由于7D12的缺陷最终没有用上四通道,不过96GB已经可以很好满足需求。

硬盘

硬盘方面,闪存池选用了长江颗粒+连芸MAP1202无缓 【最低速最便宜】方案作为全闪nas的数据硬盘。长江颗粒懂得都懂便宜耐艹,5条2T平均每条400。
机械池选用了7个珍藏多年的准新SAS 3TB企业盘和1个18TB HC550硬盘作为阵列(7盘小盘体阵列保障安全和速度)和冷存储(不考虑安全)。插满机箱8盘位。

  1. `10t以上读全盘要猴年马月,漫长的故障重建过程中易继续损坏硬盘致重建失败,机械阵列还是多盘小容量为佳`


如果存储满了还可以考虑在留空的PCIe槽位扩展sas光纤卡(sas 4i4e规格)外接3.5寸机头,加个几十个盘位没问题。或者考虑下lto磁带机做二级冷备份?

网卡

网卡方面,选用了mellanox的mcx4121a-acat,属CX4-lx系列,是小mac核心所以温度不会特别高,不放心扎带绑一个4cm小风扇即可压住。
cx4121目前可兼容apple silicon设备。支持SRIOV和RDMA RocEV2技术(macOS不支持),准新300元左右。


  1. 不建议小机箱用cx3pro或者cx5,如果不差钱看看CX6-lx,sriov性能一定会好很多。100gbe网卡直接不建议没风道压不住


显卡

显卡方面,用的也是和7d12一样漂洋过海的大船英伟达tesla p4。虽然不适合玩游戏,但是可以提供视频编解码、图像处理,以及**CUDA**。
还有就是支持vGPU,可以切给虚拟机。
vGPU的方案是可以将图形任务和计算任务隔离,例如分配两个grid-p4-4q虚拟工作站实例给两个Windows虚拟机或者Linux+Windows,同时满足图形桌面渲染+娱乐和后台gpu compute任务(编解码,图像识别,推流等)
价格是400元左右,原装被动散热,**有负载必过热**,40买个涡轮扇可解决过热问题。就是橙色的那个。

  1. 注意大船p4普遍有高频噪音,敏感人士慎入




电源

看评测随便挑了一个,sfx电源预算足建议买1.5元一瓦以上。

散热器

散热器方面,是买主板送的2U散热器。风扇规格6025,换猫扇后满载不超过75度。
另机箱风扇是利民8015、猫头鹰12025。cpu-内存两个8015用利民静音扇实测可行。PCI槽位的8015风扇可以用风量更大的,比如双滚珠12V0.4a规格。

至此,硬件介绍完毕。

## 系统配置:

**软硬件架构以及基本的周边设备**
线框图 一图流:**建议放大查看**



为了提高该方案的性能、稳定性、扩展性和效率,我可以提出以下几点:

- 要尽可能利用PCIe槽位给闪存设备,最好只留一张网卡和一张显卡其他都用nvme闪存盘。这样使闪存池容量最大化,同时利用SR-IOV和Nvidia vGPU技术将网卡和显卡的功能分配给多个虚拟机,实现单设备功能复用。



- 尽可能使用RDMA技术减少高速转发带来的CPU负担,因为nvme闪存的速度已经远超过网络和常规链路层支持的速度上限,如果不采取措施,高速的闪存数据会堵塞在网络上增加CPU的负担。RDMA技术可以让闪存数据直接通过网络传输,不需要经过CPU的处理。
- 使用【25gbps/每用户】的网络带宽满足全闪NAS的性能需求,是因为Windows资源管理器的单线程传输速度受限(1.9-2GB/S);macOS对smb协议的支持不佳,而apple silicon的雷电接口也存在写入限速的硬件bug(1.5GB/S)。所以,即使使用40G或更高的网络接口,也无法充分利用网卡带宽。在这种情况下,提高网络带宽的收益很小。40Gbe等一众QSFP+网卡光模块价格也会高很多。
- 如果用户数量很少,nvme闪存组阵列几乎没有意义。单盘nvme ssd足以跑满带宽。

宿主系统

选用基于debian的开源系统proxmox ve(pve)作为虚拟化平台。
在pve上暂时用了5个虚拟机来实现需求。



### 1、TRUENAS scale

一是truenas scale,在truenas scale虚拟机中,7个 3TB机械硬盘组成一个raidz阵列,还有一块18TB HC550氦气盘做单盘条带。总共有32TiB的可用空间。raidz阵列可容忍1个硬盘同时损坏而不丢失数据,还有快照、压缩、去重、加密等高级功能。作为服务机,分配32个vCPU,兼用机械盘nas和轻量应用平台。作为nas服务端,分配2个VF虚拟25g网卡。
因为存储池总容约40TB,所以分配40GB的内存作为ARC一级缓存。建议ARC=存储池总容量的0.1%

缓存vdev设置,缓存vdev即L2ARC。这里取了个巧,给truenas分配了2个虚拟磁盘,如图开启写入同步和ssd仿真,因为pve现版本virtio虚拟盘实测读写效能非常优秀,也就是说成功省下两块物理缓存盘。。

这是qemu虚拟磁盘的读写跑分,pve宿主盘是致态PC005。建议L2ARC=存储池容量的1%

### 2、windows server 2022

作为服务机,分配32个vCPU和一个vGPU,兼用闪存nas和多媒体应用平台。作为nas服务端,分配2个VF虚拟25g网卡。

书接上文,RDMA目前最简单的实现方案就是使用2012以上版本Windows server,客户端使用 Windows 专业工作站版~~或2012以上版本Windows server~~,技术开箱即用。
且smbd(smaba-direct)技术目前为winserver独占,smbd同样在Windows上开箱即用。
RDMA我认为是全闪nas需使用到的关键技术,rdma启用后,可直接网卡对网卡传输数据,利于提供更高速和低延迟的网络传输和共享。


  1. `同时使用winnas跑闪存池也方便随时查0e(2333333`


以及要实现上文提到的支持按需扩展(单盘扩容),这里使用了付费的stablebit drivepool实现磁盘合并,以及开源免费的snapraid实现数据安全保障。

Stablebit DrivePool是一款磁盘池化应用程序,可以将多个物理硬盘组合成一个大的虚拟驱动器。


要实现数据安全需要同时部署snapraid。

SnapRAID是一款备份程序,可以为磁盘阵列存储奇偶校验信息,从而在最多六个磁盘损坏的情况下恢复数据。SnapRAID主要适用于存储大量不经常变化的文件,如家庭媒体中心。SnapRAID的特点有:

- 可以在不格式化或重新分区的情况下,使用已经有文件的磁盘。
- 可以在任何时候添加或删除磁盘,磁盘可以有不同的大小。
- 可以为任何文件夹设置奇偶校验盘,保护数据的完整性和安全性。
- 可以检测和修复数据的损坏,避免静默错误。
- 可以恢复意外删除的文件。
- 不会锁定数据,可以随时停止使用SnapRAID,而不影响数据的访问

这里编辑snapraid的config文件或使用第三方开发的GUI界面Elucidate进行简单配置,将剩余的一个数据盘设定为检验盘,根据readme教程走即可。
snapraid是快照式备份,若设置恰当将不会影响Stablebit存储池的性能。

- **winserver也可以部署其他服务,比如我正在跑的jellyfin、阿里ddns、家庭相册、某torrent等。**

### 3、Windows10专业工作站版

作为客户机,分配56个vCPU和一个vGPU,用于娱乐和cpu负载场景。作为nas客户端,分配2个VF虚拟25g网卡。
cpuz宿主空载跑分9400-10000左右,压片神器。宿主后台重负载也能跑到9000分以上。供参考。


### 4、win10ltsc

作为客户机的win10ltsc,用于整活和测试

### 5、nvlic

用于nvidia vgpu的nvlic服务


## 三、配置过程(概要)

这里只列举了一些踩坑的内容,剩余部分基本不存在难度,善用搜索引擎即可完成整个部署流程。
也可以看看这篇:

https://www.chiphell.com/thread-2402960-1-4.html

### 0、修改bios设置

启用IOMMU,SVM,ABOVE 4G,ARI SUPPORT,AER SUPPORT,SR-IOV,ACS ENABLE,

M2拓展卡对应的pcie插槽分配改成x4x4x4x4模式
启动UEFI引导

### 1、安装pve7操作系统
### 2、打开系统shell,备份并修改软件源
备份

  1. nano /etc/apt/sources.list


编辑,添加清华镜像源

  1. deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-free

  2. deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-free

  3. deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-free

  4. deb https://mirrors.tuna.tsinghua.edu.cn/debian-security bullseye-security main contrib non-free


编辑完文件后按“Ctrl + X” > “Y” > “回车”

  1. nano /etc/apt/sources.list.d/pve-enterprise.list


编辑企业源

  1. deb https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian bullseye pve-no-subscription


编辑完文件后按“Ctrl + X” > “Y” > “回车”
更新

  1. apt update && apt dist-upgrade  -y


### 3、修改grub

打开PVE节点的shell,输入命令:

  1. nano /etc/default/grub



  1. iommu=pt initcall_blacklist=sysfb_init amd_iommu=on drm.debug=0 kvm_amd.nested=1 kvm.ignore_msrs=1 kvm.report_ignored_msrs=0 pci=assign-busses pcie_acs_override=downstream,multifunction vfio_iommu_type1.allow_unsafe_interrupts=1"



PVE的shell中输入:

  1. nano /etc/modules


在文件下面添加新内容

  1. vfio

  2. vfio_iommu_type1

  3. vfio_pci

  4. vfio_virqfd


编辑完文件后按“Ctrl + X” > “Y” > “回车”,继续输入以下命令。更新配置信息并重启PVE主机

  1. update-grub

  2. update-initramfs -u -k all

  3. reboot


### 4、配置uefi Windows

创建Windows虚拟机,选择引导方式为uefi,创建完成后不要启动,PVE的shell中输入:

  1. nano /etc/pve/qemu-server/你的虚拟机编号.conf


添加这些命令行(添加它们的位置并不重要,只要它们位于新行即可。保存后 Proxmox 会为您移动内容):


  1. machine: q35

  2. cpu: host,hidden=1,flags=+pcid

  3. args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,kvm=off'


虚拟机选项调整磁盘引导顺序,Windows安装盘第一,系统盘第二,virtio驱动光盘第三
uefi引导过程中敲击任意键,启动安装程序
磁盘列表为空,就需要手动加载virtio驱动盘。virtio驱动盘至此下载:
[](https://fedorapeople.org/groups/ ... rtio/virtio-win.iso)
安装并启动,记得删除Windows安装盘。
进系统后设备管理器里手动加载驱动,启用virtio 虚拟网卡。

### 5、启用mellanox网卡sriov功能
mellanox网卡驱动pve已预装,请勿尝试手动安装
查看网卡编号`lspci -nn`或至webui-节点-网络页面 中 查找
举例,这里网卡编号是 `enp66s0f0np0` 和`enp66s0f1np1`
跳转目录

  1. cd /etc/init.d


编辑配置文件

  1. nano net-sriov



  1. #! /bin/sh

  2. ### BEGIN INIT INFO

  3. # Provides:          sriov_script

  4. # Required-Start:    $network $named $remote_fs $syslog $sriov_scripts

  5. # Required-Stop:     $remote_fs $sriov_scripts

  6. # Default-Start:     2 3 4 5

  7. # Default-Stop:      0 1 6

  8. # Short-Description: SR-IOV initialization.

  9. #Description:       Initializing VM's network with sriov support.

  10. ### END INIT INFO


  11. start () {

  12.     #enable Sriov

  13.     echo 4 > /sys/class/net/enp66s0f0np0/device/sriov_numvfs

  14.     echo 4 > /sys/class/net/enp66s0f1np1/device/sriov_numvfs


  15.     ip link set dev enp66s0f0np0 up

  16.     ip link set dev enp66s0f1np1 up

  17. #这里建议修改网卡的mac地址,要几个虚拟网卡就配置几组,最多16个

  18.     ip link set dev enp66s0f0np0 vf 0 mac 05:8a:07:b7:a8:71

  19.     ip link set dev enp66s0f0np0 vf 1 mac 05:8a:07:b7:a8:72

  20.     ip link set dev enp66s0f0np0 vf 2 mac 05:8a:07:b7:a8:73

  21.     ip link set dev enp66s0f0np0 vf 3 mac 05:8a:07:b7:a8:74


  22.     ip link set dev enp66s0f1np1 vf 0 mac 05:8a:07:b7:a8:81

  23.     ip link set dev enp66s0f1np1 vf 1 mac 05:8a:07:b7:a8:82

  24.     ip link set dev enp66s0f1np1 vf 2 mac 05:8a:07:b7:a8:83

  25.     ip link set dev enp66s0f1np1 vf 3 mac 05:8a:07:b7:a8:84

  26. }

  27. stop () {

  28.     [ "$READ_INTERFACES" != "no" ] && network_interfaces ifdown

  29. }


  30. case $1 in

  31.     start)

  32.         start

  33.         ;;

  34.     stop | force-stop)

  35.         stop

  36.         ;;

  37.     *)

  38.         echo "Usage: $0 {start|stop}" >&2

  39.         exit 1

  40.         ;;

  41. esac


  42. exit 0



逐条执行以下命令,应用保存重启

  1. chmod +x /etc/init.d/net-sriov

  2. systemctl enable net-sriov

  3. update-initramfs -u -k all

  4. update-grub

  5. reboot


重启后打开shell,输入lspci,确认是否开出vf(virtual function)

虚拟机-PCI设备,选中vf分配即可,注意:
1、同一物理端口下vfpf可任意连通,但**不能跨物理端口**(双端口卡也就是分成了两组);
2、vfvf之间跑通需要物理端口state up,若空着物理端口,内部虚拟网卡则无法使用。

### 6、配置vGPU

隔壁小黄鱼请

## 四、性能测试

客户机分别用Windows10专业工作站版和macOS14.0beta测试。

### 1、读写速度:使用crystal disk mark4软件测试nas上各个存储池的读写速度。结果如下:
> 5个2TB nvme ssd条带存储池:
>
- host顺序读写速度为3.57G/s和3.17G/s
- guest(Windows10工作站版)顺序读写速度为2.87G/s和2.59G/s
- guest(macOS Sonoma 14.0beta)顺序读写速度为1.74G/s和0.37G/s


但是若使用物理机win10工作站host对macOS Sonoma 14.0beta guest,速度则会更高,推测可能是SR-IOV的性能开销,这里再放一张物理机对连的跑分:顺序读写速度为2.54G/s和0.44G/s。

> Truenes scale7个3TB机械硬盘阵列:
>
- guest(Windows10工作站版)顺序读写速度为2.18G/s和1.63G/s
- guest(macOS Sonoma 14.0beta)顺序读写速度为2.15G/s和0.23G/s


### 2、功耗
使用一个智能插座测试nas的功耗。分别在nas空闲、满载状态下测量功耗。
- 家里智能插座似乎不准,测出功率虚高,这条后续补在评论区。
### 3、温度
ipmi自带的监控功能测试温度。
- 空闲状态:cpu温度为69℃,显卡温度为54℃,nvme ssd温度为42-50℃,机械硬盘温度为35℃。

烤鸡半小时状态:cpu温度为83℃,显卡温度为73℃,nvme ssd温度为43-53℃,机械硬盘满载温度为50℃。空载盘35℃


### 4、噪音
手机app测试,距离服务器直线距离一米,无遮挡。
启动 40db,持续运行 44db,满载(风扇拉满) 47db。


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
【洛杉矶房产】南加州Gardena楼盘3卧联排新房户型简介【2023.06.09】【安大略房产】南加州Ontario楼盘3卧公寓新房户型简介【2023.05.24】比 Python 快 3.5 万倍的 Mojo 融资七亿,LLVM之父:不会威胁到 Python,该恐惧的应该是 C++比Python快3.5万倍的Mojo融资7亿,LLVM之父:不会威胁到Python,该恐惧的应该是C++AmEx Marriott Bonvoy Business 商业信用卡【2023.9 更新:125k 开卡奖励】一个火柴有了自我保护意识,有神灵了?【尔湾房产】南加州橙县Irvine楼盘3卧公寓新房户型简介【2023.05.28】BeingLPython:最新的高性能Python实现、速度极快且支持多后端【橙县房产】南加州Rancho Mission Viejo楼盘3-4卧新房户型简介【2023.06.09】[电脑] 紧凑纯白主机搭建:华硕B760小吹雪D5/索泰 4070Ti/AKLLA A6M 装机分享【河滨县房产】南加州Temecula特曼库拉楼盘3卧独栋新房户型简介【2023.06.10】【橙县房产】南加州La Habra拉哈布拉新楼盘3卧联排新房户型简介【2023.06.11】【尔湾房产】南加州橙县Irvine楼盘3卧公寓新房户型简介【2023.05.24】【55+养老楼盘】南加州特曼库拉Temecula楼盘3卧独栋别墅新房户型简介【2023.06.29】北美印地安人保留地 -穿行印象奎芯科技副总裁王晓阳:驱动云/边缘侧算力建设的高性能互联接口方案| 2023全球AI芯片峰会演讲预告【光轮智能】完成数千万元融资 | 奇绩校友融资新闻详解Python文件: .py、.ipynb、.pyi、.pyc、​.pyd !俄罗斯会不会在本土演示自家核武威力Win11 又砍掉了一些【经典功能】... 微软:用户不常用Amex 白金卡 FHR $200 报销福利简介+美国酒店推荐【2023.7 更新:FHR新增了改日期功能】AMD第四代EPYC拼上最后一块拼图 智能边缘市场烽烟再起Chinese Creepy Crawlies: Keeping the Pests of May at Bay生成式 AI 与大语言模型时代的 NVIDIA GPU 生态 | NVIDIA 解决方案与架构技术总监张瑞华演讲预告【阿普兰房产】南加州Upland楼盘3卧联排新房户型简介【2023.06.04】【洛杉矶房产】南加州惠提尔Whittier楼盘3卧联排新房户型简介【2023.06.11】西部数据正准备推出 SN580 蓝盘,PCIe 4.0 × 4 NVMe SSDAmazon 43/50/55寸 4K超高清智能电视 389.99元起!Drake闪现多伦多Shoppers!身穿"平民夹克"火了!网友:出联名![电脑] AM5 高性能主机搭建——ROG X670E-Extreme+索泰 4090+追风者 P600S 装机展示Being (2)高性能、无侵入的 Java 性能监控神器LPython:最新的高性能 Python 实现、速度极快且支持多后端【门尼菲房产】南加州Menifee楼盘3卧独栋新房户型简介【2023.07.09】
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。