使用 PowerFlex 在 Kubernetes 平台上部署 Microsoft SQL Server 大数据集群

在该解决方案中，在我们安装Kubernetes集群后，配置了CSI 2.0来为SQL BDC工作负载提供持久卷。

当具有CSI的Kubernetes集群准备就绪时，Azure data CLI将安装在客户端计算机上。

为了加速BDC的部署，我们建议使用本地专用注册表中的离线安装方法。虽然这意味着在创建和配置注册表时需要做一些额外的工作，但它消除了每个BDC主机从 Microsoft repository中提取容器映像的网络负载。在充当专用注册表的主机上，安装Docker并启用Docker repository。

BDC配置从默认设置修改为使用群集资源并满足工作负载要求。为了横向扩展BDC 资源池，需要调整副本数以使用集群的资源。

运行Spark 和Apache Hadoop YARN的配置值也根据每个节点可用的计算资源进行了调整。

为SQL master pod提供了20TB的存储空间，其中10TB作为日志空间。由于测试涉及运行TPC-DS工作负载，我们为五个storage pods配置了总共60TB的空间。

下图显示了不同比例因子设置的数据生成所消耗的时间。数据生成时间还包括计算表统计信息的后期数据分析过程。

加载后，我们运行TPC-DS工作负载，以使用99个预定义的用户查询来验证Spark SQL的性能和可扩展性。查询以不同的用户模式为特征。

下图显示了性能和可扩展性测试结果。结果表明，在PowerFlex上运行Microsoft SQL Server大数据集群对不同的数据集具有线性可扩展性。这表明PowerFlex能够为不同类型的Spark SQL工作负载提供一致且可预测的性能。