测试步骤

devpresscloudpods

18人浏览 · 2023-12-12 16:37:26

devpresscloudpods · 2023-12-12 16:37:26 发布

CPU和内存性能测试

测试环境

操作系统: CentOS 7 云平台版本: >= v3.7.7 宿主机: Dell PowerEdge R730xd

CPU: Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz
内存: DDR4 2133 MHz 256GB (16GB x 16)
磁盘: 机械盘 20TB PERC H730P Mini (RAID 10)
网卡: 10000Mb/s

安装测试软件

测试工具:

UnixBench: 测试虚拟机CPU性能
mbw: 测试内存性能

# 安装 UnixBench
$ yum install -y git gcc autoconf gcc-c++ time perl-Time-HiRes
$ git clone https://github.com/kdlucas/byte-unixbench.git

# 安装 mbw
$ git clone https://github.com/raas/mbw.git && cd mbw
$ make && ./mbw 512

CPU 测试

测试命令:

$ cd byte-unixbench/UnixBench
$ ./Run -c 1 whetstone-double dhry2reg fsdisk

结论:

指标	物理机	虚拟机	虚拟化开销（物理机-虚拟机/ 物理机）
Dhrystone	34839728.4 lps	33964545.0 lps	2.5%
Double-Precision Whetstone	4368.3 MWIPS	4244.3 MWIPS	2.8%
File Copy	1825548.4 KBps	1788048.3 KBps	2.1%

内存测试

结论:

指标	物理机	虚拟机	虚拟化开销（物理机-虚拟机/物理机）
MEMCPY AVG	7578.348 MiB/s	6254.520 MiB/s	1.7%

本地存储IO测试

测试方法

采用fio，分别用如下场景和命令测试：

4KB随机读

fio --name=random-read --ioengine=posixaio --rw=randread --bs=4k --size=4g --numjobs=1 --iodepth=16 --runtime=60 --time_based --direct=1

4KB随机写

fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=4k --size=4g --numjobs=1 --iodepth=16 --runtime=60 --time_based --direct=1 --end_fsync=1

4K顺序读

fio --name=random-read --ioengine=posixaio --rw=read --bs=4k --size=4g --numjobs=1 --iodepth=16 --runtime=60 --time_based --direct=1

4K顺序写

fio --name=random-write --ioengine=posixaio --rw=write --bs=4k --size=4g --numjobs=1 --iodepth=16 --runtime=60 --time_based --direct=1 --end_fsync=1

1MB顺序读

fio --name=seq-read --ioengine=posixaio --rw=read --bs=1m --size=16g --numjobs=1 --iodepth=1 --runtime=60 --time_based --direct=1

1MB顺序写

fio --name=seq-write --ioengine=posixaio --rw=write --bs=1m --size=16g --numjobs=1 --iodepth=1 --runtime=60 --time_based --direct=1 --end_fsync=1

测试环境

物理机

OS: CentOS Linux release 7.9.2009 (Core) 内核：3.10.0-1062.4.3.el7.yn20191203.x86_64 CPU: Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz 内存：256G RAID控制器：Broadcom / LSI MegaRAID SAS-3 3108 RAID Level: RAID10
Linxu 虚拟机

OS: CentOS Linux release 7.6.1810 (Core) 内核：3.10.0-957.12.1.el7.x86_64 配置：4核CPU4G内存30G系统盘100G数据盘
Windows 虚拟机

OS: Windows Server 2008 R2 Datacenter 6.1 配置：4核CPU4G内存40G系统盘100G数据盘

测试结果

场景	4KB	随机读	4KB	随机写	4KB	顺序读	4KB	顺序写	1MB	顺序读	1MB	顺序写
	IOPS	Throughput	IOPS	Throughput	IOPS	Throughput	IOPS	Throughput	IOPS	Throughput	IOPS	Throughput
物理机	195	782KiB/s	7349	28.7MiB/s	22.1k	86.3MiB/s	24.5k	95.8MiB/s	1055	1056MiB/s	1117	1118MiB/s
	(100%)	(100%)	(100%)	(100%)	(100%)	(100%)	(100%)	(100%)	(100%)	(100%)	(100%)	(100%)
Linux 虚拟机	245	981KiB/s	6096	23.8MiB/s	9458	36.9MiB/s	6278	24.5MiB/s	979	980MiB/s	1058	1059MiB/s
(cache=none)	(126%)	(125%)	(83%)	(83%)	(43%)	(43%)	(26%)	(26%)	(93%)	(93%)	(95%)	(95%)
Linux 虚拟机	243	973KiB/s	7483	29.2MiB/s	11.5k	44.9MiB/s	7271	28.4MiB/s	958	959MiB/s	1052	1052MiB/s
(cache=none,queues=4)	(125%)	(124%)	(102%)	(102%)	(52%)	(52%)	(30%)	(30%)	(91%)	(91%)	(94%)	(94%)
Linux 虚拟机	13.0k	54.5MiB/s	8360	32.7MiB/s	13.1k	51.3MiB/s	8976	35.1MiB/s	2550	2551MiB/s	1045	1046MiB/s
(cache=writeback)	(6667%)	(6969%)	(114%)	(114%)	(59%)	(59%)	(37%)	(37%)	(242%)	(242%)	(94%)	(94%)
Linux 虚拟机	28.7k	112MiB/s	12.2k	47.5MiB/s	29.6k	116MiB/s	11.2k	43.8MiB/s	2931	2932MiB/s	1220	1220MiB/s
(cache=writeback,queues=4)	(14718%)	(14322%)	(166%)	(166%)	(134%)	(134%)	(46%)	(46%)	(278%)	(278%)	(109%)	(109%)
Windows 虚拟机	2811	11.0MiB/s	6002	23.4MiB/s	11.8k	46.1MiB/s	4289	16.8MiB/s	1009	1009MiB/s	685	686MiB/s
(cache=none)	(1441%)	(1407%)	(82%)	(82%)	(53%)	(53%)	(18%)	(18%)	(96%)	(96%)	(61%)	(61%)
Windows 虚拟机	2794	10.9MiB/s	7448	29.1MiB/s	21.1k	82.6MiB/s	25.5k	99.7MiB/s	930	930MiB/s	1013	1014MiB/s
(cache=none,queues=4)	(1432%)	(1394%)	(101%)	(101%)	(95%)	(96%)	(104%)	(104%)	(88%)	(88%)	(91%)	(91%)
Windows 虚拟机	2483	9935KiB/s	7430	29.0MiB/s	10.9k	42.8MiB/s	13.6k	53.0MiB/s	1993	1994MiB/s	920	920MiB/s
(cache=writeback)	(1273%)	(1270%)	(101%)	(101%)	(49%)	(50%)	(56%)	(55%)	(189%)	(189%)	(82%)	(82%)
Windows 虚拟机	4520	17.7MiB/s	18.8k	73.6MiB/s	23.3k	90.8MiB/s	21.8k	85.1MiB/s	2628	2628MiB/s	1191	1192MiB/s
(cache=writeback,queues=4)	(2317%)	(2263%)	(2558%)	(2564%)	(105%)	(105%)	(89%)	(89%)	(249%)	(249%)	(106%)	(106%)

测试结论

和物理机相比，在4KB随机读写，1MB顺序读写方面，有10%左右的虚拟化开销。可以认为虚拟机性能和物理机相当。由于缓存的作用，虚拟机性能在某些场景甚至超过物理机。
开启writeback和多队列之后，写性能有明显加速
在4KB顺序读写性能方面，虚拟机仅有物理机的一半性能。这是因为磁盘采用thin provision方式，虚拟机内的顺序读写转换到物理机其实是随机读写。为了改善虚拟机4KB顺序读写性能，需要将虚拟磁盘文件进行预分配。这样虚拟机内的顺序读写在物理机也是顺序读写。

共享存储(ceph)IO性能测试

测试环境

1、宿主机配置：

OS: CentOS Linux release 7.9.2009 (Core) 内核：3.10.0-1062.4.3.el7.yn20191203.x86_64 CPU: Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz 内存：256GB

2、虚拟机配置：

OS: CentOS Linux release 7.6.1810 (Core) 内核：3.10.0-957.12.1.el7.x86_64 配置：4核CPU4G内存30G系统盘100G数据盘

3、Ceph存储配置

网卡：2x10G双光口存储网 + 2x10G双光口接入网磁盘：全闪SSD

测试数据

场景	4KB	随机读	4KB	随机写	4KB	顺序读	4KB	顺序写	1MB	顺序读	1MB	顺序写
	IOPS	Throughput	IOPS	Throughput	IOPS	Throughput	IOPS	Throughput	IOPS	Throughput	IOPS	Throughput
cache=none	1054	4217KiB/s	405	1622KiB/s	1864	7456KiB/s	552	2209KiB/s	159	159MiB/s	163	164MiB/s
cache=none,queues=4	1152	4608KiB/s	441	1767KiB/s	2066	8265KiB/s	368	1472KiB/s	168	169MiB/s	168	168MiB/s
cache=writeback	978	3913KiB/s	9425	36.8MiB/s	1623	6494KiB/s	10.7k	41.7MiB/s	149	149MiB/s	474	474MiB/s
cache=writeback,queues=4	1071	4284KiB/s	12.6k	49.3MiB/s	1711	6848KiB/s	15.1k	59.1MiB/s	161	161MiB/s	475	475MiB/s

测试结论

开启writeback和多队列能够明显提升写性能
读性能比较难优化，可以调高虚拟机内的 read ahead 缓存（blockdev --setra /dev/sda）
Ceph并未把网络打满，也未能用满SSD的性能，性能瓶颈感觉还是在软件层面

网络测试

测试条件

默认情况下虚拟机有流量限制，需要在前端或者用命令行工具 climc server-change-bandwidth 把带宽改为 0 ，表示取消限速。
默认情况下，VPC虚拟机的EIP也有带宽限制（默认30Mbps），也需要在前端，或者用climc修改限制为0，表示取消限制。

测试方法:

# 找一台机器运行 iperf server 模式，假设 ip 是 10.127.100.3
$ iperf3 -s --bind 10.127.100.3

# 在另外一台机器作为 iperf client 模式连接 server
$ iperf3 -c 10.127.100.3 -t 30

以上重复执行三次，取最好的一次。

经典网络性能测试

环境

1、宿主机配置：

OS: CentOS Linux release 7.9.2009 (Core) 内核：3.10.0-1062.4.3.el7.yn20191203.x86_64 CPU: Intel(R) Xeon(R) CPU E5-2678 v3 @ 2.50GHz 内存：256GB

2、虚拟机配置：

OS: CentOS Linux release 7.6.1810 (Core) 内核：3.10.0-957.12.1.el7.x86_64 配置：2核CPU 2G内存 30G系统盘

结论

源 \ 目的	物理机	虚拟机
物理机	8.35 Gbps (100%)	8.40 Gbps (101%)
虚拟机	8.41 Gbps (101%)	8.33 Gbps (99.7%)

说明：饱和流量测试，网路虚拟化开销很低（1%量级）。

VPC网络性能测试

测试环境

1、宿主机配置：

OS: CentOS Linux release 7.7.1908 (Core) 内核：5.4.130-1.yn20210710.el7.x86_64 CPU: Intel(R) Xeon(R) Gold 5218R CPU @ 2.10GHz 内存：256GB

2、虚拟机配置：

OS: CentOS Linux release 7.8.2003 内核：3.10.0-1127.el7.x86_64 配置：2核CPU 2G内存 30G系统盘

结论

场景	物理机到物理机	虚拟机到虚拟机	虚拟机EIP到虚拟机EIP
性能 (Gbps)	9.19 (100%)	8.96 (97%)	5.83 (63%)

说明：饱和流量情况下，网络虚拟化开销很低（3%量级）。由于转换路径较长，EIP的性能要差很多（36%损耗）。

Cloudpods

开源、云原生的融合云平台

更多推荐

面向未来的 IT 基础设施管理架构——融合云（Unified IaaS）

随着数字化时代的到来，IT系统已成为人类社会正常运转不可或缺的组成部分。不远的未来，智能制造，5G和人工智能等技术将成为推动生产力发展的重要引擎，人类社会将面临前所未有的全面彻底的数字化浪潮。IT基础设施作为IT系统运行的平台和载体，是实现数字化的基石。在这场数字化浪潮中，企业必须积极拥抱云计算技术，采用符合技术发展趋势、面向未来的IT基础构架，才能在未来的竞争中赢得先机。一、云计算历经十余年

Cloudpods

Cloudpods负载均衡的功能介绍

作者:周有松今天的内容会从以下几个方面展开：负载均衡产品简介。主要介绍负载均衡作为一个云上产品，它的功能模型是怎样的，日常使用中会遇到的业务词汇负载均衡的功能与典型应用场景。这部分主要结合业务词汇，对负载均衡服务中常见的一些功能选项进行介绍，并举例介绍一些典型的应用场景最后，我们做一下总结，讨论一下负载均衡产品相比传统方式的优点一、产品简介 1. 以NGINX为例提到负载均衡，我们以

Cloudpods

使用Linux vfio将Nvidia GPU透传给QEMU虚拟机

Linux 上虚拟机 GPU 透传需要使用 vfio 的方式。主要是因为在 vfio 方式下对虚拟设备的权限和 DMA 隔离上做的更好。但是这么做也有个缺点，这个物理设备在主机和其他虚拟机都不能使用了。 qemu 直接使用物理设备本身命令行是很简单的，关键在于事先在主机上对系统、内核和物理设备的一些配置。单纯从 qemu 的命令行来看，其实和普通虚拟机启动就差了最后那个-device的选项。这

Cloudpods

所有评论(0)

查看更多评论

devpresscloudpods

@devpresscloudpods

已为社区贡献198条内容

测试步骤

devpresscloudpods

CPU和内存性能测试​

测试环境​

安装测试软件​

CPU 测试​

内存测试​

本地存储IO测试​

测试方法​

测试环境​

测试结果​

测试结论​

共享存储(ceph)IO性能测试​

测试环境​

测试数据​

测试结论​

网络测试​

测试条件​

测试方法:​

经典网络性能测试​

环境​

结论​

VPC网络性能测试​

测试环境​

结论​

所有评论(0)

devpresscloudpods

CPU和内存性能测试

测试环境

安装测试软件

CPU 测试

内存测试

本地存储IO测试

测试方法

测试环境

测试结果

测试结论

共享存储(ceph)IO性能测试

测试环境

测试数据

测试结论

网络测试

测试条件

测试方法:

经典网络性能测试

环境

结论

VPC网络性能测试

测试环境

结论