这是Cgroup系列的第四篇文章，回顾过去：
Linux CGGROUP简介：基本概念Linux CGGROUP简介：CPULinux Cgroup简介：内存通过上一篇文章的学习，我们了解了如何查看当前的CGGROUP信息，以及如何通过操作/sys/fs/cgroup目录动态设置CGGROUP。我还学习了如何设置CPU份额和CPU配额来控制片内和不同片之间的CPU使用时间。本文将继续讨论CPU使用时间的限制。
对于一些CPU密集型的程序，不仅要获得更多的CPU使用时间，还要减少工作负载节流带来的上下文切换。目前多核系统的每个核都有自己的缓存，如果在不同的核上执行频繁的调度过程，必然会带来缓存失效等开销。那么有什么办法可以隔离CPU核心呢？准确的说，就是把正在运行的进程绑定到指定的内核上运行。尽管所有程序对于操作系统来说都是平等的，但有些程序比其他程序更平等。
对于那些比较平等的程序，我们需要为它们分配更多的CPU资源。毕竟人是有偏见的。废话少说，我们来看看如何使用cgroup来限制进程使用指定的CPU内核。
1.检查CPU配置。CPU核数一般从0开始，四核的数量范围是0-3。我们可以通过查看/proc/cpuinfo的内容来确定一些关于CPU的信息：
$ cat /proc/cpuinfo.处理器： 3供应商标识：英特尔处理器家族： 6型号： 26型号名称：英特尔至强CPU x 5650 @ 2.67 GHz步进： 4 microcode :0x 1 fcpu MHz : 2666.761缓存大小： 12288 KBphysical id :同级： 1核心id : 0cpu核心： 1 apic id : 6 initial apic id 3360 6 fpu : yes fpu _ exception : yes cpuid级别sse4 _ 2 x2 apic pop CNT TSC _ deadline _ timer hypervisor lahf _ lm ssbd ibrs ibpb stibp TSC _ adjust arat SPE c _ ctrl Intel _ stibp flush _ l1d arch _ capabilities bogomips : 5333.52 clflush size : 64 cache _ alignment 3360 64地址大小： 43位物理、4位虚拟处理器3360表示核心的数量，但这不是物理CPU的核心更准确的说，可以叫* *逻辑核心数。物理id :表示当前逻辑核心所在的物理CPU的核心，也是从0开始编号。这里，这个逻辑核心位于第7个物理CPU上。Core:如果这个值大于0，就要注意了。您的服务器可能打开了超线程。如果启用超线程，每个物理CPU核将模拟2个线程，这些线程也称为逻辑核(与上述逻辑核不同，但名称相同)。如果您想确保服务器已打开超线程，可以通过以下命令查看：$ cat/proc/CPU info | grep-e ' core id '-e ' physical ID ' physical ID : 0 core id : 0 physical ID : 2 core ID : 0 0 physical ID : 4 core ID 3360 0 0 physical ID 3360 6 core ID 3360 0如果具有相同物理ID和core ID的处理器出现两次，则可以显然，我的服务器没有打开。
2.非统一内存访问架构.架构涉及一个叫做NUMA(Non-uniform memory access，非均匀内存访问)的概念，即如果主板上有多个CPU，这就是NUMA架构。每个CPU占用一个单独的区域，通常有一个独立的风扇。
NUMA节点包含直接连接到的数据
该区域的 CPU、内存等硬件设备，通信总线一般是 PCI-E。由此也引入了 CPU 亲和性的概念，即 CPU 访问同一个 NUMA 节点上的内存的速度大于访问另一个节点的。可以通过下面的命令查看本机的 NUMA 架构：
$ numactl --hardwareavailable: 1 nodes (0)node 0 cpus: 0 1 2 3node 0 size: 2047 MBnode 0 free: 1335 MBnode distances:node 0 0: 10可以看出该服务器并没有使用 NUMA 架构，总共只有一个 NUMA 节点，即只有一块 CPU，4 个逻辑核心均在此 CPU 上。
3. isolcpusLinux 最重要的职责之一就是调度进程，而进程只是程序运行过程的一种抽象，它会执行一系列指令，计算机会按照这些指令来完成实际工作。从硬件的角度来看，真正执行这些指令的是中央处理单元，即 CPU。默认情况下，进程调度器可能会将进程调度到任何一个 CPU 核心上，因为它要根据负载来均衡计算资源的分配。
为了增加实验的明显效果，可以隔离某些逻辑核心，让系统默认情况下永远不会使用这些核心，除非我指定某些进程使用这些核心。要想做到这一点，就要使用到内核参数 isolcpus 了，例如：如果想让系统默认情况下不使用逻辑核心 2，3 和 4，可以将以下内容添加到内核参数列表中：
isolcpus=1,2,3# 或者isolcpus=1-3对于 CnetOS 7 来说，可以直接修改 /etc/default/grub：
$ cat /etc/default/grubGRUB_TIMEOUT=5GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"GRUB_DEFAULT=savedGRUB_DISABLE_SUBMENU=trueGRUB_TERMINAL_OUTPUT="console"GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet isolcpus=1,2,3"GRUB_DISABLE_RECOVERY="true"然后重新构建 grub.conf：
$ grub2-mkconfig -o /boot/grub2/grub.cfg重启系统之后，系统将不再使用逻辑核心 2，3 和 4，只会使用核心 1。找个程序把 CPU 跑满（上篇文章用的程序），使用命令 top 查看 CPU 的使用状况：
执行 top 命令后，在列表页按数字 1 键，就可以看到所有 CPU 了。
可以看到系统只使用了核心 1，下面我们来看看如何将程序绑到特定的 CPU 核心上。
4. 创建 cgroup将程序绑到指定的核心其实很简单，只需设置好 cpuset 控制器就行了。 systemctl 可以管理受其控制资源的 cgroup 控制器，但只能管理有限的控制器（CPU、内存和 BlockIO），不能管理 cpuset 控制器。虽然 systemd 不支持 cpuset，但是相信以后会支持的，另外，现在有一个略显笨拙，但是可以实现同样的目标的方法，后面会介绍。
cgroup 相关的所有操作都是基于内核中的 cgroup virtual filesystem，使用 cgroup 很简单，挂载这个文件系统就可以了。文件系统默认情况下都是挂载到 /sys/fs/cgroup 目录下，查看一下这个目录：
$ ll /sys/fs/cgroup总用量 0drwxr-xr-x 2 root root 0 3月 28 2020 blkiolrwxrwxrwx 1 root root 11 3月 28 2020 cpu -> cpu,cpuacctlrwxrwxrwx 1 root root 11 3月 28 2020 cpuacct -> cpu,cpuacctdrwxr-xr-x 2 root root 0 3月 28 2020 cpu,cpuacctdrwxr-xr-x 2 root root 0 3月 28 2020 cpusetdrwxr-xr-x 4 root root 0 3月 28 2020 devicesdrwxr-xr-x 2 root root 0 3月 28 2020 freezerdrwxr-xr-x 2 root root 0 3月 28 2020 hugetlbdrwxr-xr-x 2 root root 0 3月 28 2020 memorylrwxrwxrwx 1 root root 16 3月 28 2020 net_cls -> net_cls,net_priodrwxr-xr-x 2 root root 0 3月 28 2020 net_cls,net_priolrwxrwxrwx 1 root root 16 3月 28 2020 net_prio -> net_cls,net_priodrwxr-xr-x 2 root root 0 3月 28 2020 perf_eventdrwxr-xr-x 2 root root 0 3月 28 2020 pidsdrwxr-xr-x 4 root root 0 3月 28 2020 systemd可以看到 cpuset 控制器已经默认被创建并挂载好了。看一下 cpuset 目录下有什么：
$ ll /sys/fs/cgroup/cpuset总用量 0-rw-r--r-- 1 root root 0 3月 28 2020 cgroup.clone_children--w--w--w- 1 root root 0 3月 28 2020 cgroup.event_control-rw-r--r-- 1 root root 0 3月 28 2020 cgroup.procs-r--r--r-- 1 root root 0 3月 28 2020 cgroup.sane_behavior-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.cpu_exclusive-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.cpus-r--r--r-- 1 root root 0 3月 28 2020 cpuset.effective_cpus-r--r--r-- 1 root root 0 3月 28 2020 cpuset.effective_mems-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.mem_exclusive-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.mem_hardwall-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.memory_migrate-r--r--r-- 1 root root 0 3月 28 2020 cpuset.memory_pressure-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.memory_pressure_enabled-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.memory_spread_page-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.memory_spread_slab-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.mems-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.sched_load_balance-rw-r--r-- 1 root root 0 3月 28 2020 cpuset.sched_relax_domain_level-rw-r--r-- 1 root root 0 3月 28 2020 notify_on_release-rw-r--r-- 1 root root 0 3月 28 2020 release_agent-rw-r--r-- 1 root root 0 3月 28 2020 tasks该目录下只有默认的配置，没有任何 cgroup 子系统。接下来我们来创建 cpuset 子系统并设置相应的绑核参数：
$ mkdir -p /sys/fs/cgroup/cpuset/test$ echo "3" > /sys/fs/cgroup/cpuset/test/cpuset.cpus$ echo "0" > /sys/fs/cgroup/cpuset/test/cpuset.mems首先创建了一个 cpuset 子系统叫 test，然后将核心 4 绑到该子系统，即 cpu3。对于 cpuset.mems 参数而言，每个内存节点和 NUMA 节点一一对应。如果进程的内存需求量较大，可以把所有的 NUMA 节点都配置进去。这里就用到了 NUMA 的概念。出于性能的考虑，配置的逻辑核和内存节点一般属于同一个 NUMA 节点，可用 numactl --hardware 命令获知它们的映射关系。很显然，我的主机没有采用 NUMA 架构，只需将其设为节点 0 就好了。
查看 test 目录：
$ cd /sys/fs/cgroup/cpuset/test$ ll总用量 0-rw-rw-r-- 1 root root 0 3月 28 17:07 cgroup.clone_children--w--w---- 1 root root 0 3月 28 17:07 cgroup.event_control-rw-rw-r-- 1 root root 0 3月 28 17:07 cgroup.procs-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.cpu_exclusive-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.cpus-r--r--r-- 1 root root 0 3月 28 17:07 cpuset.effective_cpus-r--r--r-- 1 root root 0 3月 28 17:07 cpuset.effective_mems-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.mem_exclusive-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.mem_hardwall-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.memory_migrate-r--r--r-- 1 root root 0 3月 28 17:07 cpuset.memory_pressure-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.memory_spread_page-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.memory_spread_slab-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.mems-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.sched_load_balance-rw-rw-r-- 1 root root 0 3月 28 17:07 cpuset.sched_relax_domain_level-rw-rw-r-- 1 root root 0 3月 28 17:07 notify_on_release-rw-rw-r-- 1 root root 0 3月 28 17:07 tasks$ cat cpuset.cpus3$ cat cpuset.mems0目前 tasks 文件是空的，也就是说，还没有进程运行在该 cpuset 子系统上。需要想办法让指定的进程运行在该子系统上，有两种方法：
将已经运行的进程的 PID 写入 tasks 文件中；使用 systemd 创建一个守护进程，将 cgroup 的设置写入 service 文件中（本质上和方法 1 是一样的）。先来看看方法 1，首先运行一个程序：
$ nohup sha1sum /dev/zero &<1> 3767然后将 PID 写入 test 目录的 tasks 中：
$ echo "3767" > /sys/fs/cgroup/cpuset/test/tasks查看 CPU 使用情况：
可以看到绑核生效了，PID 为 3767 的进程被调度到了 cpu3 上。
下面再来看看方法 2，虽然目前 systemd 不支持使用 cpuset 去指定一个 Service 的 CPU，但我们还是有一个变相的方法，Service 文件内容如下：
$ cat /etc/systemd/system/foo.service
该服务中的进程确实被调度到了 cpu2 上。
5. 回到 Docker最后我们回到 Docker，Docker 实际上就是将系统底层实现的 cgroup 、 namespace 等技术集成在一个使用镜像方式发布的工具中，于是形成了 Docker，这个想必大家都知道了，我就不展开了。对于 Docker 来说，有没有办法让容器始终在一个或某几个 CPU 上运行呢？其实还是很简单的，只需要利用 --cpuset-cpus 参数就可以做到！
下面就来演示一下，指定运行容器的 CPU 核心编号为 1：
→ docker run -d --name stress --cpuset-cpus="1" progrium/stress -c 4查看主机 CPU 的负载：
只有 Cpu1 达到了 100%，其它的 CPU 并未被容器使用。
如果你看过该系列的第一篇文章，应该知道，在新的使用 systemd 实现 init 的系统中（比如 ConetOS 7），系统默认创建了 3 个顶级 slice：System, User 和 Machine，其中 machine.slice 是所有虚拟机和 Linux 容器的默认位置，而 Docker 其实是 machine.slice 的一个变种，你可以把它当成 machine.slice 。
如果系统中运行的是 Kubernetes，machine.slice 就变成了 kubepods：
为了便于管理 cgroup，systemd 会为每一个 slice 创建一个子系统，比如 docker 子系统：
然后再根据容器的设置，将其放入相应的控制器下面，这里我们关心的是 cpuset 控制器，看看它的目录下有啥：
查看 docker 目录：
可以看到 Docker 为每个容器创建了一个子目录，7766.. 对应的就是之前我们创建的容器：
→ docker ps|grep stress7766580dd0d7 progrium/stress "/usr/bin/stress --v…" 36 minutes ago Up 36 minutes stress我们来检验一下该目录下的配置：
$ cd /sys/fs/cgroup/cpuset/docker/7766580dd0d7d9728f3b603ed470b04d0cac1dd923f7a142fec614b12a4ba3be$ cat cpuset.cpus1$ cat cpuset.mems0$ cat tasks65366562656365646565$ ps -ef|grep stressroot 6536 6520 0 10:08 ? 00:00:00 /usr/bin/stress --verbose -c 4root 6562 6536 24 10:08 ? 00:09:50 /usr/bin/stress --verbose -c 4root 6563 6536 24 10:08 ? 00:09:50 /usr/bin/stress --verbose -c 4root 6564 6536 24 10:08 ? 00:09:50 /usr/bin/stress --verbose -c 4root 6565 6536 24 10:08 ? 00:09:50 /usr/bin/stress --verbose -c 4当然，你也可以将容器绑到多个 CPU 核心上运行，这里我就不赘述了。下篇文章将会介绍如何通过 cgroup 来限制 BlockIO。
最后放个福利！
我精心整理的 Kubernetes 知识图谱的下载地址，可以私信回复我“图谱”获得！
