Study · 운영체제 · CPU 나누기 · 프로세스

돌 준비가 된 것이 CPU 보다 많을 때 커널이 하나를 고른다

장면

프로세스가 CPU 개수보다 많아도 전부 도는 것처럼 보인다. 커널은 다음에 어느 것을 돌릴지 무엇을 보고 고를까?

$ nproc                     # 이 기계의 CPU 개수. 장면은 한 개로 단순화했다
16
$ cat /proc/loadavg         # 넷째 칸의 빗금 앞 숫자가 지금 돌 준비된 수다
0.54 0.21 0.07 1/543 123    # 놀고 있을 때 — 돌 준비된 것이 1 개
$ cat /proc/loadavg         # CPU 16 개짜리에서 바쁜 고리 32 개를 돌린 뒤
0.54 0.21 0.07 33/607 231   # 33 개가 한꺼번에 돌 준비가 됐다
$ ps -eo pid,stat,comm      # STAT 열의 R 이 「돌 준비가 됐다」는 뜻이다

먼저 알아야 할 말

CPU: 명령을 실제로 실행하는 부품이다. x86(대부분의 PC) · ARM(휴대폰, 요즘 Mac)처럼 종류마다 알아듣는 명령이 다르다.
커널: 컴퓨터가 켜져 있는 동안 늘 돌고 있는 프로그램 하나다. 파일을 만들고 지우는 일, 프로그램을 띄우는 일은 내 프로그램이 직접 못 하고 전부 커널에 부탁한다. 터미널에 친 명령이 실제로 무언가를 하는 순간은 늘 커널 안이다.
프로세스: 돌고 있는 프로그램 하나다. ps 가 줄마다 보여 주는 것이 프로세스이고, 각각 번호(PID)가 있다.
런큐: CPU 하나마다 있는, 지금 돌 준비가 된 task 들의 줄이다. 스케줄러는 이 줄에서 다음에 돌릴 것을 고른다.
큐: 먼저 넣은 것이 먼저 나오는 자료구조다(FIFO, First In First Out). 줄을 서는 것과 같다 — 먼저 줄을 선 사람이 먼저 나간다. 나중에 넣은 것을 먼저 꺼내는 스택과 반대 순서다.
문맥 교환: CPU 가 돌리던 task 를 멈추고 다른 task 로 갈아타는 일이다. 레지스터와 메모리 지도를 바꿔 끼우므로 공짜가 아니다.
CFS · EEVDF: 리눅스의 기본 스케줄러 이름이다. 오래 CFS 였고 지금은 EEVDF(Earliest Eligible Virtual Deadline First)다. 읽고 있는 7.3-rc4 도 EEVDF 인데 파일 이름과 구조체 이름은 아직 fair.c · cfs_rq 라, 이름만 보면 CFS 로 착각하기 쉽다.
구조체: 값 여러 개를 한 덩어리로 묶어 둔 것이다. C 에는 클래스가 없어서 이렇게 쓴다 — 메서드 없이 필드만 있는 자바 클래스라고 보면 된다. C 에서 a->b 는 자바의 a.b 와 같다(안에 든 것을 꺼낸다).
task: 커널이 CPU 를 나눠 줄 때 세는 단위 하나다. 커널 눈에는 프로세스든 스레드든 똑같이 task 하나다.
타임 슬라이스: 한 task 가 한 번에 CPU 를 쥐고 있을 수 있는 시간이다.
메모리: 전원이 꺼지면 사라지는 대신 아주 빠른 저장 공간이다. 프로그램이 도는 동안 쓰는 값은 전부 여기 있다.
페이지 표: 가상 주소가 실제 메모리의 어디인지 적어 둔 표다. CPU 는 주소를 만질 때마다 이 표를 본다. 이 표의 자리가 비어 있으면 페이지 폴트가 난다.
레지스터: CPU 안에 있는 아주 작고 빠른 저장 칸이다. 지금 계산 중인 값과 「다음에 실행할 줄이 어디인지」가 여기 들어 있다.
스택: 접시를 쌓듯 위에 올리고 위에서 꺼내는 구조다. 나중에 올린 것을 먼저 꺼낸다. JVM은 이 구조를 두 곳에 쓴다 — 스레드(프로그램 안에서 따로 도는 실행 흐름)마다 메서드 호출 기록을 쌓는 JVM 스택, 그리고 명령이 계산용 값을 올리고 꺼내는 피연산자 스택(5단계).
스레드: 프로그램 안에서 따로 도는 실행 흐름(일꾼) 하나다. 같은 프로그램의 스레드들은 메모리를 함께 쓰고, 여럿이면 여러 일을 동시에 한다. main 메서드도 스레드 하나에서 돌고, 웹 서버는 요청 하나를 스레드 하나가 맡아 끝까지 처리한다. 자바의 Thread 하나가 보통 커널 스레드 하나와 짝을 이룬다.
/proc: 커널이 지금 상태를 파일인 것처럼 보여 주는 가짜 폴더다. ls -l /proc/self/fd 를 치면 지금 열어 둔 것이 나온다. 디스크에 진짜 파일이 있는 것은 아니다.
컨테이너 (Docker): Docker 이미지를 실제로 실행한 상태다. 프로그램 하나를 자기만의 작은 방에 넣어 돌리는 것과 비슷해서, 그 안에서는 자기 파일과 네트워크만 보이고 다른 컨테이너나 호스트 컴퓨터와 섞이지 않는다. 같은 이미지로 컨테이너를 여러 개 띄울 수 있고, 컨테이너 하나를 지워도 이미지는 그대로 남는다.
신호: 커널이 프로세스에게 보내는 짧은 알림이다. SIGKILL 은 「지금 죽어라」이고 프로세스가 거절할 수 없다. SIGSEGV 는 「잘못된 주소를 건드렸다」다. 터미널에서 Ctrl+C 를 누르는 것도 신호 하나를 보내는 일이다.
사용자 공간: 커널이 아닌 쪽이다. 내가 실행하는 프로그램은 전부 여기 있고, 여기서는 디스크나 메모리를 직접 못 만진다. 무언가 하려면 시스템 콜로 커널에 부탁해야 한다.

아래 재생기의 ▶를 누르면 한 스텝씩 진행된다. 금색 테두리가 지금 이야기하는 곳이고, 캡션이 무슨 일이 일어났는지 말해 준다. 굵게 밑줄 친 말은 누르면 뜻이 나온다. 빨간 딱지는 그때 벌어지는 일의 이름이고, 캡션 바로 위 회색 글자는 지금 스텝이 속한 묶음의 이름이다.

카드 아래 회색 줄은 그 일이 실제로 적혀 있는 소스의 파일 이름 : 줄 번호와 함수 이름이다. 글 안에 (:669)처럼 줄 번호만 적힌 것은 바로 앞에 적은 파일의 그 줄이라는 뜻이다. 캡션 한가운데 박힌 긴 영어 이름과 괄호 속 파일 · 줄 번호도 같다 — 건너뛰고 한글만 읽어도 뜻이 통하게 써 두었다.

장면 · 돌 준비가 된 것이 CPU 보다 많을 때 커널이 하나를 고른다 0 / 11

▶ 를 누르면 CPU 한 개를 task 둘이 나눠 쓰는 동안 커널이 어디서 무엇을 보는지 따라간다. 요즘 기계는 CPU 가 여러 개지만, 얘기를 쉽게 하려고 여기서는 한 개로 둔다. 개수가 늘어도 규칙은 CPU 마다 똑같이 돈다. 커널은 「지금 누가 돌아야 하나」를 쉬지 않고 다시 묻지 않는다. 바꿀 때가 됐다는 표시만 켜 두었다가, 안전한 자리에서 한 번 고른다. 그 고르는 규칙과 갈아탈 때 바꾸는 값이 이 장면의 요지다.

키보드 · ← → 한 스텝 · Space 재생/멈춤 · Home 처음

돌 준비가 된 것이 CPU 보다 많으면 커널이 런큐에서 하나를 고른다. 고르는 일보다 갈아타는 일이 비싸고, 그 값이 문맥 교환 수로 드러난다.

어떻게 확인했나

소스 어디를 보고 적었는지와 무엇을 돌려서 쟀는지를 남긴 자리다. 처음 읽을 때는 건너뛰어도 된다.

기본 스케줄러는 EEVDF 다. 일반 프로세스가 받는 클래스는 fair_sched_class(__setscheduler_class, kernel/sched/core.c:7622 의 마지막 반환값)이고, 그 클래스가 고르는 실제 함수가 pick_eevdf(kernel/sched/fair.c:1187) — 「Earliest Eligible Virtual Deadline First」다. 파일 머리(kernel/sched/fair.c:3)와 구조체 이름 cfs_rq 는 아직 CFS 로 남아 있어서 이름만 보면 CFS 로 착각한다. 이름은 옛것이고 규칙은 EEVDF 다.
고르는 차례는 __schedule(kernel/sched/core.c:7111) → pick_next_task(:6245) → __pick_next_task(:6153) → pick_task_fair(kernel/sched/fair.c:10054) → pick_next_entity(:6518) → pick_eevdf(:1187) 다. 조건은 둘 — 받을 몫이 남아 있는가(entity_eligible), 그중 가상 마감이 가장 이른가.
커널은 그 자리에서 갈아타지 않는다. sched_tick(kernel/sched/core.c:5782) → task_tick_fair(kernel/sched/fair.c:15071) → update_curr(:2032) 가 update_deadline(:1289) 로 몫을 다 썼는지 보고, resched_curr(kernel/sched/core.c:1241) 가 TIF_NEED_RESCHED 표시만 켠다. 실제 교체는 안전한 지점에서 __schedule 이 돌 때 일어난다.
타임 슬라이스 기본값은 소스에 sysctl_sched_base_slice = 700000(ns, kernel/sched/fair.c:85) 으로 박혀 있고, 주석은 0.70 msec * (1 + ilog(ncpus)) 라고 적는다. 이건 소스 상수라 실행 없이 읽을 수 있다 — 다만 돌고 있는 기계의 실제 값은 /sys/kernel/debug/sched/base_slice_ns 를 봐야 안다.
문맥 교환이 바꾸는 것은 둘이다. context_switch(kernel/sched/core.c:5474) 가 switch_mm_irqs_off(:5512) 로 메모리 지도를, switch_to(:5533) 로 레지스터와 스택을 바꾼다. 같은 프로세스의 스레드끼리는 switch_mm_irqs_off(arch/x86/mm/tlb.c:783) 안의 prev == next 지름길로 앞쪽을 건너뛴다.
vmstat 의 cs 와 /proc/stat 의 ctxt 는 rq->nr_switches(kernel/sched/core.c:7246) 를 전부 더한 값이다(nr_context_switches, :5579 → fs/proc/stat.c:143). 뺏겨서 바뀌면 nivcsw(:7168), 스스로 양보해 바뀌면 nvcsw(:7194) 가 오른다.
CPU 16개짜리 컨테이너에서 쟀다. vmstat 1 의 cs(문맥 교환)가 놀 때 167~364 였는데, 바쁜 고리 32개를 돌리자 3,507~5,094 로 늘었다. /proc/loadavg 의 돌 준비된 수도 1 에서 33 으로 늘었다. 고르는 일 자체보다 갈아타는 일이 늘어난 것이 이 숫자다.

‹ 이전 목차로 ›