Study · 운영체제 · 파일 디스크립터 · 프로세스

열린 파일은 프로세스마다 번호표로 들고 있다

장면

프로세스가 파일을 열면 돌려받는 것은 무엇일까? 그 번호는 어디에 적혀 있을까?

$ ls -l /proc/self/fd
lrwx------ 1 tghan tghan 64 Sep 21 14:10 0 -> /dev/pts/0
lrwx------ 1 tghan tghan 64 Sep 21 14:10 1 -> /dev/pts/0
lrwx------ 1 tghan tghan 64 Sep 21 14:10 2 -> /dev/pts/0
# 맨 끝의 0 · 1 · 2 가 번호다 — 이미 세 개가 차 있어서 새로 여는 파일은 3 부터다. 앞의 권한 · 날짜는 넘겨도 된다

먼저 알아야 할 말

프로세스: 돌고 있는 프로그램 하나다. ps 가 줄마다 보여 주는 것이 프로세스이고, 각각 번호(PID)가 있다.
파일 디스크립터: 프로세스가 무언가를 열고 받는 번호표다. 프로세스마다 따로 있는 표의 몇 번째 칸인지를 뜻한다 — ls -l /proc/self/fd 로 그 표가 보인다. 파일만의 것이 아니다. 소켓도 파이프도 같은 표에 걸리고, 그래서 read · write 가 셋 모두에 똑같이 통한다.
task_struct: 커널이 실행 흐름 하나를 나타내는 기록이다. 커널에게는 프로세스와 스레드가 둘 다 이것이고, 무엇을 공유하느냐만 다르다.
구조체: 값 여러 개를 한 덩어리로 묶어 둔 것이다. C 에는 클래스가 없어서 이렇게 쓴다 — 메서드 없이 필드만 있는 자바 클래스라고 보면 된다. C 에서 a->b 는 자바의 a.b 와 같다(안에 든 것을 꺼낸다).
필드: 객체나 구조체 안에 든 변수 하나다. 자바에서는 객체의 필드, C(리눅스 커널)에서는 구조체의 필드라고 부른다.
커널: 컴퓨터가 켜져 있는 동안 늘 돌고 있는 프로그램 하나다. 파일을 만들고 지우는 일, 프로그램을 띄우는 일은 내 프로그램이 직접 못 하고 전부 커널에 부탁한다. 터미널에 친 명령이 실제로 무언가를 하는 순간은 늘 커널 안이다.
매크로: 컴파일하기 전에 글자를 그대로 바꿔치기하는 장치다. 함수처럼 생겼지만 함수가 아니라, C 에서 짧은 코드를 이름 하나로 줄여 쓸 때 쓴다.
소켓: 두 프로그램이 네트워크로 연결됐을 때 그 연결의 양쪽 끝이다. 프로그램은 이 손잡이를 붙잡고 바이트를 주고받는다. 자바의 Socket 객체 뒤에 커널의 소켓이 있다.
fork: 지금 프로세스를 그대로 복제해 하나 더 만드는 시스템 콜이다. 복제본은 부모와 거의 같지만 PID 가 다르다.
exec: 프로세스의 알맹이를 다른 프로그램으로 덮어쓰는 시스템 콜이다. 껍데기(PID)는 그대로이고 안에서 도는 것만 바뀐다.
/proc: 커널이 지금 상태를 파일인 것처럼 보여 주는 가짜 폴더다. ls -l /proc/self/fd 를 치면 지금 열어 둔 것이 나온다. 디스크에 진짜 파일이 있는 것은 아니다.
컨테이너 (Docker): Docker 이미지를 실제로 실행한 상태다. 프로그램 하나를 자기만의 작은 방에 넣어 돌리는 것과 비슷해서, 그 안에서는 자기 파일과 네트워크만 보이고 다른 컨테이너나 호스트 컴퓨터와 섞이지 않는다. 같은 이미지로 컨테이너를 여러 개 띄울 수 있고, 컨테이너 하나를 지워도 이미지는 그대로 남는다.
셸: 명령을 받아 실행해 주는 프로그램이다. 우분투 기본은 bash 이고, 터미널에서 보이는 $ 앞이 그것이다.
표준 입출력: 프로그램이 뜰 때 자동으로 받는 번호표 셋이다. 0 은 내가 치는 글자가 들어오는 곳, 1 은 화면에 찍히는 곳, 2 는 오류가 찍히는 곳이다. 자바의 System.out.println 이 1 번으로 나간다.
파이프: 한 명령어의 출력(화면에 찍히는 결과)을 다음 명령어의 입력으로 그대로 이어주는 기호 `|`다. `cat file.txt | grep hello`라고 쓰면 file.txt의 내용을 화면에 찍는 대신 grep hello 명령어로 바로 넘겨서, 그 안에서 hello가 들어간 줄만 걸러낸다. 중간에 파일을 안 만들고도 여러 명령어를 한 줄로 이어 쓸 수 있다.
톰캣: 바깥에서 온 HTTP 요청을 받아 내 자바 코드에 넘겨주고, 내가 돌려준 값을 다시 바깥으로 내보내는 부품이다. 따로 설치해 띄우는 프로그램이 아니라 내 프로그램 안에서 자바 객체로 만들어진다 — 그래서 다른 빈들과 똑같이 통 안에서 만들어진다.
서버: 요청을 받아서 처리해 주는 쪽이다. 클라이언트가 「이거 해줘」라고 요청을 보내면, 서버는 그 일을 처리하고 결과를 응답으로 돌려준다. 식당으로 치면 손님이 클라이언트, 주방이 서버다.

아래 재생기의 ▶를 누르면 한 스텝씩 진행된다. 금색 테두리가 지금 이야기하는 곳이고, 캡션이 무슨 일이 일어났는지 말해 준다. 굵게 밑줄 친 말은 누르면 뜻이 나온다. 빨간 딱지는 그때 벌어지는 일의 이름이고, 캡션 바로 위 회색 글자는 지금 스텝이 속한 묶음의 이름이다.

카드 아래 회색 줄은 그 일이 실제로 적혀 있는 소스의 파일 이름 : 줄 번호와 함수 이름이다. 글 안에 (:669)처럼 줄 번호만 적힌 것은 바로 앞에 적은 파일의 그 줄이라는 뜻이다. 캡션 한가운데 박힌 긴 영어 이름과 괄호 속 파일 · 줄 번호도 같다 — 건너뛰고 한글만 읽어도 뜻이 통하게 써 두었다.

장면 · 열린 파일은 프로세스마다 번호표로 들고 있다 0 / 10

▶ 를 누르면 open("/etc/hosts") 한 번이 3 이라는 번호를 돌려주기까지를 따라간다. 돌려받는 것은 파일이 아니라 번호 하나다. 그 번호는 프로세스마다 따로 있는 번호표의 몇 번째 칸인지를 뜻한다. 왜 하필 3 이 나오는지도 그 표를 보면 풀린다.

키보드 · ← → 한 스텝 · Space 재생/멈춤 · Home 처음

열린 것은 프로세스마다 따로 있는 번호표에 걸린다. 0·1·2 가 이미 차 있어서 새로 여는 것이 3 부터이고, 이 표에는 파일만 걸리는 것이 아니다.

어떻게 확인했나

소스 어디를 보고 적었는지와 무엇을 돌려서 쟀는지를 남긴 자리다. 처음 읽을 때는 건너뛰어도 된다.

fd 표는 task_struct 의 files 필드다(include/linux/sched.h:1207). 그 struct files_struct(include/linux/fdtable.h:38) 안에 fdtable(:26) 이 있고, 칸 배열 fd 와 쓰임 표시 open_fds 비트맵이 거기 들어 있다. 처음 크기는 NR_OPEN_DEFAULT(:24) = BITS_PER_LONG 칸뿐이고, 넘으면 expand_files(fs/file.c:288) 가 넓힌다.
번호는 「비어 있는 가장 작은 칸」이다. alloc_fd(fs/file.c:569) 가 start = 0 에서 find_next_fd(fs/file.c:544) 로 open_fds 의 첫 0 비트를 찾는다. 0 · 1 · 2 가 이미 켜져 있으니 새로 여는 것은 3 부터다 — 커널이 3 을 특별히 정해 둔 것이 아니다.
여는 차례는 「번호 먼저, 파일 나중」이다. do_sys_openat2(fs/open.c:1408) 의 FD_ADD 매크로가 get_unused_fd_flags(fs/file.c:619) 로 칸을 예약하고(include/linux/file.h:195), 파일이 다 만들어진 뒤에야 fd_install(fs/file.c:679) 로 그 칸에 건다.
소켓도 같은 표에 걸린다. sock_map_fd(net/socket.c:578) 가 쓰는 것이 똑같은 get_unused_fd_flags + fd_install 쌍이다. 15번 항목과 이어지는 자리다.
번호가 가리키는 것은 struct file(include/linux/fs.h:1255) 이고, 읽던 위치 f_pos(:1277) 는 파일이 아니라 여기에 붙어 있다. fork 하면 표가 dup_fd(fs/file.c:383) 로 복제되고, exec 하면 do_close_on_exec(fs/file.c:890) 가 O_CLOEXEC 로 표시된 칸만 닫는다.
python 으로 파일을 하나 여니 fd 번호가 3 이었다. /proc/self/fd 에 0 · 1 · 2 가 이미 차 있어서 남는 가장 작은 번호가 3 이라 그렇다. 한 프로세스가 열 수 있는 수의 상한은 /proc/self/limits 의 Max open files 이고, 이 컨테이너는 1,048,576 이었다.

‹ 이전 다음 항목 ›