Study · 운영체제 · 주고받기 · 네트워크

패킷 하나가 계층을 오르내리는 동안 같은 것이 계속 전달된다

장면

랜선에 도착한 바이트가 프로그램의 read 까지 오는 동안 몇 개의 층을 지날까?

$ ss -nt | grep 9098      # 보낸 쪽은 다 보냈는데 받는 쪽이 아직 안 읽는 중
State  Recv-Q  Send-Q  Local Address:Port    Peer Address:Port
ESTAB  127663  0       127.0.0.1:9098        127.0.0.1:40908
ESTAB  0       72337   127.0.0.1:40908       127.0.0.1:9098
# 같은 연결이 두 줄로 나온다 — 위가 받는 쪽, 아래가 보내는 쪽이다
# 127663 은 커널이 받아 뒀는데 프로그램이 아직 안 읽은 바이트 수다
# 72337 은 보내는 쪽 커널이 아직 상대에게 못 보낸 바이트 수다
# 40908 은 그때 붙은 임시 포트라 다시 재면 달라진다

먼저 알아야 할 말

패킷: 네트워크로 오가는 바이트 덩어리 하나다. 「누가 어디로 보냈는지 적은 앞부분(머리말) + 진짜 내용(알맹이)」으로 되어 있다.
계층: 받은 바이트를 순서대로 처리하는 단계들이다. 아래층이 자기 머리말을 떼고 나서야 위층이 본다 — 랜 카드 → IP → TCP → 소켓 차례로 넷이다.
바이트: 컴퓨터가 다루는 가장 작은 덩어리 단위로, 0부터 255 사이의 숫자 하나다. 파일도, 네트워크로 오가는 글자도 결국 바이트의 나열이다. B는 바이트, KB는 약 1,000바이트, MB는 약 100만 바이트다. 「바이트가 도착했다」는 아직 글자로 읽기 전, 숫자 덩어리 상태로 도착했다는 뜻이다.
머리말: 바이트 덩어리 앞에 붙어 「누가 어디로 보냈는지」를 적어 둔 부분이다. 층마다 자기 머리말을 하나씩 붙이고, 받는 쪽은 자기 것만 떼어 낸다.
sk_buff: 커널이 네트워크 패킷 하나를 담아 나르는 구조체다. 계층을 오르내리는 동안 같은 것이 계속 전달된다.
포인터: 덩어리 자체가 아니라 그 덩어리가 놓인 자리를 적어 둔 쪽지다. 쪽지를 건네면 덩어리를 옮기지 않고도 같은 것을 가리킬 수 있다. 자바에서 객체를 변수에 담는 것과 같은 자리다.
구조체: 값 여러 개를 한 덩어리로 묶어 둔 것이다. C 에는 클래스가 없어서 이렇게 쓴다 — 메서드 없이 필드만 있는 자바 클래스라고 보면 된다. C 에서 a->b 는 자바의 a.b 와 같다(안에 든 것을 꺼낸다).
이더넷: 랜선 한 구간에서 바로 옆 기계에게 넘길 때 쓰는 규약이다. 네트워크에서 제일 아래층이다.
IP: 어느 기계로 보낼지를 가르는 번호(주소)와 그 규약이다. 127.0.0.1 은 특별히 「내 기계 자신」을 뜻한다.
TCP: 끊기지 않고 순서가 지켜지는 연결을 만들어 주는 규약이다. HTTP 가 그 위에서 돈다.
버퍼: 프로그램이 미리 잡아 두는 메모리 자리다. 커널이 읽은 내용을 여기다 부어 준다 — 자바로 치면 read 에 넘기는 byte 배열이다.
소켓: 두 프로그램이 네트워크로 연결됐을 때 그 연결의 양쪽 끝이다. 프로그램은 이 손잡이를 붙잡고 바이트를 주고받는다. 자바의 Socket 객체 뒤에 커널의 소켓이 있다.
사용자 공간: 커널이 아닌 쪽이다. 내가 실행하는 프로그램은 전부 여기 있고, 여기서는 디스크나 메모리를 직접 못 만진다. 무언가 하려면 시스템 콜로 커널에 부탁해야 한다.
큐: 먼저 넣은 것이 먼저 나오는 자료구조다(FIFO, First In First Out). 줄을 서는 것과 같다 — 먼저 줄을 선 사람이 먼저 나간다. 나중에 넣은 것을 먼저 꺼내는 스택과 반대 순서다.
백로그: accept 큐에 쌓일 수 있는 연결 수의 상한이다. 넘치면 새 연결이 거절되거나 버려진다. 주의 — 연결 하나하나에도 「백로그」라는 이름의 임시 대기 줄이 따로 있는데, 이름만 같고 다른 것이다.
커널: 컴퓨터가 켜져 있는 동안 늘 돌고 있는 프로그램 하나다. 파일을 만들고 지우는 일, 프로그램을 띄우는 일은 내 프로그램이 직접 못 하고 전부 커널에 부탁한다. 터미널에 친 명령이 실제로 무언가를 하는 순간은 늘 커널 안이다.
CPU: 명령을 실제로 실행하는 부품이다. x86(대부분의 PC) · ARM(휴대폰, 요즘 Mac)처럼 종류마다 알아듣는 명령이 다르다.
인터럽트: 하드웨어가 CPU 를 툭 쳐서 돌던 일을 멈추고 커널 코드로 넘기는 일이다. 커널이 남의 프로그램 중간에 끼어들 수 있는 거의 유일한 방법이다.
메모리: 전원이 꺼지면 사라지는 대신 아주 빠른 저장 공간이다. 프로그램이 도는 동안 쓰는 값은 전부 여기 있다.
프로토콜: 주고받을 때 지킬 규칙이다. 먼저 무엇을 보내고 어떤 답을 기다릴지를 양쪽이 미리 맞춰 둔 것이다 — TCP 도 IP 도 프로토콜 하나다.
체크섬: 오는 길에 바이트가 바뀌지 않았는지 보려고 같이 실어 보내는 검사용 숫자다.
포트: 한 컴퓨터 안에서 어느 프로그램에게 줄지 가르는 번호다. 주소가 건물이라면 포트는 호수다. ssh 는 22번, 웹은 보통 80·443번을 쓴다. Spring Boot 실측에서는 8080을 다른 프로그램이 이미 쓰고 있어서 --server.port=18080 으로 18080을 썼다.

아래 재생기의 ▶를 누르면 한 스텝씩 진행된다. 금색 테두리가 지금 이야기하는 곳이고, 캡션이 무슨 일이 일어났는지 말해 준다. 굵게 밑줄 친 말은 누르면 뜻이 나온다. 빨간 딱지는 그때 벌어지는 일의 이름이고, 캡션 바로 위 회색 글자는 지금 스텝이 속한 묶음의 이름이다.

카드 아래 회색 줄은 그 일이 실제로 적혀 있는 소스의 파일 이름 : 줄 번호와 함수 이름이다. 글 안에 (:669)처럼 줄 번호만 적힌 것은 바로 앞에 적은 파일의 그 줄이라는 뜻이다. 캡션 한가운데 박힌 긴 영어 이름과 괄호 속 파일 · 줄 번호도 같다 — 건너뛰고 한글만 읽어도 뜻이 통하게 써 두었다.

장면 · 패킷 하나가 계층을 오르내리는 동안 같은 것이 계속 전달된다 0 / 11

▶ 를 누르면 랜선에 도착한 바이트가 프로그램의 read() 까지 오는 동안 지나는 계층을 따라간다. 받은 바이트는 「누가 어디로 보냈는지 적은 앞부분(머리말) + 진짜 내용(알맹이)」으로 되어 있고, 계층이란 그 머리말을 하나씩 벗기며 위로 올리는 단계들이다 — 랜 카드 · IP · TCP · 소켓, 이렇게 넷을 지난다. 층마다 머리말을 하나씩 떼는데, 「뗀다」가 실제로 무슨 뜻인지 — 옮겨 적는 것인지 표시만 옮기는 것인지 — 가 이 장면의 요지다.

키보드 · ← → 한 스텝 · Space 재생/멈춤 · Home 처음

머리말은 아래 세 층에서 하나씩 떼지만 알맹이를 옮겨 담지는 않는다. 층을 오가는 동안 전달되는 것은 sk_buff 하나다.

어떻게 확인했나

소스 어디를 보고 적었는지와 무엇을 돌려서 쟀는지를 남긴 자리다. 처음 읽을 때는 건너뛰어도 된다.

sk_buff는 복사되지 않는다 — 층 사이로 넘기는 것은 skb 포인터 하나다(ip_protocol_deliver_rcu가 net/ipv4/ip_input.c:207에서 tcp_v4_rcv에 넘긴다). 머리말을 떼는 __skb_pull(include/linux/skbuff.h:2836)의 본문은 skb->len -= len;과 return skb->data += len;뿐이라 memcpy가 없다.
머리말을 떼는 자리는 세 곳이고 전부 같은 방식이다 — 이더넷은 eth_skb_pull_mac(include/linux/etherdevice.h:644), IP는 ip_local_deliver_finish(net/ipv4/ip_input.c:238), TCP는 tcp_rcv_established(net/ipv4/tcp_input.c:6634). 버퍼 자체는 head~end 그대로 있고 data 표시만 움직인다(include/linux/skbuff.h:1092–1095).
랜 카드에서 소켓 버퍼까지의 차례 — netif_receive_skb(net/core/dev.c:6516) → ip_packet_type.func = ip_rcv(net/ipv4/af_inet.c:1876) → ip_rcv(net/ipv4/ip_input.c:603) → ip_local_deliver(250) → tcp_v4_rcv(net/ipv4/tcp_ipv4.c:2070) → __inet_lookup_skb(2114)로 소켓을 찾고 → tcp_v4_do_rcv(2248) → tcp_queue_rcv(net/ipv4/tcp_input.c:5532) → tcp_add_receive_queue(include/net/tcp.h:802)의 __skb_queue_tail(&sk->sk_receive_queue, skb).
바이트를 진짜로 옮겨 적는 곳은 한 군데다 — 사용자 공간으로 넘길 때 tcp_recvmsg가 부르는 skb_copy_datagram_msg(net/ipv4/tcp.c:2840)다.
소켓이 잠겨 있으면 곧장 큐에 못 들어간다 — sock_owned_by_user이면 tcp_add_backlog(net/ipv4/tcp_ipv4.c:1901)로 소켓마다 따로 있는 임시 대기 줄(이름은 같은 백로그지만 16번의 그 상한과는 다른 것이다)에 잠시 들렀다 간다(net/ipv4/tcp_ipv4.c:2250).
받는 쪽이 안 읽는 동안 200,000 바이트를 보냈더니 ss -nt 가 받는 쪽 Recv-Q 127,663 · 보내는 쪽 Send-Q 72,337 로 갈라 보여 줬다. 여기 Recv-Q 는 바이트 수다 — 16번의 LISTEN 줄에서 같은 칸이 기다리는 연결 개수였던 것과 다르다. 둘을 더하면 정확히 200,000 이다 — 같은 바이트를 커널이 양쪽에 나눠 들고 있다.

‹ 이전 목차로 ›