syslog: 머리, 우선순위, 커널 사건

머리 형식 두 가지

RFC 3164 (BSD syslog)

예전 정보성 형식이며, 디스크의 파일은 아직 대부분 이 모양입니다.

<34>Oct 11 22:14:15 mymachine su: 'su root' failed for lonvick on /dev/pts/8

날짜가 공백 채움으로 한 자리일 수 있어서 awk 칸 번호는 같지만($1 월, $2 일, $3 시각, $4 호스트, $5 태그) 1~9일에는 글자 위치가 어긋납니다. 연도가 없다는 점은 파일이 새해를 넘길 때 문제가 됩니다.

RFC 5424

지금의 표준은 버전, 완전한 시각, 구조화 데이터를 더합니다.

<165>1 2026-10-18T10:02:11.003Z web-1 app 4242 ID47 [exampleSDID@32473 iut="3"] request timed out

facility 와 severity

PRI 에는 숫자 두 개가 들어 있습니다. PRI = facility × 8 + severity 이므로 facility 는 int(PRI / 8), severity 는 PRI % 8 입니다. <0> 은 kern.emerg, <165> 는 local4.notice 입니다.

찾을 만한 커널 · 시스템 사건

OOM 킬러는 중요한 줄 두 개를 씁니다. 무엇이 일으켰는지, 무엇을 죽였는지입니다. 커널 소스(6.x) 기준입니다.

Oct 18 10:02:11 web-1 kernel: java invoked oom-killer: gfp_mask=0x140cca(GFP_HIGHUSER_MOVABLE|__GFP_COMP), order=0, oom_score_adj=0
Oct 18 10:02:11 web-1 kernel: Out of memory: Killed process 4242 (java) total-vm:8123456kB, anon-rss:6012344kB, file-rss:0kB, shmem-rss:0kB, UID:1001 pgtables:12345kB oom_score_adj:0
Oct 18 10:02:12 web-1 systemd[1]: app.service: Main process exited, code=killed, status=9/KILL

• <task> invoked oom-killer: — 메모리 할당에 실패한 태스크입니다. 죽은 프로세스와 같다는 보장이 없습니다.
• Out of memory: Killed process <pid> (<이름>) — 희생된 프로세스와 그 순간의 가상 크기, 상주 메모리(anon-rss · file-rss · shmem-rss)입니다. 한도가 cgroup 이었다면 "Memory cgroup out of memory" 로 시작합니다.
• 그다음 줄은 대개 서비스 관리자가 알아챈 기록입니다. systemd 의 code=killed, status=9/KILL 은 같은 사건을 서비스 쪽에서 본 것입니다.

그 밖에 시간축에 올려 볼 줄: 세그멘테이션 오류(segfault at), 블록 I/O 오류(I/O error, dev sdb), 파일 시스템 오류, NIC 링크 변화. 정확한 문구는 커널 버전과 드라이버에 따라 다르므로 문장 전체보다 짧은 패턴을 대소문자 구분 없이 찾으십시오.

syslog 파일용 한 줄 명령

RFC 3164 모양(PRI 없음)의 표본 /var/log/messages 와 작은 RFC 5424 파일로 실행해 확인했습니다. systemd 호스트에서는 journalctl -k 가 커널 메시지를, journalctl -o short 가 같은 배치의 줄을 내므로 같은 파이프가 동작합니다.

• 줄을 가장 많이 쓰는 프로그램(pid 제거)

  awk '{print $5}' messages | sed -E 's/\[[0-9]+\]//; s/:$//' | sort | uniq -c | sort -rn | head

  복사

• 여러 서버가 한 파일에 쓸 때 호스트별 줄 수

  awk '{print $4}' messages | sort | uniq -c | sort -rn

  복사

• OOM 킬러가 죽인 프로세스 수

  grep -cE '(Out of memory|Memory cgroup out of memory): Killed process' messages

  복사

• 죽은 프로세스 이름

  grep -oE 'Killed process [0-9]+ \([^)]+\)' messages | awk '{print $4}' | tr -d '()' | sort | uniq -c | sort -rn

  복사

• OOM 킬러를 일으킨 태스크

  grep -oE '[^ ]+ invoked oom-killer' messages | sort | uniq -c

  복사

• segfault 로 죽은 프로그램

  grep -oE '[^ ]+\[[0-9]+\]: segfault at' messages | cut -d[ -f1 | sort | uniq -c | sort -rn

  복사

• I/O 오류를 말하는 줄 수

  grep -ciE 'i/o error' messages

  복사

• 분당 줄 수 — 몰린 구간이 드러납니다

  cut -c1-12 messages | uniq -c

  복사

• 호스트별 시간당 줄 수

  awk '{split($3, t, ":"); print $4, t[1] ":00"}' messages | sort | uniq -c

  복사

• error · fail · timed out 이 든 줄을 쓰는 프로그램

  grep -iE 'error|fail|timed out' messages | awk '{print $5}' | sed -E 's/\[[0-9]+\]//; s/:$//' | sort | uniq -c | sort -rn

  복사

• RFC 5424: PRI 를 facility 와 severity 로 풀기

  grep -oE '^<[0-9]+>' syslog5424.log | tr -d '<>' | awk '{print "facility", int($1/8), "severity", $1%8}' | sort | uniq -c

  복사

• RFC 5424: 호스트 · 앱 이름별 줄 수

  awk '{print $3, $4}' syslog5424.log | sort | uniq -c | sort -rn

  복사