보안

[보안/네트워크] 일본 리전 리눅스 서버 SYN Flood·DDoS 완화를 위한 커널(sysctl) 및 방화벽 실무 설정 가이드

대량 연결 시도와 SYN Flood 트래픽 유입 시 리눅스 서버의 소켓 고갈을 방지하기 위한 tcp_syncookies, conntrack 테이블 확장 및 연결 속도 제한(Rate Limit) 실무 설정 매뉴얼입니다.

자료 정보

작성자:기술팀
수정일:2026. 11. 15.
작성일:11/15/2026
조회수:0
다운로드:0

1. 개요 및 적용 목적


상위 데이터센터 DDoS 방화벽을 통과한 소규모 분산 세션 공격(TCP SYN Flood, Slowloris, 과도한 단기 재연결)이 유입될 때, 리눅스 커널 기본값 상태에서는 반개방(Half-open) 큐나 nf_conntrack 상태 추적 테이블이 먼저 포화되어 정상 사용자의 접속까지 지연될 수 있습니다. 본 가이드는 Ubuntu 22.04/24.04 LTS 및 Rocky Linux 9 기준의 안전한 커널·방화벽 튜닝 절차를 다룹니다.



2. 현재 소켓 및 Conntrack 상태 진단


설정 변경 전, 현재 서버의 TCP 상태별 소켓 수와 연결 추적 테이블 사용량을 먼저 확인합니다.


# 요약 소켓 통계 확인 (SYN-RECV, TIME-WAIT 수치 점검)
ss -s

# SYN_RECV 상태 연결 상위 출발지 대역 확인
ss -nt state syn-recv | awk '{print $4}' | cut -d: -f1 | sort | uniq -c | sort -nr | head -n 15

# nf_conntrack 현재 사용량 및 최대치 확인
sysctl net.netfilter.nf_conntrack_count net.netfilter.nf_conntrack_max


3. 커널 네트워크 파라미터(/etc/sysctl.d) 최적화


기존 /etc/sysctl.conf를 직접 수정하기보다 별도 드롭인 파일(/etc/sysctl.d/99-prime-network-hardening.conf)로 분리 관리하면 OS 업그레이드 시 충돌을 예방할 수 있습니다.


# /etc/sysctl.d/99-prime-network-hardening.conf
# 1) SYN Flood 방어: SYN 백로그 포화 시 쿠키 검증 활성화
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_synack_retries = 2
net.core.somaxconn = 8192
net.core.netdev_max_backlog = 16384

# 2) 유휴·비정상 종료 소켓 회수 가속화
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 5

# 3) IP 스푸핑 및 비정상 ICMP 리다이렉트 차단
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.send_redirects = 0

파일 저장 후 아래 명령으로 즉시 반영하고 오류 여부를 확인합니다.


sudo sysctl --system

주의: 컨테이너 브리지(Docker·Kubernetes CNI)나 비대칭 라우팅(Asymmetric Routing) 구성을 사용하는 서버에서는 rp_filter = 2(Loose mode)가 필요할 수 있으므로 네트워크 토폴로지를 먼저 확인하십시오.



4. Conntrack 테이블 한도 조정 (방화벽 활성 서버)


ufw, firewalld, iptables/nftables가 활성화된 서버에서 nf_conntrack: table full, dropping packet 커널 로그가 발생한다면 메모리 여유에 맞춰 최대치를 상향합니다(RAM 32GB 이상 전용서버 기준 예시).


# 즉시 적용 및 영구 반영 예시 (nf_conntrack 모듈 로드 환경)
sudo modprobe nf_conntrack
echo "net.netfilter.nf_conntrack_max = 524288" | sudo tee /etc/sysctl.d/98-conntrack.conf
sudo sysctl -p /etc/sysctl.d/98-conntrack.conf


5. 호스트 방화벽 단위의 신규 연결 Rate Limit 적용


단일 IP가 짧은 시간 동안 과도한 신규 연결을 생성하지 못하도록 호스트 방화벽에서 1차 속도 제한을 걸어 두면 애플리케이션 워커 보호에 효과적입니다.


# Ubuntu UFW 환경에서 SSH 분당 과다 시도 자동 제한
sudo ufw limit 22/tcp comment "SSH brute-force rate limit"

# nftables 환경에서 웹 포트(80/443) 초당 과다 신규 SYN 제한 예시 점검
sudo nft list ruleset


6. 점검 요약 및 상위 방화벽 연동 안내


호스트 커널 튜닝은 서버 내부 자원 고갈을 완화하는 단계이며, 회선 대역폭 자체를 채우는 대용량 Volumetric 공격은 데이터센터 상위 스위치·하드웨어 방화벽에서 필터링해야 합니다. 포트별 허용 정책이나 상위 DDoS 방화벽 서비스 설정이 필요하신 경우 1:1 온라인 문의로 요청해 주시기 바랍니다.

Prime IDC 서버 · 보안 서비스 바로가기

운영 중인 서버에 패치 적용이나 방화벽·네트워크 구성 지원이 필요하시면 언제든 문의해주세요.

실시간 상담서비스 신청