VPN 프로토콜: 리뷰, 비교 & 테스트 결과

WireGuard의 장단점.

장점	단점
놀랍도록 빠름	기본 설정에서 사용자 IP 주소를 저장할 수 있음
간결하고 효율적인 코드베이스	UDP 전용(방화벽에 쉽게 차단됨)
최소한의 데이터 사용량
최신 보안 & 암호화

WireGuard는 비교적 새로운 오픈소스 VPN 프로토콜입니다. 극도로 빠르고, 데이터 효율이 좋으며, 기본적으로 UDP 통신만 지원합니다.

빠른 속도와 안전한 ChaCha20 암호화 덕분에 평판 좋은 VPN들이 널리 채택했고, 그래서 대다수 사용자에게 최고의 선택입니다.

코드베이스가 OpenVPN보다 훨씬 짧아 오류가 생길 가능성이 낮고, VPN 서비스가 소프트웨어에 안전하게 구현하기 쉬우며, 철저한 감사도 더 빨리 끝납니다.

직접 해 본 속도 테스트에서 저는 WireGuard가 OpenVPN보다 2배 빠르다는 걸 확인했습니다.

제가 측정한 것 중 가장 알뜰한 프로토콜이기도 합니다. 널리 쓰이는 VPN 프로토콜 중 WireGuard가 데이터를 가장 적게 씁니다.

WireGuard는 ChaCha20 암호화, 인증에 Poly1305, 키 교환에 Curve25519, 그리고 완전 순방향 비밀성(PFS)을 씁니다.

WireGuard의 기본 설정은 고정 IP 주소를 요구하는데, 이는 개인정보 보호를 해칠 수 있습니다. 하지만 많은 최상위 VPN 업체가 더블 네트워크 주소 변환(NAT) 시스템 같은 고급 구성으로 이를 해결했습니다.

예를 들어 NordVPN은 WireGuard를 자체 더블 NAT 시스템과 결합해 NordLynx라는 더 안전한 WireGuard 버전을 만들었습니다. 서버에 고정 IP 주소를 저장하지 않고도 WireGuard 연결을 맺을 수 있게 해줍니다.

Proton VPN도 실제 IP 주소가 저장되지 않도록 WireGuard 서버에 더블 NAT 시스템을 구현했습니다.

OpenVPN의 장단점.

장점	단점
검증되고 철저히 감사받은 보안	비대한 코드와 복잡한 구조
설정 자유도가 높은 프로토콜	문제가 있는 기본 설정
다양한 암호화 알고리즘과 호환	데이터를 많이 소비함
	다른 프로토콜보다 느림

OpenVPN은 신뢰받는 오픈소스 VPN 프로토콜입니다. 한때 가장 인기 있는 프로토콜이자 수십 년간 업계의 황금 기준이었습니다.

보안 연구자들이 20년간 엄격하게 감사해왔습니다. 데이터 전송 세션마다 새 키를 만드는 PFS도 제공합니다.

OpenVPN을 쓰면 제어 채널(인증·키 교환·설정 담당)과 데이터 채널(패킷 암호화·전송 담당)이 모두 SSL/TLS 암호화로 보호됩니다. 데이터 채널만 암호화하는 다른 프로토콜보다 안전한 이유입니다.

OpenSSL 라이브러리에 든 모든 암호화 알고리즘도 쓸 수 있습니다. AES, Blowfish, Camellia, ChaCha20이 여기 포함됩니다.

대부분의 VPN은 TCP와 UDP, 두 전송 모드 중에서 고르게 해줍니다. 핵심 차이는 UDP가 더 빠르고, TCP가 더 안정적이고 신뢰할 수 있다는 점입니다.

TCP는 데이터를 보내기 전에 연결을 맺고, 전송 내내 연결을 유지하며, 모든 데이터가 성공적으로 전송된 뒤 연결을 닫기 때문입니다.

TCP는 오류를 확인하고, 패킷이 손실됐는지 점검하고, 필요하면 재전송을 시작하므로 데이터 전달을 보장합니다.

반면 UDP는 데이터를 보내기 전에 연결을 열고, 유지하고, 닫지 않습니다. 핸드셰이크 없이 그냥 보냅니다. 손실된 패킷의 추적이나 재전송도 없습니다.

중요한 건, TCP는 이메일 발송, 중요한 파일 전송, 검열 우회처럼 믿을 수 있는 통신이 필요한 상황에 주로 쓰인다는 점입니다. UDP는 게임, 영상·음악 스트리밍, 온라인 통화처럼 빠른 활동에 좋습니다.

거의 모든 VPN 앱이 윈도우, 맥OS, 안드로이드, 리눅스, iOS 등 주요 운영 체제에서 OpenVPN을 기본 지원합니다. OpenVPN 연결을 수동으로 설정할 수도 있습니다.

다만 OpenVPN에도 단점이 있습니다. WireGuard나 IKEv2만큼 효율적이지 않습니다. 코드가 7만 줄이 넘는데, WireGuard는 겨우 4천 줄입니다. 보안 연구자들이 감사하기 어려워지고, 버그가 생길 위험도 커집니다.

WireGuard처럼 OpenVPN도 기본적으로 IP 주소와 사용자 이름을 저장하지만, IP 주소를 저장하지 않도록 쉽게 설정할 수 있습니다.

OpenVPN은 데이터 사용량도 최대 20%까지 늘리는데, 제가 테스트한 어떤 VPN 프로토콜보다 많습니다.

IKEv2/IPsec의 장단점.

장점	단점
매우 빠름	마이크로소프트 코드베이스는 비공개 소스
와이파이와 모바일 데이터 사이를 매끄럽게 전환	온라인 검열 우회 실패
다양한 강력 암호화 알고리즘 지원	NSA에 뚫렸을 가능성

IKEv2(인터넷 키 교환 버전 2)는 매우 안정적인 연결을 제공하는 빠른 VPN 프로토콜입니다. 제 테스트에서 두 번째로 빠른 VPN 프로토콜이었는데, WireGuard 다음이고 OpenVPN은 여유 있게 따돌렸습니다. 오버헤드가 적은 것도 한 이유입니다. 제 데이터 사용량을 겨우 7.88% 늘렸는데, OpenVPN UDP는 17.14%였습니다.

IKEv2에는 이동성 및 멀티호밍 프로토콜(MOBIKE)을 이용한 독특한 자동 재연결 기능이 있습니다. 한 주소에서 다른 주소로 옮겨가는 동안에도 VPN 게이트웨이와의 연결을 유지해줍니다.

MOBIKE 덕분에 모바일에서 셀룰러 데이터와 와이파이 사이를 매끄럽게 전환할 수 있습니다.

IKEv2 자체는 암호화를 제공하지 않아서, 보통 IPsec(인터넷 프로토콜 보안)과 결합해 IKEv2/IPsec을 이룹니다.

IKEv2/IPsec 프로토콜은 마이크로소프트와 Cisco가 함께 만들었는데, 비공개 소스 코드로 유명한 회사들이라 우려가 생길 수 있지만, 이제는 감사를 거친 오픈소스 버전이 많습니다.

IPsec은 AES, Camellia, ChaCha20 같은 256비트 알고리즘을 쓰는 보안 프로토콜 모음입니다. IKEv2가 기기와 VPN 서버 사이에 안전한 연결을 맺고 나면, IPsec이 터널을 지나는 데이터를 암호화합니다.

IPsec이 NSA에 해킹당했을 수 있다는 확인되지 않은 의혹이 있습니다. 에드워드 스노든 같은 보안 연구자들은 IPsec이 만들어질 때 의도적으로 약화됐다고 주장해왔습니다.

이 VPN 프로토콜은 온라인 검열도 우회하지 못합니다. IKEv2는 UDP 500번 포트에서만 작동하기 때문에 방화벽과 와이파이 관리자가 쉽게 차단합니다.

따라서 IKEv2/IPsec은 중국이나 러시아 같은 국가에서 웹사이트를 차단 해제하기엔 나쁜 선택입니다.

SoftEther의 장단점.

장점	단점
인터넷 방화벽 우회를 위해 설계됨	대부분의 VPN에서 제공되지 않음
강력한 암호화 알고리즘과 호환	안전하게 쓰려면 수동 설정 필요

제대로 설정하면 SoftEther는 빠르고 안전한 오픈소스 프로토콜로, AES-256, RC4-128, Triple-DES-168 등 다양한 암호화 알고리즘과 호환됩니다.

이 프로토콜은 직장과 학교의 “일상적인” 방화벽을 우회하는 데 특히 좋습니다. 다만 그 이상은 기대하지 마세요.

암호화와 인증 프로토콜의 기반이 OpenSSL입니다. 즉 OpenVPN처럼 TCP 443 포트를 쓸 수 있는데, HTTPS(보안 웹사이트)에 쓰이는 포트라 방화벽이 효과적으로 차단하기 어렵습니다.

결정적으로, 대부분의 VPN은 SoftEther를 채택하지 않았습니다. 어떤 운영 체제도 기본 지원하지 않고, 제가 리뷰한 VPN 중에서는 Hide.me만 지원합니다.

또한 SoftEther의 기본 설정은 그 자체로 안전하지 않습니다. 기본값에서 클라이언트가 서버 인증서를 검증하지 않습니다. 그래서 공격자가 VPN 서버를 사칭해 사용자 자격 증명과 온라인 활동에 접근할 수 있습니다.

SoftEther는 검열 우회로 명성을 쌓았지만, 이제는 중국 같은 국가의 공격적인 제한을 뚫는 데 필요한 가장 앞선 VPN 난독화에 뒤처집니다.

L2TP/IPsec의 장단점.

장점	단점
강력한 암호화 알고리즘과 호환	복잡한 코드 탓에 구현이 부실함
오픈소스 코드	방화벽 우회 실패
	IPsec이 뚫렸을 가능성
	더블 캡슐화로 연결이 느려짐
	NAT와 호환 안 됨

레이어 2 터널링 프로토콜(L2TP)은 PPTP의 후계자로 1999년 8월 출시됐습니다. IKEv2처럼 L2TP도 보통 IPsec과 결합해 L2TP/IPsec 하이브리드 VPN 프로토콜을 이룹니다.

전반적으로 성능은 실망스럽고, L2TP는 이제 구식으로 여겨집니다. 제가 리뷰한 VPN 중 절반도 안 되는 곳만 제공하고, 평판 좋은 서비스 대부분은 이제 더 빠르고 안전한 대안으로 안내합니다.

마이크로소프트와 Cisco가 만들었지만, L2TP/IPsec 서버를 구현한 오픈소스 코드베이스가 GitHub에 있어 프로토콜을 감사하고 백도어를 점검할 수 있습니다.

복잡한 코드 때문에 VPN들의 구현이 부실했습니다. L2TP와 IPsec을 결합하는 복잡함 탓에 일부 VPN은 사전 공유 키로 프로토콜을 설정했습니다. 이 때문에 사용자는 중간자 공격에 노출됐는데, 공격자가 인증 자격 증명을 위조하고 VPN 서버를 사칭해 연결을 도청하는 공격입니다.

L2TP/IPsec은 데이터를 두 겹의 암호화로 감싸는 더블 캡슐화 기능 때문에 다른 프로토콜보다 느리기도 합니다. 보안은 좋아지지만 자원을 더 많이 쓰고, VPN 속도를 늦추며, 모바일 기기의 배터리 사용량도 늘립니다.

NAT와도 호환되지 않아 연결 문제가 생길 수 있습니다. 이 경우 L2TP로 VPN에 연결하려면 라우터의 VPN 패스스루 기능을 써야 합니다.

SSTP의 장단점.

장점	단점
안전한 AES-256 암호화 제공	대부분의 VPN에서 제공되지 않음
검열 우회에 좋음	비공개 소스이며 마이크로소프트 소유
윈도우에서 설정하기 쉬움

보안 소켓 터널링 프로토콜(SSTP)은 방화벽 우회에 믿을 만한 옵션이지만, 고급 VPN 대부분은 이를 버리고 더 최신 프로토콜로 옮겨 갔습니다.

SSTP는 마이크로소프트가 소유·운영하는 독점 프로토콜입니다. 보통 윈도우 기본 연결을 보호하는 데 쓰입니다. 기본적으로 SSL/TLS와 TCP 443 포트, 그리고 AES-256 암호화 알고리즘으로 안전한 연결을 맺습니다.

모든 일반 HTTPS 트래픽이 지나는 포트라 방화벽이 차단하기 어렵고, 특정 형태의 웹 검열 우회에 효과적입니다.

SSL3을 쓰던 시절에는 중간자 공격에 취약했습니다. 요즘 SSTP는 훨씬 안전하고 사이버 공격에 강한 TLS 1.2와 1.3을 쓰도록 설정됩니다.

전반적으로 WireGuard나 OpenVPN처럼 VPN에서 이미 쓸 수 있는 더 새롭고 개인정보 보호에 강한 대안이 있어서, 제가 SSTP를 고려할 상황은 거의 없습니다.

PPTP의 장단점.

장점	단점
빠름	심각한 보안 취약점
오래된 시스템에 기본 내장	256비트 암호화 키와 호환 안 됨
	검열 우회에 나쁜 선택
	NSA에 뚫린 것으로 알려짐

지점 간 터널링 프로토콜(PPTP)은 알려진 보안 문제가 많은 구식 VPN 프로토콜입니다. 암호화된 터널을 만드는 데 쓰인 가장 오래된 네트워크 프로토콜 중 하나입니다.

마이크로소프트는 1990년대 중반 윈도우에 PPTP를 처음 실었고, 1999년 7월 표준(RFC 2637)으로 공개했습니다. 일상적인 윈도우 환경용으로 만들어졌고, 당시 기준으로는 데이터 소비가 적고 속도가 빨랐습니다. 전화 접속 인터넷 시대였으니까요. 그 뒤로 많은 게 바뀌었고, PPTP는 더 이상 표준이 아닙니다.

당시로서는 설정이 간단하고 성능이 좋았던 덕분에, 중소기업의 내부 사이트 간·원격 VPN에 인기였습니다. 걱정스럽게도 일부 회사는 지금도 이 프로토콜에 의존합니다.

뒤떨어진 128비트 암호화와 알려진 취약점 때문에 대부분의 VPN 업체는 PPTP 지원을 완전히 중단했습니다.

예를 들어 2016년의 한 블로그 글은 PPTP로 암호화된 VPN 연결을 단 3분 만에 뚫을 수 있다고 주장합니다.

NSA도 PPTP의 취약점을 악용해 VPN 사용자의 데이터를 대량으로 수집한 것으로 알려져 있습니다.