VPN 프로토콜 설명 및 비교: 어떤 프로토콜이 가장 좋을까?

어떤 VPN을 사용하고 있는지에 따라 어떤 VPN 프로토콜이 필요한지 달라집니다.

여러 프로토콜 옵션을 제공하는 VPN도 있고, 프로토콜 설정을 변경할 수 없는 VPN도 있습니다.

각 프로토콜마다 장단점이 있으며 자신에게 적합한 프로토콜을 선택하려면 프로토콜 간의 차이점을 이해해야 합니다.

아래는 가장 많이 사용되는 7가지 VPN의 특징을 정리한 것입니다:

1. 오픈VPN: 최고의 VPN 프로토콜

제임스 요난(James Yonan)이 2001년에 만든 오픈VPN은 가장 안전한 VPN 프로토콜입니다.

이 소프트웨어는 오픈 소스이며 20년 넘게 사용되어 왔습니다. 즉, 보안 연구원이 약점과 불안정성을 테스트하는 데 많은 시간을 할애했음을 의미합니다.

현재까지 오픈VPN에서 발견된 취약점은 없으며 오픈VPN을 사용하면 안전하고 비공개 상태로 VPN에 연결되었다고 안심해도 됩니다.

이 프로토콜은 AES, 블로피시, ChaCha20 등 다양한 암호와 호환이 가능합니다.

오픈VPN은 구성성이 뛰어난 프로토콜이기도 합니다. 거의 모든 VPN이 마이크로소프트 윈도우, 애플 macOS, 안드로이드, 리눅스, iOS를 포함한 대부분의 주요 플랫폼에서 오픈VPN을 지원합니다.

오픈VPN 연결을 수동으로 설정할 수 있는 구성 파일도 다운로드 할 수 있습니다.

오픈VPN은 TCP와 UDP 2가지 통신 프로토콜과 함께 작동할 수 있습니다. TCP와 UDP는 데이터의 네트워크 전송을 제어하는 ​​전송 계층 프로토콜입니다.

둘의 주요 차이점은 오픈VPN UDP가 더 빠르지만, 오픈VPN TCP는 방화벽을 우회하는 데 강점이 있기 때문에 더 안정적인 연결을 제공한다는 것입니다.

 VPN 연결 시 가급적 UDP를 사용하는 것을 추천합니다. UDP를 사용할 수 없는 경우 TCP를 사용하시기 바랍니다.

오픈VPN의 가장 큰 단점은 다른 VPN 프로토콜만큼 빠르거나 가볍거나 효율적이지 않다는 것입니다. 속도는 빠른편이지만 와이어가드나 IKEv2만큼 빠르지는 않습니다.

가장 큰 대역폭을 필요로 하는 VPN 프로토콜이기도 합니다. VPN 데이터 사용 테스트에서 알 수 있듯이 오픈VPN은 다른 VPN 프로토콜보다 훨씬 더 많은 데이터를 소비합니다. 즉, 모바일기기에서 VPN을 사용하는 경우 약 20% 더 많은 데이터를 사용하게 됩니다.

오픈VPN 사용이 필요한 경우:

• 개인정보 보호와 보안을 가장 중요하게 생각한다면 가급적 오픈 VPN을 사용하는 것이 좋습니다.

오픈VPN을 사용하면 안 되는 경우:

•  빠른 속도가 중요한 작업을 하는 경우 (예: 게임)
• 셀룰러 데이터(3G/4G)에 연결되어 있는 동안 VPN을 사용하면 데이터 한도에 더 빨리 도달하고 해외 로밍 요금이 더 많이 나올 수 있습니다.

2. 와이어가드: 가장 빠른 VPN 프로토콜

와이어가드는 대중적으로 사용되는 오픈VPN 프로토콜보다 더 빠르고 효율적으로 설계된 비교적 새로운 오픈 소스 터널링 프로토콜입니다. 이 2가지 프로토콜을 비교하려면 와이어가드 vs 오픈VPN 심층 분석을 읽어보시기 바랍니다.

2019년에 출시된 와이어가드는 VPN 업계에 큰 영향을 미쳤습니다. 수많은 VPN들이 신속하게 와이어가드를 자신들의 서비스에 통합했으며, 와이어가드를 기본 프로토콜로 설정하는 VPN도 많았습니다.

와이어가드는 개발자 제이슨 도넨필드(Jason A. Donenfeld)가 약속한 것들을 실제로 제공하고 있습니다:

• 매우 빠릅니다. 와이어가드 자체 테스트 결과에 따르면 와이어가드가 오픈VPN보다 3배 이상 빠릅니다. Top10VPN의 테스트에서도 비슷한 결과가 나왔습니다. 특히, 장거리 연결에서도 속도가 빠른 것을 확인할 수 있었습니다.
• 매우 효율적인 코드를 기반으로 합니다.  와이어가드는 4,000줄의 코드로 오픈VPN이나 IKEv2 같은 제품보다 약 100배 작아서, 성능이 더 좋을 뿐만 아니라 보안도 향상시킵니다. 코드 베이스가 작을수록 프로토콜이 쉽게 감시할 수 있고 해커의 공격 표면(attack surface)가 줄어듭니다.
• 데이터 사용량을 최소화시킵니다. 테스트 결과, 와이어가드는 대역폭이 가장 적은 VPN 프로토콜인 것으로 나타났습니다. 오픈VPN을 사용하면 평소보다 데이터 사용량이 20% 증가하는 반면, 와이어가드를 사용하면 평소에 비해 데이터 사용량이 4% 만큼만 증가합니다. 자세한 내용은 VPN와 모바일 데이터에 대한 가이드를 참고하시기 바랍니다.

와이어가드가 서비스를 시작한지 얼마되지 않았다는 것이 약점이라고 할 수 있습니다. 성능 벤치마킹이 우수하고 아직 보안 취약점의 징후는 없지만 업계 내에서 완전히 신뢰를 받기에는 아직 시간이 필요합니다.

암호도 마찬가지입니다. 와이어가드는 AES-256과 같이 검증된 암호와 호환되지 않습니다. 대신 비교적 새로운 암호인 ChaCha20을 사용합니다. 모든 지표에서 ChaCha20이 매우 안전하고 잠재적으로 AES보다 더 빠른것으로 나타났지만, 개인정보 보호에 민감한 사용자에게는 새로운 암호화를 신뢰하기까지 시간이 필요할 수 있습니다.

와이어가드의 디폴트 구성에 대한 개인정보 보호 문제도 있습니다. VPN 서버에서 와이어가드 프로토콜을 작동시키려면 IP 주소의 임시 로그를 저장해야 합니다. 다른 VPN 프로토콜에서는 이것이 요구되지 않으므로 이 부분을 개선하지 않는다면 문제가 될 수 있습니다.

다행히 이 문제를 완화시키기 위한 방법이 있습니다. 예를 들어, NordVPN은 와이어가드를 독점 더블 나트 시스템 (Double NAT System)과 통합하여 NordLynx라는 더 안전한 맞춤형 프로토콜을 만듭니다. Mullvad의 경우에도 10분 동안 사용자 활동이 없으면 IP 주소를 삭제합니다.

와이어가드 사용이 필요한 경우:

• 현재까지는 와이어가드가 오픈 VPN만큼 안전하고 안정적이며 훨씬 더 빠른 것으로 보여집니다. 최신 프로토콜을 믿을 수 있고 성능에 만족한다면 와이어가드를 사용하는 것이 좋습니다.
• 와이어가드는 대역폭 소비가 적기 때문에 모바일 VPN 사용자에게 특히 좋습니다.

와이어가드를 사용하면 안 되는 경우:

• 온라인 개인정보 보호 및 보안에 대해 특히 신중한 사용자의 경우에는 와이어가드가 검증될 때 까지 좀 더 시간을 두고 보는 것이 좋습니다. 또한, IP 로그를 수집하는 프로토콜로서 이를 개선하기 위한 조치를 취하는지 지켜봐야 합니다.
• 와이어가드는 오직 UDP만 호환되기 때문에 다른 VPN 프로토콜만큼 방화벽을 우회하는 데 능숙하지는 않습니다. 검열 우회가 목적이라면 다른 프로토콜을 사용하는 것이 좋습니다.

3. IKEv2/IPSec: 모바일 사용자를 위한 프로토콜

IKEv2(키 교환 프로토콜 버전 2)는 모바일 사용자 사이에서 특히 인기 있는 VPN 프로토콜입니다.

연결 속도가 매우 빠르고 MOBIKE 프로토콜을 사용하여 네트워크 변경을 원활하게 처리합니다. 그렇기 때문에, IKEv2는 셀룰러 데이터와 와이파이 간에 네트워크를 자주 변경하는 모바일 VPN 사용자에게 적합합니다.

마이크로소프트와 시스코가 협력하여 IKEv2을 개발 하였으며 IKEv1의 후속 프로토콜입니다.

참고: IKEv2/IPSec의 리눅스 버전은 오픈 소스이며 감사 결과, 프로토콜에 문제가 없는 것으로 나타났습니다. 따라서, IKEv2는 비공개 소스임에도 SSTP 같은 다른 비공개 소스 프로토콜보다는 안심할 수 있습니다.

에드워드 스노우든(Edward Snowden)과 같은 보안 연구원들도 IPSec이 만들어지는 동안 의도적으로 약화되었다는 의견을 제시했습니다. 정확히 확인된 것은 아니지만 모든 IPSec 기반의 VPN 프로토콜이 NSA에게 해킹 당했다는 의심을 받고 있습니다.

IKEv2/IPSec이 해커나 ISP와 같은 덜 강력한 공격자에게도 취약하다는 증거는 없습니다. 즉, IKEv2/IPSec는 모바일폰에서 잘 작동하는 빠르고 유연하며 거의 안전한 VPN 프로토콜이라고 할 수 있습니다.

IKEv2는 UDP 포트 500에서만 작동하는데,  방화벽과 와이파이 관리자가 쉽게 차단할 수 있는 포트입니다. 즉, IKEv2/IPSec은 중국이나 러시아와 같은 국가에서 검열을 우회하기에는 효과적인 VPN 프로토콜이 아닙니다.

IKEv2/IPSec 사용이 필요한 경우:

• 모바일에서 VPN을 사용하고 와이파이와 셀룰러 데이터(예: 3G/4G) 간에 네트워크를 자주 전환하는 경우

IKEv2/IPSec을 사용하면 안 되는 경우:

• 학교나 직장의 로컬 네트워크에서 방화벽을 우회하거나 권위주의 국가에서 검열을 우회하려는 경우.
• 개인정보 보호 및 익명성이 걱정되는 경우. IKEv2이 비공개 소스라는 점과 IPSec의 NSA와의 잠재적 연관성 때문에 개인정보 보호에 대해 안심할 수 없습니다.

4. SoftEther: 웹 검열을 우회하기 위한 프로토콜

2014년에 출시된 SoftEther는 최신 VPN 프로토콜 중 하나입니다. 현재까지는 속도 저하 없이 우수한 보안을 제공하는 것으로 보입니다.

SoftEther는 AES-256와 RSA-4096을 포함한 강력한 암호화를 지원합니다. 또한, 오픈VPN보다 13배 빠른 속도를 자랑합니다.

또한, 엄격한 웹 검열도 우회할 수 있도록 설계되었습니다. SoftEther는 OpenSSL 암호화 및 인증 프로토콜을 기반으로 합니다. 이는 SSTP나 OpenVPN과 마찬가지로 방화벽과 검열 시스템이 차단하기 매우 어려운 TCP 포트 433을 사용할 수 있음을 의미합니다.

2018년, SoftEther는 80시간의 보안 감사를 받았고 그 결과, 11개의 보안 취약점이 발견 되었습니다. 해당 취약점들은 이후 업데이트에서 패치되었지만, 최근 Aalto 대학의 연구원들이 SoftEther가 중간자 공격에 취약할 수 있다는 사실을 발견했습니다.

서버의 인증서를 확인하지 않는 것이 디폴트 값이기 때문입니다. 따라서, 공격자가 VPN 서버를 사칭하여 사용자 자격 증명 및 온라인 활동에 대한 액세스 권한을 얻을 수 있습니다.

SoftEther를 사용하는 경우에는 새 VPN 연결 설정에서 서버 인증서 항상 확인하기 옵션을 선택해야 합니다.

SoftEther는 모든 운영 체제에서 기본으로 지원되지는 않으며 현재 극소수 VPN만이 SoftEther 사용을 지원합니다. Top10VPN이 테스트한 VPN 중에서는 Hide.me와 CactusVPN만이 SoftEther 프로토콜을 지원합니다.

SoftEther 사용이 필요한 경우: 

• 사용 중인 VPN에서 지원하는 경우, SoftEther을 사용하면 더 빠르고 안전한 브라우징을 할 수 있습니다.
• 특히, 방화벽이나 검열을 우회하는데 효과적입니다.

SoftEther을 사용하면 안 되는 경우:

• ‘서버 인증서 항상 확인하기’ 옵션을 활성화 하기 전에는 SoftEther을 사용하지 않는 것이 좋습니다.

5. L2TP/IPSec: 사용할 가치가 없는 느린 프로토콜

PPTP의 후속 제품으로 1999년에 만들어진 L2TP(계층 2 터널링 프로토콜)는 대부분의 장치에서 대부분의 VPN 서비스가 기본적으로 지원하는 사용하기 쉬운 프로토콜입니다.

IKEv2와 마찬가지로 L2TP는 IPSec과 결합하여 하이브리드 L2TP/IPSec VPN 프로토콜을 생성합니다. 불행하게도 이것은 에드워드 스노우든이 제기했듯이 IPSec이 NSA에 의해 해킹당했으며 개인정보 보호 문제가 있다는 것을 의미합니다.

L2TP에는 별도의 보안상 결함도 있는데, 이 문제는 사전 공유 키를 사용하는 VPN 서비스와 함께 사용할 때 발생합니다.

VPN의 암호화 키를 온라인으로 다운로드할 수 있는 경우, 공격자가 인증 자격 증명을 위조하고 VPN 서버를 가장하여 연결을 감시할 수 있게 되는데, 이를 중간자 공격이라고 합니다.

L2TP는 데이터를 2개의 계층으로 보호하여 래핑하는 이중 캡슐화 기능을 제공합니다. 이렇게 하면 프로토콜의 보안이 향상되지만 속도가 상당히 느려집니다.

L2TP와 같은 이전 프로토콜은 나트(NAT)와 호환되지 않기 때문에 연결 문제가 발생할 수 있습니다. 이 경우, 라우터의 VPN 패스 스루 기능과 L2TP를 사용하여 VPN에 연결해야 합니다.

L2TP/IPSec는 목록에 있는 VPN 프로토콜 중 가장 느린 프로토콜입니다.

L2TP/IPSec 사용이 필요한 경우: 

• L2TP/IPSec을 되도록 사용하지 않는 것을 추천합니다.

L2TP/IPSec을 사용하면 안 되는 경우:

• 개인정보를 공개하거나, NSA의 감시가 우려되거나, 암호화 키를 온라인에서 공개적으로 공유하는 VPN을 사용하는 경우 L2TP를 사용하지 마세요.

6. SSTP: 다소 위험성이 있는 비공개 소스 프로토콜

SSTP(보안 소켓 터널링 프로토콜)는 마이크로소프트에서 개발한 독점 프로토콜입니다. 비공개 소스이므로 세부 사항이 불분명합니다.

SSTP가 SSL/TLS 암호화 표준을 기반으로 한다는 것은 알려져 있는데, SSTP가 TCP 포트 443을 사용할 수 있게 해준다는 장점이 있습니다. TCP 포트 443는 모든 일반 HTTPS 트래픽이 통과하는 포트이므로 방화벽이 차단하기가 매우 어렵습니다.

따라서, SSTP는 중국의 만리방화벽과 같은 검열을 우회하기에 매우 효과적인 VPN 프로토콜입니다.

반면, SSL 3.0은 POODLE로 알려진 중간자 공격에 취약합니다. SSTP도 같은 취약점이 있는지는 확인되지 않았지만 굳이 위험을 감수할 필요가 없습니다.

또한, 과거 NSA와 마이크로소프트가 협력 관계에 있다는 의심을 받은 적도 있습니다. 마이크로소프트가 개발한 비공개 소스 프로토콜인 만큼 배후에 NSA가 있을 가능성이 있습니다.

SSTP 사용이 필요한 경우:

• 학교, 직장, 정부 기관의 방화벽을 우회하려고 하는데 대안이 없는 경우

SSTP을 사용하면 안 되는 경우:

• POODLE 공격 또는 NSA 감시의 가능성을 감안하면 개인정보 보호, 보안, 익명성이 중요한 작업 시에는 SSTP를 사용하지 않는 것이 좋습니다.

7. PPTP: 안전하지 않은 오래된 프로토콜

지점간 터널링 프로토콜(PPTP)은 원래 VPN 프로토콜이었습니다. 1996년 마이크로소프트 엔지니어인 구르딥 싱팔(Gurdeep Singh-Pall)이 개발하여 VPN 기술의 포문을 열었습니다.

현재는 PPTP가 구식으로 여겨지며 소비자 VPN에서 사용하기에 안전하지 않습니다.

꼭 필요한 경우가 아니면 PPTP 사용을 권장하지 않습니다. 개인정보 보호나 보안에 적합하지 않습니다.

PPTP는 속도가 빠른데, 그 이유 중 하나는 PPTP가 사용할 수 있는 가장 강력한 암호화 키가 128비트이기 때문입니다. 일반적으로 높은 수준의 보안을 위해 사용하는 군사급 AES-256 암호와는 호환되지 않습니다.

PPTP는 속도를 빠르게 하는 대신 보안을 희생했습니다. 예를 들어, 숙련된 공격자는 단 몇 분 만에 PPTP로 암호화된 VPN 연결을 해킹할 수 있는 것으로 밝혀졌습니다.

NSA 역시 PPTP의 불안정성을 악용하여 엄청난 양의 VPN 사용자 데이터를 수집한 것으로 알려졌습니다.

아직도 일부 비즈니스 VPN 네트워크에서 사용되지만 개인 VPN에는 PPTP를 사용하지 않는 것이 좋습니다. 일부 VPN은 보안 취약성 때문에 PPTP 지원을 완전히 중단하기도 했습니다.

PPTP 사용이 필요한 경우:

• PPTP는 절대 사용하지 않는 것이 좋습니다. 빠른 속도만을 원하고 개인정보 보호나 보안에 관심이 없는 경우는 예외입니다.

PPTP을 사용하면 안 되는 경우:

• 계좌 정보나 비밀번호 같은 중요한 정보가 노출될 수 있는 활동 시에는 PPTP를 사용하지 않도록 특히 유의해야합니다.

독점 VPN 프로토콜

많은 VPN 서비스들이 앞서 말한 프로토콜만을 제공하는 것은 아닙니다. 어떤 VPN 서비스는 자체적으로 프로토콜을 만들어 제공하기도 하는데,  이를 독점 VPN 프로토콜이라고 합니다.

독점 VPN 프로토콜 사용에는 장단점이 있습니다. 장점은 높은 확률로 다른 프로토콜보다 속도가 빠르다는 것입니다.

새로운 프로토콜을 만드는 데 시간과 비용을 들인만큼 자체 프로토콜을 가능한 더 빠르게 만들기 위해 최고의 서버와 인프라를 구축하기 때문입니다. 또한, VPN 공급업체는 자신들의 독점 프로토콜이 다른 프로토콜보다 더 안전하다고 주장합니다.

하지만, 이러한 프로토콜은 대부분 거의 비공개로 세부 사항이 명확하게 공개되어 있지 않습니다. 

오픈VPN과 같은 오픈 소스 프로토콜은 수천 명의 사람들이 테스트하여 정말 안전하고 안정적으로 작동하는지, 개발자가 약속한 대로 이행되고 있는지 검증되었지만, 독점 VPN 프로토콜은 대부분 비공개 소스이기 때문에 배후에서 무슨 일이 벌어지고 있는지 정확히 알기 어렵습니다.

어떤 VPN 프로토콜이 가장 좋은지는 VPN이 필요한 이유와 가장 중요하게 생각하는 기능에 따라 다릅니다.

다음 표는 다양한 프로토콜을 비교한 것입니다:

프로토콜	암호화	속도	신뢰도	취약성
OpenVPN TCP	256비트	중간	매우 높음	없음
OpenVPN UDP	256비트	빠름	높음	없음
PPTP	128비트	매우 빠름	중간	있음
L2TP/IPSec	256비트	중간	중간	의심됨
SSTP	256비트	빠름	매우 높음	의심됨
SoftEther	256비트	매우 빠름	매우 높음	보완 필요
IKEv2/IPSec	256비트	매우 빠름	높음	의심됨
WireGuard	256비트	매우 빠름	높음	없음

오픈VPN은 가장 안전한 VPN 프로토콜입니다. 속도나 융통성이 약간 감소하더라도 개인정보 보호 및 보안을 가장 중요하게 생각하는 사용자에게 적합합니다.

예를 들어, 검열이 심한 국가에서 토렌트를 하거나 무료 인터넷에 액세스 하려면 오픈VPN을 사용해야 합니다.

검열을 우회할 때, 오픈VPN 대신 사용할 수 있는 프로토콜은 SoftEther입니다.

와이어가드는 속도가 가장 빠른 VPN 프로토콜입니다. 매우 민감한 작업을 해야할 때는 여전히 오픈VPN을 사용하는 것이 권장되지만, 와이가드도 충분히 안전합니다. 게임이나 스트리밍 같이 속도가 중요한 작업 시 와이어가드를 사용하시기 바랍니다.

와이어가드는 가장 데이터 효율적인 VPN 프로토콜이기도 합니다. 스마트폰에서 VPN을 사용 중이고 데이터 사용량이 걱정된다면 와이어가드를 사용하여 데이터 사용을 최소화할 수 있습니다.

IKEv2는 모바일 VPN 사용자에게 좋은 프로토콜입니다. MOBIKE 프로토콜은 빈번하고 갑작스러운 네트워크 변경(예: 와이파이에서 셀룰러 데이터로 연결)을 처리하는 데 가장 적합합니다.

IKEv2의 데이터 사용량은 와이어가드만큼 낮지는 않지만 오픈VPN이나 다른 VPN 프로토콜보다 훨씬 더 효율적으로 데이터를 사용합니다.

대부분의 VPN은 설정 메뉴에서 VPN 프로토콜을 변경할 수 있습니다.

VPN 프로토콜 변경이 가능한 경우, 설정 메뉴를 열고 사용하려는 VPN 프로토콜을 선택하기만 하면 됩니다.

설정에 프로토콜을 선택하는 카테고리가 없는 경우, 대체 프로토콜을 설치하여 수동으로 설정할 수도 있습니다.

NordVPN은 오픈VPN에서 실행되지만 IKEv2 수동 설치도 허용하는 예시 중 하나입니다.

사용 중인 VPN이 대체 프로토콜 설정을 지원하는 경우, 해당 웹사이트에서 제공하는 가이드를 따라 설정하면 됩니다.

가장 안전한 프로토콜과 암호를 사용하는 VPN이라 하더라도 다른 문제로 인해 사용자의 데이터를 위험에 노출되게 할 수 있습니다.

자세한 내용은 VPN 로깅 정책 또는 VPN 데이터 누출에 대한 가이드를 참고하시기 바랍니다.