VPN은 어떻게 작동하나요?

VPN(가상 사설 네트워크)은 인터넷 연결을 암호화하고 원격 VPN 서버를 통해 데이터를 다시 라우팅합니다. 이렇게 함으로써 VPN은 인터넷 브라우징 활동을 익명으로 보호하고, IP 주소와 위치를 변경하며, 공용 와이파이에서 사용자를 보호합니다.

VPN은 실제로 어떻게 작동할까요? VPN은 사용하기 쉬우면서도 강력한 소프트웨어이지만, VPN 서버에 연결할 때 어떤 일이 일어나는지 명확하게 이해하면 VPN 사용에 도움이 됩니다.

위의 프로세스에 따라 VPN은 방문 웹사이트에서 사용자의 IP 주소와 위치를 변경하고 ISP, 와이파이 관리자, 정부 기관, 연결을 모니터링하는 제 3자로부터 온라인 활동을 숨길 수 있습니다.

VPN의 장점을 활용하기 위해 알아야 하는 주요 사항은 이것이 전부이지만, VPN이 실제로 어떻게 작동하는지에 대해 더 자세히 이해하고 VPN이 가진 모든 잠재적인 기능을 최대한 활용하려면 이 가이드를 계속 읽어보시기 바랍니다.

다음 도식은 VPN에 연결했을 때 웹 트래픽이 일반적으로 어떻게 처리되는지 보여줍니다:

이 프로세스에 대한 각 단계는 아래와 같습니다. 1~3단계에서는 “VPN 핸드셰이크“를 구성하고 8~10단계는 VPN 세션 전체에 걸쳐 계속 진행됩니다.

이러한 단계들은 VPN 작동 방식에 대한 전반적인 프레임을 제공하여 일반적인 이해를 돕습니다. 그러나 이러한 단계가 구체적으로 구현되는 것은 사용하는 VPN 프로토콜과 공급자가 네트워크를 구성한 방식에 따라 달라집니다.

VPN 연결에 대해 자세히 알아보고 싶다면, 각 과정의 링크를 클릭하거나 이 가이드를 계속 읽어보시기 바랍니다.

VPN 클라이언트-서버 초기 연결

초기 연결은 다음과 같이 진행됩니다:

여기까지 완료되면 이제 암호화를 완전히 설정하기 위한 핸드셰이크가 수행될 수 있습니다. 주요 VPN 프로토콜별 초기 교환을 처리하는 방법은 다음과 같습니다:

• OpenVPN, SSL/TLS, SSTP:
  • 클라이언트가Client Hello을 패킷으로 전송합니다
  • 서버가 Server Hello 패킷으로 응답합니다.
• 와이어가드:
  • 클라이언트와 서버는 핸드셰이크를 시작하고 응답 메시지를 교환합니다.
  • 메시지에는 임시 공개 키와 암호화 매개변수가 포함됩니다.
• L2TP/IPSec 및 IKEv2:
  • 클라이언트와 서버가 IKE (인터넷 키 교환) 시작 패킷 IKE_SA_INIT를 교환합니다.

많은 상위 VPN들은 수정된 버전의 와이어가드 또는 OpenVPN을 기반으로 하며, 기본 프로토콜과 유사한 초기 프로세스를 운영하는 자체 독점 프로토콜도 제공합니다.

다음은 OpenVPN 초기 연결 패킷의 예입니다:

^{VPN 연결 과정 개요로 돌아가기 ↩}

VPN 클라이언트-서버 인증

인증 단계에서는 클라이언트가 진짜 VPN 서버에 연결되었는지 확인합니다. 인증 방법에 따라 복잡성과 보안 수준이 다양하며, 강력한 연결을 보장하기 위해 여러 기술을 결합하는 경우가 많습니다.

OpenVPN이나 IPSec 같은 VPN 프로토콜의 경우에는 높은 수준의 구성이 가능하지만 대부분의 인증 과정에는 인증서, 사전 공유 키(PSK), 사용자 이름/비밀번호 확인의 조합이 포함됩니다.

VPN 프로토콜	주요 암호화 방식	키 특징
OpenVPN	인증서 기반 인증, 사용자 이름 및 비밀번호	HMAC를 사용한 패킷 인증 후 진행 중인 세션 인증을 위해 별도의 TLS 제어 채널 생성
와이어가드	공개 키 암호화	일반적인 핸드셰이크 프로세스 없음, 전송된 첫 번째 패킷에서 인증 수행, 각 피어에 대해 사전 공유된 개인 및 공개 키 사용
IKEv2	사전 공유 키(PSK), X.509 디지털 인증서, EAP(확장 가능 인증 프로토콜)를 통한 사용자 기반 인증	보안 강화를 위한 순차 인증 지원, 개인정보 보호를 위해 암호화된 IKE_AUTH 패킷 사용
L2TP/IPSec	2단계 인증: L2TP는 VPN 엔드포인트 인증, IPSec는 사용자 인증	L2TP는 PPP(Point-to-point Protocol) 방식(예: PAP, CHAP, MS-CHAP) 사용, IPSec는 L2TP 인증 전에 암호화된 터널을 설정하여 전반적인 보안 보장

^{VPN 연결 과정 개요로 돌아가기 ↩}

VPN 키 교환

키 교환은 실제로 키 자체를 전송하지 않고 두 당사자가 안전하지 않은 통신 채널을 통해 공유 비밀 키를 안전하게 설정하는 암호화 프로세스입니다.

이 공유 비밀 키는 이후의 통신을 위한 대칭 암호화를 활성화하여 클라이언트와 서버 사이에 보안 VPN 터널을 효과적으로 생성합니다.

다양한 키 교환 방법의 작동 방식에 대한 자세한 설명은 VPN 핸드셰이크 섹션을 참고하세요.

이 가이드에서는 가장 널리 사용되는 VPN 프로토콜이 키 교환을 처리하는 방법을 중점적으로 다루도록 하겠습니다:

앞서 보았듯이 키 교환 방법은 프로토콜마다 복잡성, 성능, 가장 중요하게는 보안 측면에서 크게 다릅니다.

그렇기 때문에 다양한 사용 목적에 맞게 VPN을 구성할 수 있습니다. 그러나 너무 복잡한 경우, 경험이 부족한 개발자가 잘못 구성하게 되어 잠재적 보안 취약성을 초래할 수도 있습니다.

이에 대한 여러 사례를 확인하고 싶다면 Top10VPN의 무료 안드로이드 VPN의 보안 결함에 대한 조사 결과를 읽어보시기 바랍니다.

^{VPN 연결 과정 개요로 돌아가기 ↩}

VPN 터널 생성

VPN 핸드셰이크가 완료되면 클라이언트와 서버 사이에 보안 터널이 생성됩니다.

VPN 터널에 대한 자세한 설명은 VPN 터널 섹션을 참고하시기 바랍니다. 이 가이드에서는 터널이 생성되는 일반적인 과정과 프로토콜별 과정의 차이를 중점적으로 설명합니다.

주요 VPN 프로토콜이 VPN 터널 생성을 처리하는 방법은 다음과 같습니다:

• OpenVPN:
  • IP 또는 이더넷(계층 2) 모드용으로 구성 가능한 tun/tap 가상 네트워크 인터페이스를 사용합니다.
  • IP 주소, 경로, 기타 네트워크 설정을 교환합니다.
  • VPN 터널이 활성화되면 가상 인터페이스를 통해 트래픽을 라우팅합니다.
  • 구성이 필요한 경우 압축 또는 단편화와 같은 추가 기능을 설정합니다.
• 와이어가드:
  • 다른 프로토콜에 비해 오버헤드가 낮고 성능에 초점을 맞춘 최소한의 터널 설정을 사용합니다.
  • wg0이라는 간단한 가상 네트워크 인터페이스를 만듭니다.
  • 연결을 유지하기 위해 지속적인 연결 유지 패킷을 보낼 수 있습니다.
• L2TP/IPSec:
  • IPSec 계층이 L2TP 패킷에 대한 터널을 만듭니다.
  • IPSec 터널 내에서 L2TP 제어 연결을 설정합니다.
  • 데이터 전송을 위한 L2TP 세션을 생성합니다.
  • VPN 터널을 활성화하여 IPSec으로 보호되는 L2TP 터널을 통해 트래픽을 라우팅합니다.
• IKEv2:
  • IPSec 터널을 설정합니다.
  • 추가 IPSec 하위 SA를 통해 여러 트래픽 흐름을 라우팅할 수 있습니다.

^{VPN 연결 과정 개요로 돌아가기 ↩}

IP 할당

새로운 VPN IP 주소 할당은 VPN 연결 프로세스에서 중요한 단계입니다. IP 마스킹에 대한 전체적인 내용은 VPN이 IP 주소를 숨기는 방법에 대한 섹션을 참고하시기 바랍니다.

각 VPN 프로토콜은 IP 할당을 다르게 처리합니다. 주요 프로토콜별 프로세스는 다음과 같습니다:

기기의 라우팅 테이블은 이 프로세스의 일환으로 업데이트되어 일반 인터넷 연결을 통해 기기와 VPN 서버 간에 트래픽을 전송합니다. 목적지까지 가는 도중에 VPN 서버를 통한 터널로 다른 모든 인터넷 트래픽을 보내는 새로운 규칙이 추가됩니다.

분할 터널링이 있고 그것이 클라이언트에서 활성화되어 있는 경우, 지정한 앱에서 터널 외부 및 일반 인터넷 연결을 통해 트래픽을 전송하기 위한 추가 규칙이 기기의 라우팅 테이블에 추가될 수 있습니다

^{VPN 연결 과정 개요로 돌아가기 ↩}

DNS 확인

인터넷 활동을 완전히 익명으로 유지하기 위해 VPN은 일반적으로 DNS 요청을 나머지 트래픽과 함께 암호화된 터널을 통해 라우팅합니다. ISP나 제3자 서버 대신 VPN의 자체 DNS 서버를 사용하는 경우가 이상적입니다.

이 과정이 제대로 실행되지 않으면 DNS 유출로 불리는 개인정보 보호 손상이 발생할 수 있습니다.

최신 VPN 프로토콜은 강력한 DNS 보호를 제공하지만 관리자가 경험이 부족한 경우 구성이 쉽게 잘못될 수 있습니다.

자체 DNS 서버 운영에 투자하지 않는 VPN 제공업체와 특히 무료 VPN에서 이러한 문제가 더 일반적으로 발견됩니다. 즉, DNS 요청이 터널을 통과하더라도 여전히 타사 DNS 서버 소유자에게 노출 및 기록될 수 있습니다.

Top10VPN의 최신 연구 결과, 무료 안드로이드 VPN의 80% 이상에서 DNS 요청 유출이 발생했습니다.

^{VPN 연결 과정 개요로 돌아가기 ↩}

데이터 전송, 암호화 및 암호 해독

이제 보안 VPN 연결이 완전히 설정되었기 때문에 클라이언트는 데이터를 암호화하여 터널을 통해 VPN 서버로 보냅니다. 서버는 이 데이터를 해독하여 최종 목적지(예: 사용 중인 웹사이트나 앱)로 전달합니다.

VPN 서버는 대상 서버의 응답을 수신하고 유사하게 암호화된 후 터널을 통해 다시 전송되며 클라이언트가 암호를 해독합니다.

패킷 구조 및 처리와 함께 암호화에 사용되는 암호는 사용 중인 VPN 프로토콜에 따라 결정됩니다. VPN 암호화에 대한 전체적인 설명은 VPN 암호화 작동 방식에 대한 섹션을 참고하시기 바랍니다.

아래 표에서 주요 VPN 프로토콜들이 데이터 전송 및 암호화/암호 해독을 처리하는 방식을 비교하였습니다. 버튼을 눌러 확장한 다음 아래로 스크롤하면 각 프로토콜을 확인할 수 있습니다.

VPN이 없으면 기기가 웹사이트 서버에 직접 연결되며, 콘텐츠를 다시 전송하려면 사용자의 IP 주소를 알아야합니다.

IP 주소는 인터넷상의 여권 같은 것으로 정보를 전송할 때 정보를 보낼 위치를 컴퓨터에 알려주는 고유 식별자입니다.

IP 주소는 사용자의 위치와 온라인 활동 등 개인 정보를 노출시킵니다. 그렇기 때문에 많은 사람들이 이러한 데이터를 숨기기 위해 VPN을 사용합니다.

VPN에 연결되면 웹사이트에 도달하기 전에 원격 서버를 통해 연결이 다시 라우팅됩니다.

웹사이트는 VPN 서버의 IP 주소와만 상호 작용하기 때문에 실제 IP 주소는 숨겨집니다. 웹사이트는 VPN 서버로 정보를 보낸 후 이를 사용자의 기기로 전달합니다.

이렇게 IP 주소를 마스킹하면 다음과 같은 장점이 있습니다:

• 웹사이트와 광고주가 사용자의 온라인 활동을 직접 추적하는 것을 방지합니다.
• 다른 국가에 위치한 것처럼 표시하여 지역 제한 콘텐츠 차단을 우회할 수 있습니다.
• 악의적인 행위자가 사용자의 기기나 네트워크를 표적으로 삼기 어려워집니다.

VPN 터널은 기기와 VPN 서버 사이에 설정된 보안 채널로, 공용 인터넷에 안전한 비밀 경로를 생성합니다.

원래 트래픽이 암호화되고 암호화되지 않은 트래픽 레이어로 래핑되기 때문에 터널이라고 불립니다.

쉽게 설명하자면 봉인된 봉투를 다른 주소가 적힌 또 다른 봉투 안에 넣어 원본 메시지를 숨기고 가로채는 사람이 읽을 수 없도록 만드는 것과 같습니다.

캡슐화라고 하는 이 프로세스는 터널링 프로토콜에 의해 수행됩니다.

VPN 암호화

암호화는 일반 텍스트 데이터를 비밀 코드로 변환하여 해독에 필요한 키가 없으면 누구도 읽을 수 없도록 만듭니다.

VPN은 암호화를 사용하여 기기와 VPN 서버 간의 브라우징 활동을 숨겨 다양한 형태의 감시로부터 사용자를 보호합니다.

VPN은 암호를 사용하여 사용자의 온라인 활동을 읽을 수 없는 코드로 변환합니다. 암호는 데이터를 암호화하고 해독하는 수학적 알고리즘(예: 일련의 규칙)으로, 주로 특정 키 길이와 결합됩니다.

키는 암호화된 데이터를 변경하는 데 사용되는 문자열입니다. 동일한 키를 소유한 사람만이 데이터를 해독할 수 있습니다.

일반적으로 키 길이가 길수록 암호의 보안 강도가 높아지기 때문에 AES-256이 AES-128보다 더 안전합니다.

어떤 VPN 프로토콜은 장기간 사용하도록 설계된 고정 키를 사용하는 반면, 어떤 프로토콜은 단일 세션 또는 데이터 교환 후 만료되는 임시 키를 사용합니다.

암호화에 사용되는 암호는 다음과 같이 작동합니다:

1. 데이터를 보내기 전에 암호가 키를 사용하여 데이터를 암호화합니다.
2. 수신자가 데이터를 해독하는 데 사용하는 키와 동일하거나 관련된 키가 사용됩니다.
3. 맞는 키를 가진 대상만이 데이터를 해독하고 읽을 수 있습니다.

VPN에서 사용하는 암호는 개발자가 성능보다 보안을 얼마나 우선시하는 지에 따라 결정되는 경우가 많습니다. 암호가 강력할수록 처리하기가 더 힘든 경향이 있기 때문입니다.

시간이 지남에 따라 최신 암호도 등장하고 있으며 더 높은 품질의 서비스와 통합됩니다.

VPN 서비스에서 가장 일반적으로 사용되는 암호는 다음과 같습니다.

• 고급 암호화 표준 (AES)
  • 온라인 암호화 프로토콜의 정석
  • 128비트 및 256비트 키 길이로 제공
  • 더 강력한 보안을 위해서는 AES-256 선호
  • 양자 내성 암호화
• 블로피시(Blowfish)
  • 1993년에 설계되었으나 지금은 대부분 AES-256으로 대체됨
  • 128비트 키 사용 (32비트에서 448비트까지도 사용 가능)
  • 공격에 취약한 것으로 알려짐
  • AES-256 대비책으로 사용
• ChaCha20
  • 인기가 많아지고 있는 새로운 암호
  • 256비트 키 사용
  • AES-256과 동등한 수준의 보안
  • 더 빠른 성능 (특히 모바일 기기에서)
• 카멜리아(Camellia)
  • 2000년에 개발됨
  • ES와 동등한 수준의 보안 및 속도
  • 미국 국립표준기술원(NIST)의 인증을 받지 않음
  • 대부분의 VPN 소프트웨어에서 지원하지 않음

암호화 모드는 AES 같은 암호가 데이터를 암호화하는 방법을 결정합니다. 이는 VPN 보안에 매우 중요하며 개인정보 보호와 성능 모두에 영향을 미칩니다. VPN에 주로 사용되는 가장 일반적인 모드는 다음과 같습니다:

• CBC (암호 블록 체인)
  • 기존의 모드
  • 종속 블록 체인 생성
  • 최신 모드보다 느릴 수 있음
  • 추가적인 보안 조치 필요
• GCM (갈루와/카운터 모드)
  • 암호화 및 인증 제공
  • CBC보다 빠른 속도
  • 매우 안전한 것으로 평가됨
  • 최신 VPN에서 널리 사용
• CTR (카운터)
  • 블록암호를 스트림암호로 변환
  • 빠른 속도 및 병렬 처리 가능
  • 인증만 단독으로 제공하지 않음
  • ChaCha20에서 사용
• OCB (오프셋 코드북 모드)
  • 단일 패스로 인증된 암호화 제공
  • 매우 효율적
  • 특허 문제로 인해 사용에 한계

이 외의 모드는 VPN에서 피하는 것이 좋습니다. 특히 ECB(전자 코드북)는 너무 단순해서 보안을 유지할 수 없는 반면, CFB(암호 피드백)와 OFB는 복잡하고 오래된 것이기 때문에 구성이 잘못되기 쉽습니다. 별도의 인증 메커니즘과 결합되지 않는 한 무결성 검사가 없는 모드도 피해야 합니다.

현재 대부분의 최상위 VPN은 보안과 성능의 적절한 균형을 제공하는 AES나 ChaCha20-Poly1305 조합과 함께 GCM 모드를 사용합니다. Top10VPN이 VPN을 리뷰할 때 이러한 최신의 인증된 암호화 모드를 사용하는지 확인합니다.

VPN 프로토콜

VPN 프로토콜은 VPN 서버와의 보안 연결을 설정하기 위해 따라야 하는 일련의 규칙 및 프로세스입니다.

VPN 프로토콜은 VPN 터널이 형성되는 방식을 결정하고 암호는 터널을 통과하는 데이터를 암호화하는 데 사용되는 것입니다.

사용 중인 프로토콜에 따라 VPN의 속도, 기능, 취약성이 달라집니다. 대부분의 VPN은 앱은 특정 프로토콜을 디폴트로 설정해두었지만, 앱 설정에서 어떤 프로토콜을 사용할 지 선택할 수도 있습니다.

VPN 핸드셰이크

VPN 핸드셰이크는 보안 연결을 시작하는 데 있어 중요합니다. 과정은 다음과 같습니다:

1. 인증: VPN 클라이언트와 서버의 신원 확인
2. 키 교환: 세션의 암호화 키를 안전하게 공유
3. 매개변수 협상: 통신 규칙 및 사용할 암호 제품군에 동의

VPN 핸드셰이크 과정 중에 기기와 VPN 서버는 데이터를 교환하여 보안 채널을 설정합니다. 이 교환을 통해 공유 비밀 키가 생성되는데, 이 키가 VPN 세션 전체에서 데이터를 암호화하고 해독하는 데 사용됩니다.

VPN 핸드셰이크는 주로 RSA (Rivest-Shamir-Adleman) 알고리즘을 사용합니다. RSA는 지난 20년 동안 인터넷 보안의 기반이었습니다. 하지만, 키 길이가 중요합니다.

적절한 보안을 위해서는 RSA-2048 또는 RSA-4096을 사용하는 VPN 서비스를 선택하는 것이 좋습니다. 컴퓨팅 성능의 발전으로 인해 RSA-1024는 더 이상 안전하다고 여겨지지 않습니다.

대부분의 경우 안전하지만, 핸드셰이크 프로세스는 손상될 경우를 대비하여 해당 서버의 모든 세션을 잠재적으로 해독할 수 있는 ‘마스터 키’를 생성합니다.

이 때문에, 공격자가 VPN 서버를 해킹하여 VPN 터널을 통해 흐르는 모든 데이터에 액세스할 수 있습니다.

이러한 위험을 방지하려면 완전 순방향 비밀성으로 설정된 VPN 서비스를 사용하는 것이 좋습니다.

완전 순방향 비밀성

완전 순방향 비밀성(PFS)은 최신 VPN 프로토콜에서 가장 중요한 보안 기능입니다. 디피 헬먼 키 교환 알고리즘 (DH) 또는 타원곡선 디피 헬먼 키 교환 알고리즘 (ECDH)을 사용하여 고유한 임시 세션 키를 생성합니다.

완전 순방향 비밀성은 암호화 키가 연결 과정에서 절대 교환되지 않도록 합니다.

완전 순방향 비밀성의 주요 장점은 다음과 같습니다:

1. 독립 키 생성: VPN 서버와 클라이언트가 동일한 암호화 키를 교환하지 않고 독립적으로 키를 생성합니다.
2. 세션 격리: 각 연결에서 고유한 키를 사용하여 단일 세션이 손상되더라도 이로 인한 잠재적 피해를 방지합니다.
3. 임시 보안: 키가 일시적으로 사용되며, 사용 후 폐기되기 때문에 캡처된 데이터의 향후 암호 해독을 방지합니다.

RSA는 인증에 중요하지만, RSA만으로는 완전 순방향 비밀성을 구현할 수 없습니다. PFS를 구현하려면 암호화 제품군에 DH나 ECDH를 포함해야 합니다. ECDH는 핸드셰이크에 대한 강력한 보안을 제공하는 반면, DH는 잠재적인 취약점이 있기 때문에 다른 암호와 함께 사용해야 합니다.

Top10VPN이 추천하는 VPN 프로토콜인 OpenVPN과 와이어가드는 완전 순방향 비밀성을 지원합니다.

해시 인증 (Hash Authentication)

보안 해시 알고리즘(SHA)은 다음을 통해 VPN의 보안에 중요한 역할을 합니다:

1. 전송 중 데이터 무결성 확인
2. 클라이언트-서버 연결 인증
3. 무단 데이터 조작 방지

SHA는 해시 함수를 사용하여 소스 데이터를 “해시 값”이라고 하는 고정 길이 문자열로 변환합니다. 이는 단방향 프로세스이므로 되돌릴 수 없습니다. 입력에서 문자 하나만 변경해도 출력되는 해시 값이 완전히 변경됩니다.

VPN 통신이 작동하는 방식은 다음과 같습니다:

1. 발신자가 합의된 해시 함수를 데이터에 적용합니다.
2. 수신자는 동일한 기능을 사용하여 수신된 데이터에서 해시를 생성합니다.
3. 생성된 해시가 전송된 해시와 일치하면 데이터 무결성이 확인됩니다.
4. 일치하지 않는 해시는 변조 가능성이 있기 때문에 데이터가 삭제됩니다.

SHA 해시 인증은 유효한 인증서의 변조를 감지할 수 있기 때문에 중간자 공격을 방지하며, 해커가 합법적인 VPN 서버로 가장하는 것을 막을 수 있습니다.

보안을 극대화하려면 SHA-2 이상을 사용하는 VPN 서비스를 사용하는 것이 좋습니다. SHA-1은 보안을 손상시킬 수 있다는 취약성이 입증되었습니다.