XOR 암호화·키 추정 해독

XOR 암호는 어떻게 동작하나요

XOR(배타적 논리합)은 두 비트가 다르면 1, 같으면 0이 되는 계산이에요. 데이터의 각 바이트를 키 바이트와 XOR하면 암호가 되고, 같은 키로 한 번 더 XOR하면 원래 데이터로 돌아와요. 키가 데이터보다 짧으면 키를 처음부터 반복해서 써요(반복 키 XOR). 계산이 아주 빨라서 프로그램 안의 설정값이나 문자열을 가리는 데 자주 쓰이고, CTF(해킹 대회 연습 문제)와 악성코드 분석 공부에서도 자주 만나요.

키를 모를 때 찾는 방법

• 1바이트 키 찾기: 키가 한 바이트면 경우의 수가 256가지뿐이라 모두 풀어 보고, 결과가 영어 글처럼 보이는 정도(영어 글자 빈도, 띄어쓰기 비율, 읽을 수 있는 글자 비율)로 점수를 매겨 높은 순으로 보여 줘요.
• 반복 키 찾기: 키 길이를 1부터 최대값까지 바꿔 가며, 키 길이마다 데이터를 같은 키 바이트로 XOR된 묶음으로 나눠요. 각 묶음은 1바이트 XOR이라 위 방법으로 풀 수 있어요. 키 길이별로 나온 결과의 점수를 비교하고, 긴 키가 짧은 데이터에 억지로 맞춰지는 것을 막으려고 키 길이에 작은 벌점을 줘요. ‘ICEICE’처럼 반복되는 키는 ‘ICE’로 줄여 보여 줘요. 각 키 길이에 대해 이웃한 블록 사이의 정규화 해밍 거리도 계산하는데, 이것은 이 문제를 푸는 고전적인 방법이에요.

입력과 결과

데이터는 16진수(빈칸·0x 허용), Base64, 일반 글자로 넣거나 파일을 그대로 놓을 수 있어요. 키는 글자나 16진수로 넣어요. 결과는 UTF-8 글자로 읽히면 글자로, 아니면 읽을 수 없는 바이트를 점(.)으로 바꿔 보여 주고, 16진수와 .bin 파일로도 받을 수 있어요. 반복 키 찾기는 큰 파일일 때 앞 4,096바이트로 키를 추정하고 결과는 전체에 적용해요.

한계

자동 추정은 원래 데이터가 영어 글일 때 가장 잘 맞아요. 원래 데이터가 압축 파일이나 이미지처럼 무작위에 가까우면 점수로 고를 수 없어요. 이럴 때는 파일 머리(예: PNG는 89 50 4E 47)를 알고 있다면 ‘키로 XOR’에 그 값을 넣어 키 앞부분을 직접 구해 보세요. 키가 데이터만큼 길고 한 번만 쓰는 무작위 값이면(일회용 패드) 원리적으로 풀 수 없어요. 데이터는 서버로 보내지 않아요.

참고한 자료

• Exclusive or — Wikipedia
• Cryptopals Set 1 — Break repeating-key XOR
• CyberChef XOR·XOR Brute Force 연산 (Apache-2.0)