Chat GPT를 통한 정보보호 아이디어 제안: Proposer information protection ideas through Chat GPT

 

1. 서론

22년 11월 혜성처럼 등장한 ChatGPT는 시작부터 지금까지도 컴퓨터 분야나 공학 분야를 막론하고 다양한 분야에서 큰 파장을 일으키고 있다. 많은 사람이 챗GPT를 각자의 방식대로 사용해 보고 경험을 공유하느라 많은 시간을 보내고 있다. 그와 함께 이 강력한 도구에 대한 진짜 문제에 대해서도 많이 논의와 우려도 나오고 있다. ChatGPT 혹은 생성형 AI나 대형 언어 모델(LLM)라고도 불리는 이 도구가 무기로 사용될 때 어떤 식으로 바뀔지 아직 정확히 모른다는 것이 문제가 되고 있다.

또한 보안 전문 기업 카스퍼스키(Kaspersky)는 ChatGPT를 사이버 범죄자와 보안담당자 모두 사용할 수 있는 ‘창과 방패의 대결’에 비유했다. ChatGPT를 이용한 멀웨어 생성·분석, 취약점 확인, 보안 컨설팅, 피싱과 악성메일 활용방안에 우려를 표했다.

이번 리포트에서는 ChatGPT와 같은 생성형 AI가 보안 영역에서 활용되는 긍정적인 부분과 부정적인 부분과 함께 앞으로의 보안에 어떤 역할을 할 것인지 그리고 어떻게 대처하고 활용해나가야 하는지에 대해서 알아보겠다.

 

2. 과제 1의 내용 요약

생성형 AI(Generative AI)는 기계 학습의 한 분야로, 새로운 데이터를 생성하거나 예측하는 능력을 가진 인공지능이다.

 

생성형 Ai가 보안에 사용되는 긍정적인 사례

보안 스크립트 작성, 악성코드 분석에 사용, 코드 취약점 분석 등에 사용될 수 있다.

 

생성형 Ai가 보안 위협에 사용되는 부정적인 사례

GPT 기반 사이버 공격

사이버 공격자들이 GPT-4를 사용해 악성코드 및 피싱 이메일들을 제작해 유포하고 있다. 기존 GPT-3 대비 더 복잡한 코드를 작성할 수 있게 되면서 공격이 강화되었고 악의적 사용에 대한 진입 장벽 또한 낮아졌다.

또한 GPT를 사용해 사용자 기기들에 대한 원격 접속 권한을 획득하거나 피싱 이메일을 작성하는 일도 가능하다.

 

사용자의 ChatGPT 탈옥 문제

사용자가 GPT의 폭력적인 내용, 혐오 컨텐츠, 범죄와 관련된 내용을 잠금 처리하는 것을 우회하고 해제를 해서 컴퓨터 보안에 위협이 되는 내용을 알아내는 것(탈옥)도 문제가 되고 있다.

 

사기 GPT의 등장

사기 GPT는 스피어 피싱(지인이나 기업으로 위장한 이메일 공격)이나 해킹 도구 개발 등의 사이버 보안 공격을 지원하기 위해 개발된 생성형 AI 프로그램이다. 이 프로그램은 복잡한 악성 코드를 대신 작성하거나, 사기 이메일을 작성하고, 해킹 방법 등을 제공한다.

 

정보, 데이터 유출

다음은 정보나 데이터의 유출의 위험성이다. 생성형 AI는 입력된 모든 데이터를 저장하고 이를 기반으로 학습하는 것이 특징이므로 데이터를 기록했다가 버리는 경우는 없으므로 주의해야 한다.

 

3. 제안 아이디어: ChatGPT와의 응답을 통한 보안 대책 강화:

ChatGPT와의 프롬프팅을 통해서 기존의 코드와 보안 대책들에 대해서 점검하는 방법들이다.

 

3.1 약점 탐색 및 걸러내기

작성한 코드를 생성형AI에게 질문함으로써 현재 코드의 약점 및 취약점을 분석할 수 있다.

CSA(Cloud Security Alliance)의 연구 보고서에 따르면, 생성형 AI 기술은 사이버 보안 영역에서 취약점 탐색과 걸러내기 능력을 현저히 향상시킬 수 있다. 이 보고서에서는 오픈AI의 코덱스(Codex) API가 C, C#, 자바, 자바스크립트 등과 같은 프로그래밍 언어에 대한 효율적인 약점 탐색 도구로서의 능력을 확인하며, "코덱스와 같은 LLM은 앞으로 약점 탐색 도구의 표준 구성요소가 될 것으로 전망된다"라고 언급한다. 예컨대, 다양한 언어에서 안전하지 않은 코드 패턴을 찾아내고 표시하는 탐색 도구를 만들면, 개발자들은 잠재적 약점에 대해 미리 대응할 수 있다. 걸러내기 측면에서도, 생성형 AI 모델은 인간 보안 담당자가 놓칠 수 있는 위협 식별자를 설명하고 중요한 맥락을 추가하는 데 도움이 될 수 있다. 예를 들어, 마이터 어택(MIRTE ATT&CK) 프레임워크의 공격 기법 식별자 TT1059.001은 사이버보안 담당자에게 낯설 수 있어 간단한 해설이 필요하다. 보고서에 따르면, 챗GPT는 이런 코드를 MITRE ATT&CK 식별자로 정확히 인식하고, 악성 파워셸 스크립트 사용과 관련된 특정 문제에 대한 설명을 제공할 수 있다. 또한 파워셸의 특징과 사이버보안 공격에서의 파워셸 활용 가능성에 대해 상세히 설명하고 관련 사례를 제공하는 것도 가능하다. 예를 들어, 지난 5월 보안 회사 OX 시큐리티(OX Security)에서 공개한 OXGPT는 코드가 해커에게 악용될 수 있는 방법, 공격의 잠재적인 영향, 조직에 미칠 잠재적인 손해를 알려준다.

 

3.2 플러그인 및 PE 파일의 API 해석

현재 다른 사람이 작성한 플러그인과 PE파일에 대한 정보를 생성형AI에게 질문함으로써 주어진 코드에 대해서 더 빨리 해석하여 유사한 다른 코드를 수월하게 만들 수 있게 한다.

딥 인스팅트(Deep Instinct)의 사이버 인텔리전스 엔지니어링 부서 관리자인 맷 풀머에 의하면, 생성형 AI/LLM 기술은 규칙을 설정하고 IDA나 기드라(Ghidra) 같은 역공학 프레임워크를 기반으로 인기 있는 플러그인의 구조를 해석하는 데 사용될 수 있다. 풀머는 "프롬프트를 통해 필요한 요소를 명확하게 지정하고, 이를 MITRE ATT&CK 기법과 비교한 후 결과를 오프라인에서 가져와 개선하고 방어 작업에 활용할 수 있다"고 밝혔다. 또한 LLM은 애플리케이션의 통신 분석에도 도움을 줄 수 있으며, PE(Portable Executable) 파일의 API를 해석해 그 사용 목적을 알려줄 수 있다. 이를 통해 보안 연구원은 PE 파일을 검토하면서 해당 API 통신을 분석하는 데 소요되는 시간을 단축할 수 있다.

 

3.3 위협 추적 질의 (Threat Tracking Queries)

생성형AI를 통해 위협을 질문함으로써 공격에 대해서 더 잘 파악할 수도 있다.

CSA의 보고서에 따르면, 보안 방어 전문가들은 챗GPT 및 기타 LLM 기술을 활용하여 위협 추적 질의어를 생성함으로써 자신들의 효율성을 향상시키고 반응 시간을 줄일 수 있다. 챗GPT는 야라(Yara)와 같은 악성코드 연구 및 탐지 도구를 위한 질의어를 생성하여 방어 전문가가 잠재 위협을 빠르게 식별하고 완화하는데 도움을 준다. 이는 끊임없이 변화하는 위협 환경에서 튼튼한 보안 태세를 유지하는데 매우 유용하다. 특별한 요구사항이나, 기업이 탐지하거나 모니터링하고자 하는 특정 위협에 기반하여 규칙을 맞춤 설정할 수도 있다.

 

3.4 공격 상황에서 생성형 AI 텍스트 인식

LLM은 텍스트 생성 뿐만 아니라 AI로 만들어진 텍스트를 인식하고 워터마킹하는 기능도 갖추고 있다.

이를통해 공격을 받고 있는 상황에서 생성형AI에게 공격코드를 질문함으로써 공격 코드를 인식할 수 있다. CSA는 이러한 기능이 이메일 보호 소프트웨어의 일반적인 기능으로 자리 잡을 것으로 예상했다. 공격 상황에서 AI로 생성된 텍스트를 파악하면, 피싱 이메일과 변형성(polymorphic) 코드의 인식에 도움이 된다. 또한, LLM은 일상적이지 않은 이메일 주소 발신자와 그 도메인을 쉽게 인식할 수 있으며, 텍스트에 포함된 링크가 알려진 악성 웹사이트로 이어지는지 확인할 수 있다.

 

3.5 보안 코드 제작 및 전송

생성형AI로 직접 보안 코드를 작성하여 방어하는데 활용할 수 있다.

LLM은 보안 코드를 제작하고 전달하는 데에도 활용될 수 있다. CSA는 보고서에서 여러 직원을 대상으로 자격증명 유출을 시도한 성공적인 피싱 캠페인을 예로 들었다. 해당 사례에서 피싱 이메일을 열어본 직원은 확인했지만, 악성 코드를 실행해 자격증명을 훔친 사람은 파악하지 못했다. 보고서는 "마이크로소프트 365 디펜더 고급 추적 쿼리(Advanced Hunting Queries)를 이용하면 알려진 악성 이메일이 수신된 시점에서 30분 이내에 이메일 수신자가 가장 최근에 로그인한 10번의 이벤트를 찾을 수 있다. 이는 침해된 자격증명과 연관될 수 있는 수상한 로그인 활동을 파악하는 데 도움이 된다"고 밝혔다. 이런 상황에서 챗GPT는 침해된 이메일 계정의 로그인 시도를 확인하기 위한 마이크로소프트 365 디펜더 추적 쿼리를 제공할 수 있다. 이는 공격자를 시스템에서 차단하고 비밀번호 변경의 필요성을 판단하는 데 유용하다. 사이버 사고 대응 중에 조치 시간을 단축하는 좋은 예시다. 시스템이 KQL 프로그래밍 언어와 호환되지 않는 경우에는 프로그래밍 언어 스타일을 변환할 수 있다. CSA는 "이 예시는 챗GPT의 기반 코덱스 모델이 소스 코드 예제를 가져와 다른 프로그래밍 언어로 변환할 수 있음을 보여준다. 또한, 제공된 답변에 중요한 세부 사항과 새롭게 생성하는 작업에 사용된 방법론을 추가하여 최종 사용자의 업무 프로세스를 단순화한다"라고 설명했다.

 

 

4. 제안 아이디어: 클라우드 기술과 ChatGpt의 결합

현재 기업·기관이 직면한 가장 위험한 사이버 위협으로 가장 많은 응답자가 개인정보와 중요정보 유출(28.9%)을 꼽으면서 정보유출의 위험성을 높게 인식했다.

이러한 문제점과 고성능 컴퓨팅 능력이 필요한 생성 AI 연구와 서비스를 지속하기 위해 클라우드 기술과 생성형 AI를 접목시키는 아이디어를 제시한다.

AI기업이 클라우드 기업들과 파트너십 관계를 맺어 대규모 데이터센터와 그래픽처리장치(GPU)가 필요하고 전기량도 엄청나게 필요한 문제를 해결할 수 있으며 클라우드 기술을 통해 모여있는 데이터를 학습을 하면서 인공지능을 성장시킬 수 있다.

 

또다른 장점은 클라우드 안에 있는 데이터를 통해서 학습을 하므로 학습시킬 때 양질의 데이터를 얻을 수 있다. 클라우드 내에서 개인정보나 민감한 정보를 거르게 하여서 개인정보나 민감한 정보에 대해서 학습하는 것을 막을 수 있으며

학습을 선택적으로 할 수 있어서 잘못된 정보나 오래된 정보를 걸러서 학습할 수 있기 때문에 더 좋은 인공지능을 만들 수 있다.

 

또한 생성형 AI와 접목된 클라우드에 클라우드 서비스 보안인증제도(CSAP)를 적용시키면 더 한층 보안성과 기밀성, 안정성을 올릴 수 있는데

 

 

클라우드 보안 인증제도 CSAP는 Cloud Security Assurance Program의 약자로 한국인터넷진흥원(KISA)에서 주관하는 클라우드 서비스 보안 인증 제도이다. CSAP는 국가·공공기관에게 안전성 및 신뢰성이 검증된 민간 클라우드 서비스를 공급하고 이용자에게 안전한 클라우드 서비스를 제공하기 위한 목적으로 시행되고 있는데 이를 통해서 현재 운영중인 클라우드에 인증을 받도록 해 개인정보나 민감한 정보를 유출방지를 할 수 있어서 생성형 AI의 보안성과 안정성을 확보할 수 있다. 또한 인증받은 클라우드 서비스를 이용함으로써 보안 우려를 해소하고, 안전한 클라우드서비스 구축 및 이용 활성화를 기대할 수 있다.

 

또한 클라우드 운영 기업이 특정 클라우드 기술로 생성 AI 서비스를 제작해 활용하면 할수록 해당 클라우드 서비스 업체는 안정적인 고객 수요를 확보해 장기적으로 시장점유율을 높일 수 있다.

 

 

6. 결론

AI와 LLM은 기술 발전의 두 얼굴이라 할 수 있다. 기가몬의 CSO 차임 마잘은 제품의 안전한 이용을 보장하는 것이 리더의 주요한 역할이라 주장하며, "보안과 법률 전문가들이 협력하여 지적재산권 침해나 보안 위협 없이 기술을 활용하는 가장 좋은 방법을 찾아야 한다"고 강조했다. 생성형 AI는 전통적인 구조적 데이터에 기반하기 때문에, 보안과 방어를 검토할 때만 초기 지점으로 고려하는 것이 바람직하다. 딥 인스팅트의 풀머는 "생성형 AI를 활용하여 위에서 언급한 이점을 얻기 위해서는, 사람이 결과물을 합리화해야 한다. 결과물은 오프라인으로 가져와서 더 정확하고 실제 적용 가능하도록 보완해야 한다"고 부연했다. 결국 생성형 AI 챗봇/LLM이 보안 강화와 방어의 최종적인 역할을 수행하겠지만, 사이버 보안 상황에 효과적으로 활용하는 핵심은 내부 커뮤니케이션과 대응에 있다.

 

7. 참고문헌, 기사

 

1. KOITA-ChatGPT(챗GPT) 보안 위협과 시사점

https://m.koita.or.kr/m/mobile/mem_knowledge/ktip_read.aspx?no=49848&page=

 

2. 네이버 블로그, IT 지식 이해하기, 챗GPT 보안 위험과 대책법 | 생성형 AI 보안 규제

 

3. 조세일보, 구글, 직원에 바드 등 GPT 사용 경고…"기밀 유출 우려“

http://www.joseilbo.com/news/htmls/2023/06/20230616489637.html

 

4. CIO,일문일답 | “챗GPT 데이터 유출 공포 이렇게 극복했다”··· 美 나반 CSO 프라바스 카란스

https://www.ciokorea.com/news/308893#csidxfaeb9855b649ef6bb66f33e76693c38

 

5. 보안뉴스, 공격자들이 대형 언어 모델을 공격에 활용할 것은 너무나 뻔한 미래,

https://www.boannews.com/media/view.asp?idx=117021

 

6. 보안뉴스, 양날의 검 ‘챗GPT’에 베이지 않으려면... AI 보안위협 선제 대응 필요

https://www.boannews.com/media/view.asp?idx=118177

 

7. 한국일보, "월 200달러면 해킹 도와드려요"...사기GPT까지 등장했다,

https://m.hankookilbo.com/News/Read/A2023081809450002422

 

8. 동아일보, [단독]챗GPT, 우회 질문하자 해킹코드 술술 내놔… 범죄 악용 우려

https://www.donga.com/news/Society/article/all/20230326/118528691/1

 

9. 중앙일보 챗GPT, 한국인 687명 개인정보 유출…국내법 적용해 첫 제재

https://www.joongang.co.kr/article/25180781#home

 

10. KISA Insight ‘ChatGPT 보안 위협과 시사점’

 

11.[NGSV2023 설문조사] “생성형AI 이용 공격 심각”

 

12. 생성형 AI 시대의 멀티클라우드 전략

https://www.samsungsds.com/kr/insights/multicloud_strategy.html

 

13. 클라우드 서비스 보안인증제도(CSAP)란? https://www.sinsiway.com/kr/pr/blog/view/359/page/1

 

14. 생성 AI, 클라우드 시장 판도 바꾸나

https://www.aitimes.com/news/articleView.html?idxno=151964