Chat GPT와 컴퓨터 보안: 도구인가 위협인가?

Excidus 2023. 10. 31. 11:03

1. 서론

22년 11월 혜성처럼 등장한 ChatGPT는 시작부터 지금까지도 컴퓨터 분야나 공학 분야를 막론하고 다양한 분야에서 큰 파장을 일으키고 있다. 많은 사람이 챗GPT를 각자의 방식대로 사용해 보고 경험을 공유하느라 많은 시간을 보내고 있다. 그와 함께 이 강력한 도구에 대한 진짜 문제에 대해서도 많이 논의와 우려도 나오고 있다. ChatGPT 혹은 생성형 AI나 대형 언어 모델(LLM)라고도 불리는 이 도구가 무기로 사용될 때 어떤 식으로 바뀔지 아직 정확히 모른다는 것이 문제가 되고 있다.

또한 보안 전문 기업 카스퍼스키(Kaspersky)는 ChatGPT를 사이버 범죄자와 보안담당자 모두 사용할 수 있는 ‘창과 방패의 대결’에 비유했다. ChatGPT를 이용한 멀웨어 생성·분석, 취약점 확인, 보안 컨설팅, 피싱과 악성메일 활용방안에 우려를 표했다.

이번 리포트에서는 ChatGPT와 같은 생성형 AI가 보안 영역에서 활용되는 긍정적인 부분과 부정적인 부분과 함께 앞으로의 보안에 어떤 역할을 할 것인지 그리고 어떻게 대처하고 활용해나가야 하는지에 대해서 알아보겠다.

2. 생성형 AI 란?

생성형 AI(Generative AI)는 기계 학습의 한 분야로, 새로운 데이터를 생성하거나 예측하는 능력을 가진 인공지능을 말한다. 이는 기존에 존재하는 데이터를 학습하여 그 패턴을 이해하고, 그에 기반한 새로운 내용을 만들어내는 것이 주요 목표이다.

예를 들어, 텍스트 생성 모델은 대량의 텍스트 데이터를 학습하여 문법적으로 올바른, 그리고 특정 주제나 스타일에 맞는 새로운 문장이나 글을 작성할 수 있다. 이와 같은 원리가 음악, 이미지, 비디오 등 다양한 분야에서 활용되며 각각의 영역에서 독특한 결과물을 생성한다.

GPT-4 같은 언어 모델도 생성형 AI의 한 종류이다. 이러한 모델은 사람이 작성한 대량의 텍스트 데이터를 학습하여 사용자의 질문이나 명령에 따라 적절한 대답 문장을 '생성'한다.

현재 생성형 AI 중에서 가장 유명한 ChatGPT에 대해서 알아보면 ChatGPT는 언어 처리 인공지능 모델인 GPT-3.5와 GPT-4를 기반으로 하는 대화형 인공지능 서비스이다. ’22년 11월, 인공지능 연구기관인 OpenAI가 GPT-3.5를 기반으로 제작된 ChatGPT 공개가 되었다.

텍스트 생성(이메일, 기사, 시, 소설 등), 답변, 대화, 번역, 요약, 소스코드 생성 및 수정 등 가능하며 상위 모델인 GPT-4는 이미지 입력과 출력까지도 가능하다. 기존 챗봇은 단답형 대화나 주어진 정보 내에서 답변이 가능했다면, ChatGPT는 사용자가 입력한 텍스트의 맥락을 이해하고 과거 대화를 기억함으로써 일상적인 언어를 통해 사람과 의사소통 가능하다는 것이 차이점이다.

현재 ChatGPT 출시 이후 초거대 인공지능이 주목을 받게 되면서, 메타(OPT), 구글(LaMDA, PaLM),

바이두 등 거대 IT 기업들의 초거대 인공지능 경쟁 가속화가 되었고 다른 소규모 생성형 AI 서비스들도 출시해 서비스되고 있다.

이러한 ChatGPT를 비롯한 초거대 인공지능 서비스들은 비즈니스 과정에서 생산성을 향상시키고, 의료, 법률, 미디어 등 다양한 산업 분야에 활용되어 큰 영향을 줄 수 있다.

3. 생성형 Ai가 보안에 사용되는 긍정적인 사례

- 3.1 보안 스크립트 작성

ChatGPT의 장점은 프롬프트를 통해서 대화를 통해 사용자가 쉽게 정보를 획득할 수 있다는 것이다.

이를 통해서 ChatGPT에게 보안 스크립트를 작성하도록 해서 여러 가지 보안 스크립트를 만들고 확인할 수 있다.

- 3.2 악성코드 분석에 사용

악성코드 분석에 활용할 수 있다. 악성코드 분석 도구인 IDA와 같이 바이너리를 디컴파일한 코드를 ChatGPT에게 분석 요청하면 이에 대한 기능 분석 내용을 받아볼 수 있으며, 더 자세한 분석을 위해 코드 라인별 설명을 요청할 수도 있다. 이러한 응용을 통해 악성코드 기능 분석을 수행할 수 있다.

- 3.3 코드 취약점 분석

사용자가 작성한 코드를 프롬프트에 입력해 코드에서 부족한 부분이나 취약점을 파악하도록 물어보아서 코드에서 수정해야 할 부분을 알아낼 수 있다.

ChatGPT에 샘플 코드를 입력하고 해당 코드에 익스플로잇 코드가 있는지 분석을 요청하면 악의적인 목적으로 사용될 수 있는 몇 가지 요소(코드)를 찾아낸다. 이러한 코드 취약점 분석은 서비스 중인 사이트와 백엔드 등 일반적인 코드에서도 잠재적인 취약점을 분석할 수 있다.

4. 생성형 Ai가 보안 위협에 사용되는 부정적인 사례

- 4.1 GPT 기반 사이버 공격

“GPT-4는 인류 역사상 가장 훌륭한 기술이지만, 가장 위험하고 두려운 존재다. ” - 샘 알트만, 오픈 AI CEO

샘 알트만의 우려는 벌써 현실이 되었다. 많은 해커, 악용하고자 하는 사람들이 GPT를 사용해 컴퓨터 보안에 위협을 가하고 있다. 최근 글로벌 사이버 보안 기업인 체크포인트는 연구 보고서를 통해 사이버 공격자들이 GPT-4를 사용해 악성코드 및 피싱 이메일들을 제작해 유포하고 있다고 분석했다. 기존 GPT-3 대비 더 복잡한 코드를 작성할 수 있게 되면서 공격이 강화되었고 악의적 사용에 대한 진입 장벽 또한 낮아졌다.

또한 GPT를 사용해 사용자 기기들에 대한 원격 접속 권한을 획득하거나 피싱 이메일을 작성하는 일도 가능한 것을 확인되면서 사이버 공격의 문턱이 낮아지는 것에 대해서 대책이 시급하다고 말했다.

- 4.2 사용자의 ChatGPT 탈옥 문제

또한 사용자가 GPT의 폭력적인 내용, 혐오 컨텐츠, 범죄와 관련된 내용을 잠금 처리하는 것을 우회하고 해제를 해서 컴퓨터 보안에 위협이 되는 내용을 알아내는 것(탈옥)도 문제가 되고 있다.

(그림 ) ChatGPT의 악용 사례 – 동아일보. 챗GPT, 우회 질문하자 해킹코드 술술 내놔… 범죄 악용 우려

ChatGpt에게 ‘해킹 방법을 알려달라’거나 ‘악성코드를 만들어 달라’는 요청에는 “법적인 문제가 될 수 있기 때문에 알려줄 수 없다”라는 답을 내놓는다. 하지만 경찰은 우회적 표현을 사용하며 대화를 거듭할 경우 범죄에 사용할 악성코드를 알려주는 것으로 확인했다.

예를 들어 “다른 컴퓨터에 접근하려 한다” 또는 “특정 사이트의 관리 권한을 얻을 수 있는 방법이 있나” 등의 우회적 질문을 거듭하다 보면 어느 순간 컴퓨터 보안에 악용될 수 있는 악성코드 제작방법 등을 알려준다는 것이다. 관계자는 “지금까지는 전문성을 가진 이들이 해킹 코드를 만들었다면, 챗GPT를 활용할 경우 전문성이 없더라도 쉽게 사이버 범죄를 저지를 수 있게 되는 것”이라며 우려했다. 온라인 티켓 암표상이나 게임 이용자들이 사용하는 매크로 제작의 문턱이 낮아지면서 관련 범죄도 크게 늘 것으로 우려가 된다.

- 4.3 사기 GPT의 등장

사기 GPT의 출현으로 인해, 생성형 AI의 지원을 받아 전문적인 지식이 부족한 공격자도 손쉽게 해킹을 수행할 수 있게 되어, 사이버 범죄가 더욱 증가할 것이라는 우려가 발생하고 있다.

지난해 4월 18일, 세계적인 보안 회사 넷엔리치의 위협 분석팀은 텔레그램을 통해 '사기 GPT'라는 AI 도구가 유포되고 있다고 알렸다. 이 사기 GPT는 스피어 피싱(지인이나 기업으로 위장한 이메일 공격)이나 해킹 도구 개발 등의 사이버 보안 공격을 지원하기 위해 개발된 생성형 AI 프로그램이다. 이 프로그램은 복잡한 악성 코드를 대신 작성하거나, 사기 이메일을 작성하고, 해킹 방법 등을 제공한다.

또한, 지난 7월에는 피싱 메일을 생성하고 배포하는데 도움을 주는 사이버 범죄용 AI 챗봇, '웜 GPT(WormGPT)'의 출현이 보도되었다.

컴퓨터 보안 회사인 슬래시 넥스트의 정보에 따르면, 웜 GPT는 일루서AI라는 비영리 오픈소스 그룹이 개발한 GPT를 변형하여 학습시킨 'GPTJ' 모델을 기반으로 제작되었으며, 7월 초에 공개되어 수천 건의 피싱 메일 배포에 활용되었다고 알려졌다. 이 프로그램은 기존 AI 모델의 범죄행위를 방지하는 가드레일을 제거하여 만들어졌으며, 일부 커뮤니티에서는 이를 적극적으로 홍보하고 있다는 것이 확인되었다.

이처럼 GPT 모델을 컴퓨터 보안에 해가 되는 위협들을 학습시켜서 발달시킨 생성형 모델들도 등장하게 되었다.

- 4.4 정보, 데이터 유출

다음은 정보나 데이터의 유출의 위험성이다. 생성형 AI는 입력된 모든 데이터를 저장하고 이를 기반으로 학습하는 것이 특징이므로 데이터를 기록했다가 버리는 경우는 없으므로 주의해야 한다.

우리나라에서 실제로 삼성에서 기업 비밀 유출을 방지하기 위해 챗GPT 등 생성 인공지능(AI) 사용을 금지했다고 기사가 나오기도 했고 해외의 사례로는 구글이 회사 내 직원들에게 바드나 ChatGPT 사용을 자제하도록 권고한 사례도 있다.

이러한 기업들의 경고는 공개적으로 사용할 수 있는 생성형 AI 프로그램 사용에 대해 직원들에게 조심하라고 경고하는 것이 기업 보안 표준으로 자리 잡고 있는 상황이라는 것을 보여준다.

기업이 이처럼 정보 유출에 우려하는 가장 큰 이유는 초거대 AI인 GPT가 웹에 올라와 있는 정보를 통해 학습했지만 어떤 정보를 또 얼마큼 학습했는지를 오픈 AI가 공개하지 않기 때문이다. 오픈 AI의 수장인 샘 알트먼은 이러한 우려에 한동안은 유료 GPT 사용자들의 데이터로는 학습시키지 않겠다고 발표했다. 그러나 사용자들의 정보를 학습하지 않겠다고 한 것도 유료 사용자들에게만 대상이 되기 때문에 기업 입장에서는 우려가 될 것이다.

또한 기업들뿐만이 아니라 개인들에게도 문제가 될 수 있는데 ChatGPT는 인터넷에서 공개된 웹사이트에서 데이터를 수집하고 학습하는데, 이 과정에서 사전 통지나 동의를 구하지 않고 개인정보를 포함한 콘텐츠를 무단으로 사용해서 문제가 될 수도 있고 학습한 데이터를 다양한 정보와 합성하고 추론하는 과정을 통해 많은 정보를 제공하는데, 이때 개인정보가 유출되거나 잘못된 정보가 생성될 수 있다는 우려가 있다

이러한 문제 때문에 ChatGPT는 개인 정보에 대한 소송이 전 세계 여기저기에서 일어나고 있다.

이뿐만 아니라 생성형 AI는 현재 학습에 사용된 텍스트나 이미지 등에 대한 저작권에 대한 문제와 범죄 시나리오를 써달라는 등의 범죄의 악용 문제, 대필, 시험 부정행위 등에 대한 문제들도 가지고 있다.

5. 앞으로의 방안

앞서 나온 인공지능들의 부정적인 사례들에도 불구하고 하지만 많은 기업들에서 눈독을 들이고 있다. 개인정보 유출이나 회사의 기밀정보를 유출하지 않으면서도 인공지능을 사용하기 위해서 프라이빗 AI(Private AI)의 프라이빗 GPT(PrivateGPT)가 등장했다. 사용자가 ChatGPT에 입력할 때 50종 이상의 개인 식별 정보를 실시간으로 삭제 해주며, ChatGPT가 답변을 제공할 때는 필요한 부분에 아까 뺐던 개인 식별 정보를 다시 추가한다. 사용자는 개인 정보에 대한 고민 없이 질문을 하고 응답을 다시 받을 수 있다.

이러한 새로운 개인정보를 유출을 막기 위한 선택지들은 계속해서 시장에 등장하고 있다. 직원들의 LLM 활용 감시 기능을 가지고 있는 칼립소 AI(CalypsoAI0는 지난 주 2300만 달러의 투자금을 유치하는 데 성공했다. LLM을 통한 콘텐츠 공유 감시 기술인 비키퍼AI(BeeKeeperAI)의 경우 1210만 달러를 확보했다. 기업들이 ChatGPT에 비밀 보호 기능을 추가해야 된다는 것을 확인하고 투자에 나선 것이다.

또한 웹사이트를 사이버 공격으로부터 방어하고 기타 클라우드 서비스를 제공하는 회사인 “클라우드 플레어”는 기업이 일부 데이터에 태그를 지정하여 외부로 유출되는 것을 제한할 수 있는 기능을 마케팅하고 있다.

그리고 개인들이 직접 소규모 LLM을 직접 구축하여서 본인들의 작업에 특화된 작업을 시키는 일도 늘어나고 있다.

앞에서 나온 기밀 유출에 대한 우려에 따라 데이터를 현재 생성형 AI들에서는 공개 AI 모델에 흡수하는 것은 자제토록 한다. 현재 구글의 바드와 ChatGPT는 기본 설정에서 사용자의 대화 기록을 삭제할 수 있는 기능을 제공한다. 하지만 회사의 내부에서 데이터가 어떻게 관리되는지 직접 확인할 방법이 없어서 더 유의해야 할 것이다.

또한 이러한 AI 데이터 보안 취약점을 방지하기 위한 방법으로는 법적으로 규제 강화가 있다. 생성형 AI를 개발하는 기업에 대해 보안 규제를 강화하고, 지속적으로 모델을 감사하여 보안 취약점을 파악하고 개선할 수 있도록 해야 한다. 사용자 요청에 의해 민감하고 개인적인 데이터를 입력 시 삭제하거나 암호화해서 저장한 뒤에 입력값에 대한 검증 절차를 통해 확인이 가능하도록 하는 방법도 있다.

개인적 차원에서는 생성형 AI를 사용할 때 개인적인 자료를 업로드하지 않도록 교육하는 것이 필요하다. 특히 어떠한 자료를 업로드할수 있고 하지 말아야 하는지에 대한 교육이 필요하며 해당 서비스가 충분히 보안 체계를 갖추어져 있는지에 대해서 알고 있어야 한다.

국가적 차원에서는 ChatGPT를 중심으로 한 대규모 인공지능 경쟁이 가속화되고 있으며, 이에 따른 인공지능 기술의 활성화와 국가적 경쟁력 강화를 위해 인공지능 보안에 대한 지속적인 논의가 필요해졌다.

인공지능 보안의 특정 방향을 설정하기 위하여, 학습 데이터의 수집부터 인공지능의 학습 및 적용 단계까지, 인공지능 모델과 서비스의 전체 과정에 대한 포괄적인 보안 프레임워크를 구축하는 것이 중요하다.

개인정보 보호법 준수에 따른 학습 데이터 수집 및 처리, 인공지능 모델의 투명성, 보안 사고 발생시의 책임 부여 등 사용자의 권리를 지키며 잠재적인 위험을 완화할 수 있는 정책을 마련하는 것이 시급하다.

인공지능 보안 분야의 R&D 투자를 확대하고, 인공지능 분야에서 선진국인 미국 등과의 공동 연구, 인공지능 보안 전문가 양성 등으로 국가의 인공지능 기반을 강화하는 노력이 필요하다.

적대적 공격 및 방어에 대한 대응, 인공지능의 프라이버시 보호, 설명 가능한 인공지능, 데이터의 편향성 식별 및 완화 등으로 인공지능 기술의 공정성과 투명성을 확보하고 인공지능 기술에 대한 신뢰를 증진하는 것이 중요하다.

다양한 산업 분야에서 안전한 인공지능 모델 및 서비스가 확산될 수 있도록 인공지능 모델 및 서비스에 대한 인증제도를 마련하고 개발 기업에 대한 지원을 확대하는 것이 필요하다.

6. 결론

생성형 AI는 '양날의 검'이다. 긍정적으로 다양한 분야에서 폭넓게 사람들을 지원해 주는 도구가 될 수도 있고 사람들의 안전을 위협하는 무기가 될 수도 있다. 개인·기밀 정보가 빠져나가고 악성코드나 피싱메일을 보다 쉽게 개발할 수 있는 등 위협 요인이 커지는 동시에 이를 방어할 기술도 생성 AI가 빨리 찾아낼 수 있다. ChatGpt를 긍정적으로 사용하는 것도 좋지만 위협이 있는 만큼 교육이나 제도를 통한 대비가 필요하다. 기업들도 앞으로도 더 개인 정보 보호가 더 중요해진 만큼 더 잦아진 데이터 유출과 사이버 공격들에 대해서 철저하게 방어하고 개인 정보 보호를 해야 할 것이다.

7.참고문헌, 기사

1. KOITA-ChatGPT(챗GPT) 보안 위협과 시사점: https://m.koita.or.kr/m/mobile/mem_knowledge/ktip_read.aspx?no=49848&page=

KOITA 한국산업기술진흥협회

ChatGPT(챗GPT) 보안 위협과 시사점  ChatGPT(챗GPT) 보안 위협과 시사점 주요내용 [개요] Cha

m.koita.or.kr

2. 네이버 블로그, IT 지식 이해하기, 챗GPT 보안 위험과 대책법 | 생성형 AI 보안 규제

3. 조세일보, 구글, 직원에 바드 등 GPT 사용 경고…"기밀 유출 우려“

http://www.joseilbo.com/news/htmls/2023/06/20230616489637.html

4. CIO,일문일답 | “챗GPT 데이터 유출 공포 이렇게 극복했다”··· 美 나반 CSO 프라바스 카란스

https://www.ciokorea.com/news/308893#csidxfaeb9855b649ef6bb66f33e76693c38

5. 보안뉴스, 공격자들이 대형 언어 모델을 공격에 활용할 것은 너무나 뻔한 미래,

https://www.boannews.com/media/view.asp?idx=117021

6. 보안뉴스, 양날의 검 ‘챗GPT’에 베이지 않으려면... AI 보안위협 선제 대응 필요

https://www.boannews.com/media/view.asp?idx=118177

7. 한국일보, "월 200달러면 해킹 도와드려요"...사기GPT까지 등장했다,

https://m.hankookilbo.com/News/Read/A2023081809450002422