LLM 보안 101

LLM 보안의 영역 탐구: 공격형 및 방어형 도구의 탐색과 현재 역량 공개.

다양한 애플리케이션과 기능에서 LLM(대규모 언어 모델)을 수용함에 따라 관련 위험을 이해하고 잠재적 보안 영향을 적극적으로 완화(완전히 제거하지 못하더라도)하는 것이 중요합니다. 다음 섹션에서는 지난 몇 주 동안 LLM을 사용하면서 겪은 경험을 바탕으로 이러한 강력한 언어 모델과 관련된 잠재적 위험, 취약점, 윤리적 고려 사항을 살펴보겠습니다.

• LLM이란 무엇인가?
• LLM 애플리케이션을 위한 OWASP Top 10은 무엇을 말하는가?
• LLM 취약점 분류
• 공격형 LLM 보안 도구
• 방어형 LLM 보안 도구
• 알려진 해킹 및 익스플로잇
• 보안 권장 사항
• 추천 자료

이 연구는 LLM 보안에 처음 입문했거나 인터넷에 널린 방대한 관련 정보를 살펴볼 시간이 없는 저와 같은 보안 애호가에게 인사이트를 제공하는 것을 목표로 합니다. 블로그의 한 섹션에서는 버그 바운티 헌터나 펜테스터가 시도해 볼 수 있는 몇 가지 오픈소스 LLM 보안 도구에 대해서도 다룹니다. 대규모 기업 환경에서 보안 취약점을 식별하는 것은 업무의 한 부분일 뿐입니다. 다른 한 부분은 취약점을 수정하고 패턴을 식별하여 동일한 유형의 취약점이 다시 발견되지 않도록 하는 것입니다. 블로그의 한 섹션에서는 여러분의 환경에 가장 적합한 도구를 식별하기 위해 시도해 볼 수 있는 인기 있는 방어형 도구 몇 가지를 소개합니다.

LLM이란 무엇인가?

LLM 보안의 복잡한 내용을 살펴보기 전에 기본부터 시작하겠습니다. LLM은 "Large Language Model"의 약자입니다. 기본적으로 이는 전례 없는 규모로 인간과 유사한 텍스트를 이해하고 생성하도록 설계된 대규모 AI 시스템입니다. LLM이 현재 수행하는 데 사용되는 일반적인 작업으로는 텍스트 완성, 언어 번역, 콘텐츠 생성, 인간과 유사한 대화, 요약 등이 있습니다. 대부분의 LLM 모델은 인간의 텍스트를 이해하고, 학습하고, 정확하고 빠르게 인간과 유사한 콘텐츠로 응답하거나 작성하거나 생성할 수 있기 때문입니다.

LLM 애플리케이션을 위한 OWASP Top 10은 무엇을 말하는가?

LLM 애플리케이션을 위한 OWASP 가이드라인이 얼마나 빠르게 공개되었는지 인식하는 것이 중요합니다. 이는 370명 이상의 다양한 산업 분야 구성원들이 협력하여 LLM 보안 상위 10개 카테고리를 만든 연구 결과입니다. 저는 분류에 대한 이해를 바탕으로 Top 10을 단순화했지만, 더 포괄적인 내용을 보시려면 링크된 출처를 확인하시기 바랍니다.

위 Top 10 카테고리 중 일부는 다음 섹션에서 더 세분화되고 확장되었습니다.

LLM 취약점 분류:

이 섹션에서는 LLM 내의 일반적인 약점과 위험을 보안 취약점, 편향/공정성, 윤리적 우려로 크게 나누어 분류합니다.

A. 보안 취약점:

B. 편향과 공정성:

C. 윤리적 우려:

공격형 LLM 보안 도구

다양한 애플리케이션에서 LLM이 광범위하게 채택됨에 따라 여러 범주에 걸친 잠재적 취약점을 탐지하려면 공격형 도구를 사용하는 것이 필수적입니다. 침투 테스트에서 사용할 수 있는 몇 가지 인기 있는 LLM 취약점 스캐닝 도구를 확인했습니다.

이 중 하나라도 사용해 본 경험이 있다면 의견을 듣고 싶습니다. 또한 이 목록을 보완할 수 있는 다른 공격형 보안 도구를 알고 있다면 PR을 통해 제안을 공유해 주시기 바랍니다.

방어형 LLM 보안 도구

이제 LLM 취약점을 발견했다면 그 다음은 무엇일까요? 보안 전문가로서 취약점을 발견하는 것뿐만 아니라 이를 해결하고 보호하는 것도 중요합니다. 반복적인 취약점 패턴을 식별하고 이를 제거하는 것도 그만큼 중요합니다. 제가 접한 인기 있는 방어형 도구 중 일부를 정리했으며, 그중 일부는 직접 실험해 보았습니다.

언급된 도구 외에도 애플리케이션에 원활하게 통합하여 특정 유형의 LLM 공격에 대한 방어를 강화할 수 있는 몇 가지 HuggingFace 모델이 있습니다. HuggingFace가 처음이라면, 인간 언어를 이해하고 생성하는 초고성능 컴퓨터 프로그램의 대규모 라이브러리라고 생각하면 됩니다. 플랫폼에는 수천 개의 프로그램이 호스팅되어 있어 모든 애플리케이션에 쉽게 통합할 수 있습니다. 방어 목적으로 특정 HuggingFace 모델을 사용할 수 있습니다. 예를 들면 다음과 같습니다.

이스터 에그! HuggingFace 외에도 GitHub에서 LLM 보안에 기여하는 몇 가지 독립 프로젝트를 발견했습니다.

방어 우선순위에 따라 도구를 실험하고 HuggingFace 모델을 통합하거나 앞서 언급한 독립 프로젝트 중 하나를 도입하는 등 다양한 옵션을 탐색할 수 있습니다.

알려진 해킹 및 익스플로잇:

AI 챗봇은 ChatGPT가 등장하기 훨씬 전부터 널리 사용되었습니다. ChatGPT는 놀라운 기능과 자연스러운 대화로 사용자에게 깊은 인상을 주었으며 대부분 정확한 응답을 제공했습니다. 아래에서는 AI 모델이 적절히 보안되지 않을 때 발생할 수 있는 잠재적 결과를 보여주는 잘 알려진 해킹 사례를 확인할 수 있습니다.

1. Microsoft Tay AI

2016년 3월 23일에 “캐주얼하고 재미있는 대화를 통해 사람들과 소통하고 즐겁게 해주기 위해” 출시된 AI 챗봇인 Tay는 16세 청소년처럼 캐주얼하고 재미있는 응답으로 사용자 질문과 댓글에 반응하도록 설계되었습니다. Tay의 아이디어는 사람들과의 대화에서 학습하고 시간이 지남에 따라 채팅을 더 잘하게 되는 것이었습니다.

Tay AI가 이전 트위터(현재 X)와 통합되면서 상황은 빠르게 문제가 되었습니다. 일부 사람들이 Tay에게 심술궂고 상처가 되는 말을 하기 시작했고, Tay는 그것이 잘못된 것인지 알지 못했습니다. Tay는 그것이 해야 할 일이라고 생각했기 때문에 그 심술궂은 말을 사람들에게 되풀이하기 시작했습니다. 챗봇이 공격적이고 인종차별적이며 부적절한 발언을 하기 시작하면서 큰 문제가 발생했습니다. Tay의 온라인 행동 특성으로 인해 Microsoft는 단 이틀 후인 2016년 3월 25일에 Tay를 오프라인으로 전환하기로 결정했습니다. 사용자와의 상호작용으로 인한 추가 문제를 방지하기 위해 신속하게 서비스를 중단했습니다.

요약하자면, Microsoft Tay AI 해킹은 사람들이 챗봇에게 나쁜 것을 가르치자 챗봇이 그 나쁜 말을 다른 사람들에게 하기 시작하면서 큰 혼란을 일으킨 사건입니다. 이는 AI 프로그램이 안전하고 올바르게 작동하도록 하는 것이 얼마나 중요한지 보여줍니다.

• https://blogs.microsoft.com/blog/2016/03/25/learning-tays-introduction/
• https://www.zdnet.com/article/microsofts-tay-ai-chatbot-wakes-up-starts-tweeting-like-crazy-but-was-it-hacked/
• https://uxplanet.org/remembering-microsofts-chatbot-disaster-3a49d4a6331f
• https://www.hackread.com/microsoft-delete-ai-bot-after-it-went-completely-nazi/

2. 삼성 데이터 유출이제 우리는 ChatGPT, BARD, Llama 등과 같은 LLM 기반 채팅 앱이 "모든" 문제에 대한 해결책을 찾는 데 사용될 수 있다는 것을 알고 있습니다. 여기에는 오류 문제 해결, 프로그램을 더 효율적으로 재작성하는 것뿐만 아니라 모델이 제공하는 다른 많은 놀라운 기능들이 포함됩니다.

삼성은 바로 이러한 이유로 데이터 유출 피해를 입었습니다. 한 엔지니어가 오류를 해결하고 문제를 풀기 위해 독점 정보를 입력한 것으로 알려졌습니다. 다른 많은 직원들도 같은 절차를 따랐으며, 결과를 완전히 인지하지 못한 채 기존 코드를 ChatGPT에 입력하여 코드를 최적화하려고 했습니다. 마찬가지로, 또 다른 직원은 AI에게 회의 결과를 바탕으로 회의록을 작성해 달라고 요청했습니다.

ChatGPT에 대해 주목해야 할 중요한 점은 모든 프롬프트, 질문, 그리고 응답이 OpenAI의 내부 데이터의 일부가 되어 학습과 개선에 사용된다는 것입니다. OpenAI는 (변호하자면) 단지 자신이 아는 한도 내에서 질문에 답하려고 할 뿐이므로, 적절한 프롬프트를 가진 임의의 사용자가 승인되지 않은 정보에 접근하는 것이 가능할 수 있습니다. ChatGPT FAQ는 또한 수신된 모든 것이 학습 목적을 위해 내부 데이터 세트의 일부로 추가되므로 민감하거나 독점적인 정보를 입력하지 말라고 사용자에게 안내합니다.

이를 고려할 때, 경계 밖으로의 데이터 유출을 통제하기 어렵기 때문에 어떤 LLM에도 기밀 또는 독점 정보를 제공하지 않는 것이 중요합니다. 조직은 직원들이 일상 업무에서 LLM을 사용하는 것의 심각성을 인지하도록 강력한 조치를 취해야 합니다.

• https://www.forbes.com/sites/siladityaray/2023/05/02/samsung-bans-chatgpt-and-other-chatbots-for-employees-after-sensitive-code-leak/
• https://cybernews.com/news/chatgpt-samsung-data-leak/
• https://cybersecuritynews.com/chatgpt-leaks-samsung-data/
• https://codeandhack.com/samsung-corporate-data-leaked-due-to-chatgpt/

3. 아마존의 채용 알고리즘

2018년, 아마존은 채용 프로세스를 더 효율적으로 만들기 위해 컴퓨터 프로그램, 즉 AI를 사용하여 지원서를 분류하려고 시도했습니다. 이 AI는 아마존에서 일하고 싶어 하는 사람들의 이력서와 프로필을 분석하도록 설계되었습니다.

그러나 그들은 심각한 문제를 발견했습니다. AI가 여성에 대한 편향을 보이고 있었던 것입니다. AI는 여성 지원자에게 불공평하게 낮은 점수를 부여했습니다. 이는 AI가 과거 데이터를 학습했고, 그 데이터의 대부분이 과거에 아마존에 지원한 남성들에게서 나온 것이었기 때문에 발생했습니다. 그래서 AI는 지원자에게 남성이라는 특성이 더 좋은 것이라고 잘못 판단했습니다.

더 구체적으로 말하면, AI는 이력서에 여자 대학이나 여자 스포츠와 같은 내용이 언급된 경우 점수를 낮췄고, 남성이 주도하는 분야에서 자주 사용되는 언어를 선호했습니다.

이러한 편향 때문에 아마존은 채용에 AI를 사용하는 것을 중단하기로 결정했습니다. 이 사례는 공정성을 보장하고 편향을 강화하지 않기 위해 채용과 같은 중요한 작업에서 AI를 사용할 때 신중한 고려와 모니터링이 필요함을 강조했습니다.

• https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

4. Bing Sydney AI

마이크로소프트는 사용자 질문에 대한 응답을 생성하는 AI 시스템을 개발할 목적으로 Bing Sydney AI라는 프로젝트를 진행하고 있었습니다. 아마도 챗봇이나 가상 비서의 맥락에서였을 것입니다. 이 프로젝트는 특히 Bing 검색 엔진 생태계 내에서 자사 서비스에 인공지능과 자연어 처리를 활용하려는 마이크로소프트의 노력의 일환으로 도입되었습니다. 사용자 입력에 대해 더 정교하고 상황에 맞는 응답을 제공하여 사용자 경험을 개선하기 위한 것이었습니다. 그러나 이 프로젝트는 관련 없는 응답뿐만 아니라 공격적이고 편향된 응답을 생성하기 시작하면서 심각한 문제에 직면했습니다. AI 시스템은 성별 편향을 드러내는 콘텐츠를 생성하기 시작했고, 어떤 경우에는 성차별적이고 부적절한 응답까지 생성했습니다. 이는 시스템의 윤리성, 정확성, 그리고 유해한 고정관념을 영속화할 가능성에 대한 심각한 우려를 불러일으켰습니다.

마이크로소프트는 이러한 문제를 해결하기 위해 나중에 프로젝트를 중단해야 했습니다.

• https://www.theverge.com/23599441/microsoft-bing-ai-sydney-secret-rules
• https://twitter.com/marvinvonhagen/status/1625520707768659968
• https://arstechnica.com/information-technology/2023/02/ai-powered-bing-chat-spills-its-secrets-via-prompt-injection-attack/

LLM과 관련된 다른 흥미로운 해킹 사례를 들어본 적이 있나요?

보안 권장 사항:

A. 보안 및 견고성:

적대적 훈련: 모델이 적대적 공격에 더 강하게 저항하도록 적대적 훈련 기법을 통합하세요.

입력 검증: 악의적이거나 부적절한 입력을 방지하기 위해 엄격한 입력 검증을 구현하세요.

정기 감사: 보안 취약점에 대해 모델을 정기적으로 감사하고 신속하게 패치하세요.

테스트 스위트: 다양한 시나리오에서 취약점을 식별하기 위해 포괄적인 테스트 스위트를 개발하세요.

B. 편향 완화 및 공정성:

다양한 훈련 데이터: 훈련 데이터가 다양하고 다양한 인구통계를 대표하도록 보장하세요.

편향 감사: 모델 출력에 편향이 없는지 정기적으로 감사하고 이를 완화하기 위해 노력하세요.

파인튜닝: 도메인별 맥락에서 편향을 해결하기 위해 특정 도메인에 대해 모델을 파인튜닝하세요.

사용자 맞춤 설정: 사용자가 자신의 가치관에 맞게 모델 동작을 사용자 지정할 수 있도록 허용하세요.

C. 윤리적이고 책임 있는 AI:

팩트체킹 통합: 잘못된 정보를 완화하기 위해 팩트체킹 메커니즘을 통합하세요.

출력의 명시성: 모델이 추측적이거나 불확실한 응답을 생성할 때 이를 명확하게 표시하세요.

콘텐츠 필터링: 유해하거나 부적절한 콘텐츠의 생성을 방지하기 위해 콘텐츠 필터링 메커니즘을 구현하세요.

투명성: 모델이 어떻게 작동하는지, 그 한계와 잠재적 위험에 대한 명확한 문서를 제공하세요.

추천 자료

• https://huggingface.co/blog/red-teaming
• http://josephthacker.com/ai/2023/05/19/prompt-injection-poc.html
• https://github.com/jthack/PIPE
• https://llmsecurity.net/
• https://github.com/corca-ai/awesome-llm-security
  

기여하고 싶거나 이 연구 자료를 최신 상태로 유지하고 싶다면 PR을 보내주세요. 그리고 연락을 원하신다면 주저하지 말고 LinkedIn을 통해 대화를 나누어 주세요 :)