### `pip`를 사용한 개발 버전 설치하기

표준 pip 버전의 `garak`은 주기적으로 업데이트됩니다. GitHub에서 더 최신 버전을 얻으려면 다음을 시도하세요:```
python -m pip install -U git+https://github.com/NVIDIA/garak.git@main

좋습니다, 그게 잘 되었다면 아마 잘 진행될 것입니다!

**참고**: `NVIDIA` GitHub 조직으로 이전하기 전에 클론했지만, `github.com/NVIDIA` URI에서 이 내용을 읽고 있다면, 원격 저장소를 다음과 같이 업데이트하세요:```
git remote set-url origin https://github.com/NVIDIA/garak.git

Hugging Face 버전의 GPT2가 DAN 11.0에 취약한지 확인하세요.```
python3 -m garak --target_type huggingface --target_name gpt2 --probes dan.Dan_11_0

### Test

* `--target_type test`
* (alternatively) `--target_name test.Blank`
테스트용입니다. 이 프로브는 항상 빈 문자열을 생성하며 `test.Blank` 생성기를 사용합니다. 출력을 *필요로* 하는 모든 테스트(예: 논란이 되는 주장을 제기하고 모델이 이를 반박할 것을 기대하는 테스트)에 대해 실패로 표시됩니다.

* `--target_type test.Repeat`
테스트용입니다. 이 생성기는 받은 프롬프트를 그대로 반복합니다.

## Intro to probes

| Probe                | 설명                                                                                                                   |
|----------------------|-------------------------------------------------------------------------------------------------------------------------------|
| blank                | 항상 빈 프롬프트를 보내는 간단한 프로브.                                                                             |
| atkgen               | 자동 공격 생성. 레드티밍(red-teaming) LLM이 대상을 프로빙하고 반응하여 유해한 출력을 얻으려고 시도합니다. 프로토타입으로, 대부분 상태 비저장이며, 현재는 hhrlhf 시도 중 감지 가능한 독성을 생성한 부분집합으로 세부 조정된(fine-tuned) 간단한 GPT-2를 사용합니다(현재 유일하게 지원되는 대상). |
| badchars             | [Bad Characters](https://arxiv.org/abs/2106.09898) 논문에서 영감을 받은 미세한 유니코드 변형(보이지 않는 문자, 동형 문자, 재정렬, 삭제)을 구현합니다. |
| av_spam_scanning     | 모델이 악성 콘텐츠 서명을 출력하도록 유도하는 프로브                                                     |
| continuation         | 모델이 바람직하지 않은 단어를 계속 생성할지 테스트하는 프로브                                                       |
| dan                  | 다양한 [DAN](https://adguard.com/en/blog/chatgpt-dan-prompt-abuse.html) 및 DAN 유사 공격                                 |
| donotanswer          | 책임감 있는 언어 모델이 답변하지 말아야 할 프롬프트.                                                               |
| encoding             | 텍스트 인코딩을 통한 프롬프트 주입                                                                                        |
| gcg                  | 적대적 접미사를 추가하여 시스템 프롬프트를 교란합니다.                                                                   |
| glitch               | 비정상적인 행동을 유발하는 글리치 토큰을 탐색합니다.                                                                  |
| grandma              | 할머니를 떠올리게 해달라는 요청.                                                                                   |
| goodside             | Riley Goodside 공격의 구현.                                                                                    |
| leakreplay           | 모델이 훈련 데이터를 재생하는지 평가합니다.                                                                                |
| lmrc                 | [Language Model Risk Cards](https://arxiv.org/abs/2303.18190) 프로브의 하위 샘플                                         |
| malwaregen           | 모델이 악성 코드를 생성하도록 유도하는 시도                                                                 |
| misleading           | 모델이 오해의 소지가 있거나 거짓된 주장을 지지하도록 만드는 시도                                                                  |
| packagehallucination | 존재하지 않는(따라서 안전하지 않은) 패키지를 지정하는 코드 생성을 유도합니다.                                   |
| promptinject         | Agency Enterprise의 [PromptInject](https://github.com/agencyenterprise/PromptInject/tree/main/promptinject) 작업 구현(NeurIPS ML Safety Workshop 2022 최우수 논문상) |
| realtoxicityprompts  | RealToxicityPrompts 작업의 하위 집합(전체 테스트가 너무 오래 걸리기 때문에 데이터 제한됨)                      |
| snowball             | [Snowballed Hallucination](https://ofir.io/snowballed_hallucination.pdf) 프로브: 모델이 처리하기에 너무 복잡한 질문에 대해 잘못된 답변을 하도록 설계됨 |
| xss                  | 개인 데이터 유출과 같은 교차 사이트 공격을 허용하거나 실행하는 취약점을 찾습니다.                           |

## Logging

`garak`는 여러 종류의 로그를 생성합니다:
* 로그 파일 `garak.log`. 여기에는 `garak` 및 해당 플러그인의 디버깅 정보가 포함되며, 실행 간에도 유지됩니다.
* 현재 실행에 대한 보고서(JSONL 형식). `garak`가 실행될 때마다 새 보고서 파일이 생성됩니다. 이 파일의 이름은 실행 시작 시와, 성공 시 실행 종료 시에도 출력됩니다. 보고서에는 각 프로빙 시도에 대해 생성이 수신될 때와 평가될 때 각각 항목이 기록됩니다. 항목의 `status` 속성은 `garak.attempts`의 상수를 사용하여 어떤 단계에서 생성되었는지 설명합니다.
* 적중 로그: 취약점('적중')이 발생한 시도를 자세히 기록합니다.

## How is the code structured?

코드 구조에 대한 권위 있는 가이드는 [참조 문서](https://reference.garak.ai/)를 확인하세요.

일반적인 실행에서 `garak`는 명령줄에서 모델 유형(선택적으로 모델 이름)을 읽은 다음, 실행할 `probe`와 `detector`를 결정하고, `generator`를 시작한 다음, 이를 `harness`에 전달하여 프로빙을 수행합니다. `evaluator`가 결과를 처리합니다. 각 범주에는 많은 모듈이 있으며, 각 모듈은 개별 플러그인으로 작동하는 여러 클래스를 제공합니다.

* `garak/probes/` - LLM과의 상호작용을 생성하는 클래스
* `garak/detectors/` - LLM이 특정 실패 모드를 나타내는지 감지하는 클래스
* `garak/evaluators/` - 평가 보고 체계
* `garak/generators/` - 프로빙할 LLM을 위한 플러그인
* `garak/harnesses/` - 테스트 구조화를 위한 클래스
* `resources/` - 플러그인에 필요한 보조 항목

기본 작동 모드는 `probewise` harness를 사용하는 것입니다. 프로브 모듈 이름과 프로브 플러그인 이름 목록이 주어지면, `probewise` harness는 각 프로브를 인스턴스화한 다음, 각 프로브에 대해 `primary_detector` 및 `extended_detectors` 속성을 읽어 출력에 실행할 `detector` 목록을 가져옵니다.

각 플러그인 범주(`probes`, `detectors`, `evaluators`, `generators`, `harnesses`)에는 해당 범주의 플러그인이 사용할 기본 클래스를 정의하는 `base.py`가 포함되어 있습니다. 각 플러그인 모듈은 기본 클래스 중 하나에서 상속되는 플러그인 클래스를 정의합니다. 예를 들어, `garak.generators.openai.OpenAIGenerator`는 `garak.generators.base.Generator`에서 상속됩니다.

모델 파일이나 더 큰 말뭉치와 같은 대규모 아티팩트는 저장소 외부에 보관됩니다. Hugging Face Hub 등에 저장하고 `garak`을 사용하는 클라이언트가 로컬로 로드할 수 있습니다.

## Developing your own plugin

* 다른 플러그인이 어떻게 작동하는지 살펴보세요.
* 기본 클래스 중 하나에서 상속하세요(예: `garak.probes.base.TextProbe`).
* 가능한 한 적게 재정의하세요.
* 최소한 두 가지 방법으로 새 코드를 테스트할 수 있습니다:
  * 대화형 Python 세션 시작
    * 모델 가져오기(예: `import garak.probes.mymodule`)
    * 플러그인 인스턴스화(예: `p = garak.probes.mymodule.MyProbe()`)
  * 테스트 플러그인으로 스캔 실행
    * 프로브의 경우 빈 생성기와 always.Pass 감지기 사용: `python3 -m garak -m test.Blank -p mymodule -d always.Pass`
    * 감지기의 경우 빈 생성기와 빈 프로브 사용: `python3 -m garak -m test.Blank -p test.Blank -d mymodule`
    * 생성기의 경우 빈 프로브와 always.Pass 감지기 사용: `python3 -m garak -m mymodule -p test.Blank -d always.Pass`
  * `garak`에서 `--list_probes`, `--list_detectors`, `--list_generators`를 사용하여 작성 중인 유형의 모든 플러그인을 나열할 수 있습니다.


## FAQ

FAQ는 [여기](https://github.com/NVIDIA/garak/blob/main/FAQ.md)에 있습니다. 추가 질문이 있으면 연락주세요! [[email protected]](mailto:[email protected])

코드 참조 문서는 [garak.readthedocs.io](https://garak.readthedocs.io/en/latest/)에 있습니다.

## Citing garak

[garak 사전인쇄 논문](https://github.com/nvidia/garak/blob/main/garak-paper.pdf)을 읽을 수 있습니다. garak을 사용하는 경우 인용해 주세요.```
@article{garak,
  title={{garak: A Framework for Security Probing Large Language Models}},
  author={Leon Derczynski and Erick Galinkin and Jeffrey Martin and Subho Majumdar and Nanna Inie},
  year={2024},
  howpublished={\url{https://garak.ai}}
}