<<<<<<< HEAD

Padrão de Segurança de Model Cards da OWASP

Status: Rascunho — Projeto OWASP em Incubação
Este padrão está em desenvolvimento ativo. Contribuições e feedback são muito bem-vindos.

O que é isto?

Quando descarrega um modelo pré-treinado do HuggingFace ou de qualquer outro repositório, está essencialmente a confiar numa caixa negra. Não sabe em que dados foi treinado, se esses dados continham informações pessoais, como foi testado contra ataques adversariais, nem quais são os seus modos de falha conhecidos. Para a maioria dos projetos de hobby, não há problema. Mas para qualquer coisa que envolva utilizadores reais, setores regulados ou dados sensíveis — não é, de todo.

Os model cards já existem há algum tempo e são uma boa ideia. Mas os formatos atuais concentram-se quase exclusivamente em métricas de desempenho e considerações de equidade. A segurança é, em grande parte, uma reflexão tardia, quando existe.

Este projeto tenta resolver isso. Estamos a construir um padrão aberto que define quais as informações relevantes para a segurança que um model card deve conter — aspetos como a proveniência dos dados de treino, o risco de exposição de PII, vulnerabilidades conhecidas, detalhes da cadeia de abastecimento e o estado de conformidade regulamentar. Algo que uma equipa de segurança possa realmente utilizar ao avaliar se um modelo é seguro para implementar.

Porque é que isto importa agora?

Vários fatores convergiram ao mesmo tempo:

• O EU AI Act está a criar obrigações de conformidade reais em torno da transparência e da documentação da IA
• O GDPR e leis semelhantes levantam questões legítimas sobre se dados pessoais foram parar aos conjuntos de treino e o que foi feito em relação a isso
• A comunidade de segurança está cada vez mais consciente de que os próprios modelos são uma superfície de ataque — injeção de prompts, envenenamento de dados, roubo de modelos — mas os padrões de documentação não têm acompanhado este ritmo
• As organizações estão a implementar modelos de terceiros à escala, com muito pouca visibilidade sobre o que estão realmente a executar

Um padrão de model cards centrado na segurança dá a programadores, auditores e equipas de aquisição uma linguagem comum e uma lista de verificação que podem efetivamente pôr em prática.

Um exemplo rápido

Aqui está uma amostra do aspeto de um model card centrado na segurança de acordo com este padrão:

model_card_version: "0.1"
model_name: "example-text-classifier"
model_version: "1.2.0"

training_data:
  sources:
    - name: "Common Crawl (filtered)"
      pii_assessment: "Presidio scan applied; residual risk: low"
      license: "CC0"
  pii_removal_method: "Microsoft Presidio + manual review on 5% sample"
  data_cutoff_date: "2024-01-01"

security:
  known_vulnerabilities: []
  adversarial_testing: "Red-teamed against prompt injection; results in /security/redteam-report.md"
  supply_chain:
    base_model: "bert-base-uncased"
    base_model_source: "https://huggingface.co/bert-base-uncased"

compliance:
  eu_ai_act_risk_tier: "Limited"
  gdpr_considerations: "No personal data retained post-training"

Este é um excerto simplificado. O schema completo cobre campos adicionais para histórico de incidentes, filtragem de saída, restrições de implementação e muito mais.

O que contém este repositório

/
├── README.md                          ← you are here
├── standard/
│   └── OWASP-Modelcard-Standard-Proposal.md   ← the specification
├── templates/
│   └── model-card-template.md            ← blank template to copy and fill in
├── examples/
│   └── llm-example.md                    ← worked example for a large language model
├── schema/
│   └── model-card-schema.json            ← machine-readable JSON schema
├── mappings/
│   └── owasp-nist-euaiact-mapping.md     ← how this standard relates to other frameworks
├── CONTRIBUTING.md                    ← how to get involved
├── CHANGELOG.md
└── LICENSE                            ← CC BY 4.0

Como isto se relaciona com outros padrões e frameworks

Este padrão foi concebido para complementar, e não substituir, o trabalho existente:

Como participar

Este é um projeto em fase inicial e há muito espaço para moldar o seu rumo. Algumas formas de contribuir:

• Rever o rascunho do padrão e abrir issues se faltarem campos, se estiverem errados ou pouco claros
• Partilhar exemplos de model cards do seu próprio trabalho (exemplos anonimizados são suficientes) para podermos testar o schema contra a realidade
• Juntar-se à discussão no Slack da OWASP em #ai-ml-security
• Submeter um pull request — consulte CONTRIBUTING.md para orientações

Se não souber por onde começar, as issues abertas com a etiqueta good first issue são um bom ponto de partida.

Estado do projeto

Este projeto está atualmente a passar pelo processo de novos projetos da OWASP. Uma vez aceite, passará para a organização GitHub da OWASP em github.com/OWASP/owasp-model-card-security-standard.

Licença

Este padrão é publicado sob a licença Creative Commons Attribution 4.0 International (CC BY 4.0). É livre de o utilizar, adaptar e redistribuir — inclusive comercialmente — desde que atribua o devido crédito.

Qualquer ferramenta incluída neste repositório é licenciada sob Apache 2.0.

OWASP-Model-Card-Security-Standard

owasp/main