bishopfox/rainkUse LLMs para ranqueamento de documentos
Use LLMs para classificação de documentos.
Há poder na IA no sentido de que você pode "jogar um problema para ela" e obter algum resultado, sem sequer definir completamente o problema. Por exemplo, dê a ela um monte de diffs de código e um aviso de segurança, e pergunte: "Qual desses diffs parece mais provável de corrigir o bug de segurança?" No entanto, nem sempre é tão fácil:
Construímos o raink para contornar esses problemas e resolver problemas gerais de classificação que, de outra forma, são difíceis para LLMs processarem. Consulte nossa postagem no blog raink: Use LLMs for Document Ranking para mais contexto sobre essa técnica, e nossa palestra Patch Perfect: Harmonizing with LLMs to Find Security Vulns para ver como aplicamos o raink a problemas de segurança ofensiva.
git clone https://github.com/bishopfox/raink
cd raink
go install
Defina sua variável de ambiente OPENAI_API_KEY.
raink -h
Usage of raink:
-f string
Input file
-p string
Initial prompt
-r int
Number of runs (default 10)
-s int
Batch size (default 10)
Compara 100 sentenças em menos de 2 minutos.
raink \
-f testdata/sentences.txt \
-r 10 \
-s 10 \
-p 'Rank each of these items according to their relevancy to the concept of "time".' |
jq -r '.[:10] | map(.value)[]' |
nl
1 The train arrived exactly on time.
2 The old clock chimed twelve times.
3 The clock ticked steadily on the wall.
4 The bell rang, signaling the end of class.
5 The rooster crowed at the break of dawn.
6 She climbed to the top of the hill to watch the sunset.
7 He watched as the leaves fell one by one.
8 The stars twinkled brightly in the clear night sky.
9 He spotted a shooting star while stargazing.
10 She opened the curtains to let in the morning light.
Este projeto está licenciado sob a Licença MIT.