bishopfox/rainkUse LLMs for document ranking
Nutzen Sie LLMs für Dokumenten-Ranking.
In der KI steckt eine gewisse Kraft: Man kann ihr „ein Problem hinwerfen“ und erhält ein Ergebnis, ohne das Problem überhaupt vollständig definiert zu haben. Beispielsweise kann man ihr eine Reihe von Code-Diffs und eine Sicherheitsempfehlung geben und fragen: „Welcher dieser Diffs behebt den Sicherheitsfehler am wahrscheinlichsten?“ So einfach ist es allerdings nicht immer:
Wir haben raink entwickelt, um diese Probleme zu umgehen und allgemeine Ranking-Probleme zu lösen, die für LLMs sonst nur schwer zu verarbeiten sind. Weitere Hintergründe zu dieser Technik finden Sie in unserem Blogbeitrag raink: Use LLMs for Document Ranking und in unserem Vortrag Patch Perfect: Harmonizing with LLMs to Find Security Vulns erfahren Sie, wie wir raink auf offensive Sicherheitsprobleme angewendet haben.
git clone https://github.com/bishopfox/raink
cd raink
go install
Setzen Sie die Umgebungsvariable OPENAI_API_KEY.
raink -h
Usage of raink:
-f string
Input file
-p string
Initial prompt
-r int
Number of runs (default 10)
-s int
Batch size (default 10)
Vergleicht 100 Sätze in unter 2 Minuten.
raink \
-f testdata/sentences.txt \
-r 10 \
-s 10 \
-p 'Rank each of these items according to their relevancy to the concept of "time".' |
jq -r '.[:10] | map(.value)[]' |
nl
1 The train arrived exactly on time.
2 The old clock chimed twelve times.
3 The clock ticked steadily on the wall.
4 The bell rang, signaling the end of class.
5 The rooster crowed at the break of dawn.
6 She climbed to the top of the hill to watch the sunset.
7 He watched as the leaves fell one by one.
8 The stars twinkled brightly in the clear night sky.
9 He spotted a shooting star while stargazing.
10 She opened the curtains to let in the morning light.
Dieses Projekt ist unter der MIT-Lizenz lizenziert.