bishopfox/rainkИспользуйте LLM для ранжирования документов
Используйте LLM для ранжирования документов.
В ИИ есть сила в том, что можно «бросить в него проблему» и получить какой-то результат, даже не полностью определив проблему. Например, дать ему набор диффов кода и бюллетень безопасности и спросить: «Какой из этих диффов, скорее всего, исправит ошибку безопасности?» Однако это не всегда так просто:
Мы создали raink для обхода этих проблем и решения общих задач ранжирования, которые в противном случае сложно обрабатывать LLM. Подробнее об этом методе читайте в нашем блоге raink: Use LLMs for Document Ranking, а также в нашем докладе Patch Perfect: Harmonizing with LLMs to Find Security Vulns, чтобы увидеть, как мы применяли raink к задачам наступательной безопасности.
git clone https://github.com/bishopfox/raink
cd raink
go install
Задайте переменную окружения OPENAI_API_KEY.
raink -h
Usage of raink:
-f string
Input file
-p string
Initial prompt
-r int
Number of runs (default 10)
-s int
Batch size (default 10)
Сравнивает 100 предложений менее чем за 2 минуты.
raink \
-f testdata/sentences.txt \
-r 10 \
-s 10 \
-p 'Rank each of these items according to their relevancy to the concept of "time".' |
jq -r '.[:10] | map(.value)[]' |
nl
1 The train arrived exactly on time.
2 The old clock chimed twelve times.
3 The clock ticked steadily on the wall.
4 The bell rang, signaling the end of class.
5 The rooster crowed at the break of dawn.
6 She climbed to the top of the hill to watch the sunset.
7 He watched as the leaves fell one by one.
8 The stars twinkled brightly in the clear night sky.
9 He spotted a shooting star while stargazing.
10 She opened the curtains to let in the morning light.
Этот проект распространяется под лицензией MIT.