raink

Usa gli LLM per il ranking dei documenti.

Descrizione

C'è del potere nell'AI: puoi "lanciarle un problema" e ottenere un risultato, senza nemmeno definire completamente il problema. Ad esempio, dalle un mucchio di diff di codice e un avviso di sicurezza, e chiedile: "Quale di questi diff sembra più probabile che corregga il bug di sicurezza?" Tuttavia, non è sempre così facile:

• nondeterminismo: non risponde sempre con lo stesso risultato
• finestra di contesto: non si possono passare tutti i dati in una volta sola, bisogna spezzarli
• vincoli di output: a volte non restituisce tutti i dati che le avevi chiesto di esaminare
• soggettività nella valutazione: fa molta fatica ad assegnare un punteggio numerico a un singolo elemento

Abbiamo costruito raink per aggirare questi problemi e risolvere problemi di ranking generali che altrimenti sarebbero difficili da processare per gli LLM. Consulta il nostro post del blog raink: Use LLMs for Document Ranking per ulteriori informazioni su questa tecnica, e il nostro talk Patch Perfect: Harmonizing with LLMs to Find Security Vulns per vedere come abbiamo applicato raink a problemi di sicurezza offensiva.

Per iniziare

Installazione

git clone https://github.com/bishopfox/raink
cd raink
go install

Configurazione

Imposta la variabile d'ambiente OPENAI_API_KEY.

Utilizzo

raink  -h
Usage of raink:
  -f string
    	Input file
  -p string
    	Initial prompt
  -r int
    	Number of runs (default 10)
  -s int
    	Batch size (default 10)

Confronta 100 frasi in meno di 2 minuti.

raink \
    -f testdata/sentences.txt \
    -r 10 \
    -s 10 \
    -p 'Rank each of these items according to their relevancy to the concept of "time".' |
    jq -r '.[:10] | map(.value)[]' |
    nl

   1  The train arrived exactly on time.
   2  The old clock chimed twelve times.
   3  The clock ticked steadily on the wall.
   4  The bell rang, signaling the end of class.
   5  The rooster crowed at the break of dawn.
   6  She climbed to the top of the hill to watch the sunset.
   7  He watched as the leaves fell one by one.
   8  The stars twinkled brightly in the clear night sky.
   9  He spotted a shooting star while stargazing.
  10  She opened the curtains to let in the morning light.

Appendice

Vedi anche

• raink: Use LLMs for Document Ranking
• Patch Perfect: Harmonizing with LLMs to Find Security Vulns
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
• Introducing Rerank 3.5: Precise AI Search

Da fare

• parallelizzare le chiamate openai per ogni esecuzione
• risparmiare tempo usando id hash più corti
• assicurarsi che ogni esecuzione randomizzata sia divisa uniformemente in gruppi in modo che ciascuno venga incluso/esposto
• consentire di specificare una directory di input (in cui ogni file è un oggetto distinto)
• avvisare se la finestra di contesto in ingresso è molto grande
• alcuni batch verso la fine di un'esecuzione (9?) sono piccoli per qualche motivo
• eseguire la modalità batch di openai
• calcolare automaticamente la dimensione ottimale del batch?
• esplorare l'ordinamento "a torneo" rispetto all'esposizione completa ogni volta
• aggiungere un parametro per il rapporto di raffinamento
• aggiungere il link al blog
• supportare modelli non OpenAI
• aggiungere un flag booleano per la raffinazione

Licenza

Questo progetto è rilasciato sotto la MIT License.