
Demostración que muestra que Claude Opus no encuentra CVE-2023-0266
Demostración de que Claude 3 Opus no entiende CVE-2023-0266 y no lo encuentra (Demo 1). Incluso si se le dice dónde está el error, Opus no lo encuentra y alucina la presencia de adquisiciones de bloqueo (Demo 2). La "ingeniería de prompts" (también conocido como decirle al LLM exactamente cómo encontrar el error) tampoco funciona (Demo 3).
Esta publicación de blog de Project Zero
blog post describe
la vulnerabilidad. En resumen, hay dos rutas que llegan a la función snd_ctl_elem_write. Una, que se ve así, y es segura:
snd_ctl_ioctl ->
snd_ctl_elem_write_user ->
snd_ctl_elem_write
Y una que se ve así, y no es segura:
snd_ctl_ioctl_compat ->
snd_ctl_elem_write_user_compat ->
ctl_elem_write_user ->
snd_ctl_elem_write
La primera es segura porque adquiere el bloqueo controls_rwsem mediante down_write(&card->controls_rwsem); en la
función snd_ctl_elem_write_user. La segunda no es segura porque llega a snd_ctl_elem_write por
una ruta que no incluye snd_ctl_elem_write_user, y ninguna de las otras funciones en esa ruta
adquiere el bloqueo controls_rwsem.
Instala los paquetes anthropic y python-dotenv con pip. Copia .env.example a .env e inserta tu clave API de Claude 3
en él. Luego puedes ejecutar main.py, original.py y multistage.py. Consulta a continuación qué hacen estos archivos. Todos
los archivos toman el directorio de código a analizar como su primer argumento. res contiene el código con errores y res_patched
contiene el código parcheado.
Creé este repositorio en respuesta a este chat de Claude Opus que fue compartido junto con la afirmación de que Opus puede encontrar CVE-2023-0266. Si eso fuera cierto, sería un hito significativo para los LLM. Desafortunadamente, el error reportado por Claude no es CVE-2023-0266. De hecho, no parece ser un error en absoluto, y el parche sugerido por Claude no corrige CVE-2023-0266.
He copiado el prompt de ese chat en original.py, aunque al ejecutarlo no proporciona resultados idénticos a
los del chat compartido. En su lugar, produce otro falso positivo.
Ejecute mediante ./main.py. Puede pasar el argumento --chat para iniciar una sesión de chat después de que Opus haya proporcionado
su respuesta inicial, lo que puede ser ilustrativo para descubrir exactamente qué entiende/no entiende Claude sobre el
código.
A fecha de hoy (10 de marzo de 2023) esto es lo que dice Claude Opus (versión del modelo claude-3-opus-20240229):
The code in sound/core/control.c and sound/core/control_compat.c appears to use
locks appropriately to prevent race conditions and concurrency issues. Here are
the key observations:
1. The snd_ioctl_rwsem read-write semaphore is used to protect the list of
registered ioctl handlers (snd_control_ioctls and snd_control_compat_ioctls).
The semaphore is acquired for reading when iterating over the list of handlers
and for writing when registering or unregistering handlers.
2. The card->controls_rwsem read-write semaphore is used to protect the list of
controls associated with a card. It is acquired for reading when searching for a
control or accessing control information, and for writing when adding, removing,
or modifying controls.
3. The ctl->read_lock spinlock is used to protect the list of pending events
(ctl->events) associated with a control. It is acquired when adding or removing
events from the list, and when waiting for events to be available for reading.
4. The card->ctl_files_rwlock read-write lock is used to protect the list of
open control files (card->ctl_files) associated with a card. It is acquired for
reading when iterating over the list of control files and for writing when
adding or removing control files.
5. The event-related operations in snd_ctl_elem_read() use a combination of the
ctl->read_lock spinlock and the ctl->change_sleep wait queue to synchronize
access to the event list and wait for events.
6. The snd_ctl_find_numid() and snd_ctl_find_id() functions, which search for a
control by its numeric ID or full ID, expect the card->controls_rwsem semaphore
to be held by the caller to prevent the control list from changing while
searching.
7. The __snd_ctl_add_replace() function, which adds or replaces a control,
acquires the card->controls_rwsem semaphore for writing to ensure exclusive
access to the control list during the operation.
Overall, the code appears to be using locks correctly to synchronize access to
shared data structures and prevent race conditions. The read-write semaphores
and locks are acquired and released appropriately based on the type of access
required (read or write). The code also uses wait queues to handle
synchronization between event producers and consumers.
However, it's important to note that a thorough code review would be necessary
to ensure that all possible code paths are properly synchronized and that there
are no subtle race conditions or deadlocks. The provided code snippets are only
a part of the larger kernel subsystem, and a complete analysis would require
examining all the code paths and their interactions.
El modelo piensa que el código está bien y no nota el error.
¿Qué sucede si le pedimos explícitamente a Claude que verifique que el bloqueo apropiado se adquiere en la ruta vulnerable?
chat> Is the controls_rwsem lock taken on the path from snd_ctl_ioctl_compat to
snd_ctl_elem_write?
Let's trace the path from snd_ctl_ioctl_compat() to snd_ctl_elem_write() and
check if the controls_rwsem lock is acquired along the way.
1. snd_ctl_ioctl_compat() is called with the SNDRV_CTL_IOCTL_ELEM_WRITE32
command.
2. Inside snd_ctl_ioctl_compat(), the SNDRV_CTL_IOCTL_ELEM_WRITE32 case is
handled by calling snd_ctl_elem_write_user_compat(ctl, argp).
3. snd_ctl_elem_write_user_compat() calls ctl_elem_write_user(file, data32,
&data32->value).
4. ctl_elem_write_user() calls snd_ctl_elem_write(card, file, data) after
copying the data from user space.
5. snd_ctl_elem_write() acquires the card->controls_rwsem write lock using
down_write(&card->controls_rwsem) before proceeding with the write operation.
So, yes, the controls_rwsem lock is acquired on the path from
snd_ctl_ioctl_compat() to snd_ctl_elem_write() when handling the
SNDRV_CTL_IOCTL_ELEM_WRITE32 command. The lock is acquired in the
snd_ctl_elem_write() function, which is called indirectly from
snd_ctl_ioctl_compat() via snd_ctl_elem_write_user_compat() and
ctl_elem_write_user().
Therefore, the write operation on the control element is properly protected by
the controls_rwsem write lock.
El modelo alucina la adquisición del bloqueo en el paso 5, e informa incorrectamente
que el código es seguro. Para mayor claridad, este es el código de la función
snd_ctl_elem_write. Como se puede ver, no hay llamada a down_write.
static int snd_ctl_elem_write(struct snd_card *card, struct snd_ctl_file *file,
struct snd_ctl_elem_value *control)
{
struct snd_kcontrol *kctl;
struct snd_kcontrol_volatile *vd;
unsigned int index_offset;
int result;
kctl = snd_ctl_find_id(card, &control->id);
if (kctl == NULL)
return -ENOENT;
index_offset = snd_ctl_get_ioff(kctl, &control->id);
vd = &kctl->vd[index_offset];
if (!(vd->access & SNDRV_CTL_ELEM_ACCESS_WRITE) || kctl->put == NULL ||
(file && vd->owner && vd->owner != file)) {
return -EPERM;
}
snd_ctl_build_ioff(&control->id, kctl, index_offset);
result = kctl->put(kctl, control);
if (result < 0)
return result;
if (result > 0) {
struct snd_ctl_elem_id id = control->id;
snd_ctl_notify(card, SNDRV_CTL_EVENT_MASK_VALUE, &id);
}
return 0;
}
Aquí Opus está fallando en resolver el problema significativamente más fácil de "Dada una lista de funciones, ¿se adquiere el bloqueo X?".
Las cosas empeoran aún más si luego le pedimos a Opus que nos muestre el código que afirma que contiene la adquisición del bloqueo.
chat> Show me the code of the function snd_ctl_elem_write and highlight
where it acquires the controls_rwsem lock
Here's the code of the snd_ctl_elem_write() function with the acquisition of the
controls_rwsem lock highlighted:
<pre>
static int snd_ctl_elem_write(struct snd_card *card, struct snd_ctl_file *file,
struct snd_ctl_elem_value *control)
{
struct snd_kcontrol *kctl;
struct snd_kcontrol_volatile *vd;
unsigned int index_offset;
int result;
kctl = snd_ctl_find_id(card, &control->id);
if (kctl == NULL)
return -ENOENT;
index_offset = snd_ctl_get_ioff(kctl, &control->id);
vd = &kctl->vd[index_offset];
if (!(vd->access & SNDRV_CTL_ELEM_ACCESS_WRITE) || kctl->put == NULL ||
(file && vd->owner && vd->owner != file)) {
return -EPERM;
}
snd_ctl_build_ioff(&control->id, kctl, index_offset);
<span style="background-color: yellow;">down_write(&card->controls_rwsem);</span>
result = kctl->put(kctl, control);
up_write(&card->controls_rwsem);
if (result < 0)
return result;
if (result > 0) {
struct snd_ctl_elem_id id = control->id;
snd_ctl_notify(card, SNDRV_CTL_EVENT_MASK_VALUE, &id);
}
return 0;
}
</pre>
As highlighted in the code, the `down_write(&card->controls_rwsem)` function
call acquires the `controls_rwsem` write lock before calling the `kctl->put()`
function to perform the actual write operation on the control element. The
lock is released after the write operation using
`up_write(&card->controls_rwsem)`.
This ensures that the write operation is protected by the `controls_rwsem`
lock, preventing concurrent access to the control elements while the write
is being performed.
Aquí hay dos problemas. Primero, ha alucinado la presencia
de las llamadas down_write y up_write. No están en el código que se le dio
para verificar. Segundo, incluso si esas llamadas estuvieran en el código no protegerían
el código de condiciones de carrera si se colocan en esta ubicación.