
데이터베이스 시스템에서 로직 및 성능 버그를 찾기 위한 자동화된 테스트

SQLancer는 데이터베이스 관리 시스템(DBMS)의 구현에서 버그를 찾기 위해 DBMS를 자동으로 테스트하는 도구입니다. 즉, 사용자가 작성한 쿼리가 아닌 DBMS 구현 코드에서 버그를 찾습니다. SQLancer는 성숙하고 널리 알려진 DBMS에서 수백 개의 버그를 발견했습니다.
SQLancer는 DBMS를 자동으로 테스트할 때 두 가지 핵심 과제를 해결합니다:
커뮤니티. SQLancer와 일반적인 DBMS 테스트를 논의하기 위한 Slack 워크스페이스가 있습니다. 이전에 SQLancer는 Twitter/X @sqlancer_dbms 계정을 운영했으나, 더 이상 유지되지 않습니다. 블로그가 있으며, 현재로서는 Google Summer of Code 프로젝트 기여자들의 게시물만 포함하고 있습니다.
최소 요구 사항:
다음 명령은 SQLancer를 복제하고, JAR을 생성하며, Non-optimizing Reference Engine Construction (NoREC)를 사용하여 SQLite를 테스트하도록 SQLancer를 시작합니다:
git clone https://github.com/sqlancer/sqlancer
cd sqlancer
mvn package -DskipTests
cd target
java -jar sqlancer-*.jar --num-threads 4 sqlite3 --oracle NoREC
실행 및 종료. 실행 시 5초마다 진행 정보가 출력된다면 도구가 예상대로 작동하는 것입니다. CTRL+C 단축키를 사용하여 SQLancer를 수동으로 종료할 수 있습니다. SQLancer가 버그를 찾지 못하면 무한히 실행됩니다. --num-tries 옵션을 사용하여 SQLancer가 몇 개의 버그를 찾은 후 종료할지 제어할 수 있습니다. 또는 --timeout-seconds 옵션을 사용하여 SQLancer가 실행될 수 있는 최대 시간을 지정할 수 있습니다.
매개변수. 매개변수 없이 SQLancer를 실행하면 사용 가능한 옵션과 명령이 표시됩니다. 모든 DBMS 테스트 구현에서 지원되는 일반 옵션(예: --num-threads)은 테스트할 DBMS 이름(예: sqlite3) 앞에 와야 합니다. 특정 DBMS에서만 지원되는 옵션(예: SQLite3의 --test-rtree)이나 각 테스트 구현에서 서로 다른 값을 제공하는 옵션(예: --oracle NoREC)은 DBMS 이름 뒤에 와야 합니다.
DBMS. SQLite에서 SQLancer를 실행하기 위해 DBMS를 설치하고 설정할 필요는 없었습니다. 그 이유는 임베디드 DBMS가 애플리케이션과 동일한 프로세스에서 실행되므로 별도의 설치나 설정이 필요하지 않기 때문입니다. SQLancer가 지원하는 임베디드 DBMS에는 DuckDB, H2, SQLite가 있습니다. 이들의 바이너리는 JAR 의존성으로 포함되어 있습니다. 이러한 시스템에서 발생하는 모든 충돌은 SQLancer가 실행되는 JVM의 충돌도 일으킨다는 점에 유의하십시오.
로그. SQLancer는 로그를 target/logs 하위 디렉터리에 저장합니다. 기본적으로 --log-each-select 옵션이 활성화되어 있으며, 이로 인해 DBMS로 전송되는 모든 SQL 문이 로깅됩니다. 해당 파일 이름에는 -cur.log가 접미사로 붙습니다. 또한 SQLancer가 논리 버그를 감지하면 확장자가 .log인 파일을 생성하며, 여기에는 버그를 재현하기 위한 문들이 로깅되고, 마지막으로 실행된 쿼리와 데이터베이스 상태를 설정하기 위한 다른 문들만 포함됩니다.
버그 축소. 버그를 유발하는 테스트 입력을 찾은 후에는 버그 재현에 불필요한 많은 SQL 문이 포함되어 있을 수 있으므로 추가 분석을 위해 입력을 축소해야 하는 경우가 일반적입니다. 한 가지 방법은 한 번에 하나의 문이나 기능을 제거하고, 버그를 유발하는 문들을 재실행하며, 테스트 오라클을 적용하는(예: TLP나 NoREC 같은 테스트 오라클의 경우 두 쿼리가 여전히 서로 다른 결과를 생성하는지 확인해야 함) 수동 작업입니다. 이 과정은 소위 델타 디버깅 접근법을 사용하여 자동화할 수 있습니다. SQLancer에는 델타 디버깅 접근법의 실험적 구현이 포함되어 있으며, --use-reducer를 사용하여 활성화할 수 있습니다. 과거에 우리는 C-Reduce를 성공적으로 사용한 바 있으며, 이는 C-Reduce가 실행할 수 있는 스크립트에 테스트 오라클을 지정해야 합니다.
최신 DBMS 버전 테스트. 대부분의 DBMS에 대해 SQLancer는 이전 릴리스 버전만 지원합니다. 따라서 SQLancer가 찾은 잠재적 버그는 DBMS의 최신 개발 버전에서 이미 수정되었을 수 있습니다. 테스트 중인 DBMS의 개발자가 아니라면, 버그를 보고하기 전에 해당 버그가 여전히 재현되는지 검증하시기를 권장합니다. SQLancer로 발견한 버그를 보고할 때 SQLancer를 언급해 주시면 감사하겠습니다. 또한 SQLancer 사용 경험이나 관련 사용 사례 또는 확장 기능에 대해 듣고 싶습니다.
옵션. SQLancer는 동작을 사용자 정의하는 데 사용할 수 있는 많은 옵션을 제공합니다. java -jar sqlancer-*.jar --help를 실행하면 옵션 목록이 표시되며, 다음과 같은 출력이 출력되어야 합니다:
Usage: SQLancer [options] [command] [command options]
Options:
--ast-reducer-max-steps
EXPERIMENTAL Maximum steps the AST-based reducer will do
Default: -1
--ast-reducer-max-time
EXPERIMENTAL Maximum time duration (secs) the statement reducer will do
Default: -1
--canonicalize-sql-strings
Should canonicalize query string (add ';' at the end
Default: true
--constant-cache-size
Specifies the size of the constant cache. This option only takes effect
when constant caching is enabled
Default: 100
...
어떤 SQLancer 버전을 사용할 것인가. SQLancer를 사용하는 권장 방법은 GitHub의 최신 소스 버전을 사용하는 것입니다. 빈번하지 않고 불규칙한 공식 릴리스도 다음 플랫폼에서 사용할 수 있습니다:
SQL 생성 이해하기. 버그를 유발하는 문장을 분석하려면 SQLancer의 특성을 이해하는 것이 도움이 됩니다. 첫째, SQLancer는 테스트 대상 DBMS에 대해 항상 구문적으로 유효한 SQL 문을 생성할 것으로 예상됩니다. 따라서 구문 오류는 절대 관찰되어서는 안 됩니다. 둘째, SQLancer는 의미적으로 유효하지 않은 문을 생성할 수 있습니다. 예를 들어, SQLancer는 UNIQUE 제약 조건이 있는 열에 중복 값을 삽입하려고 시도할 수 있는데, 이러한 의미적 오류를 완전히 피하는 것은 어렵기 때문입니다. 셋째, SQLancer가 보고하는 모든 버그는 CERT가 보고하는 버그(성능 문제는 다른 종류의 버그만큼 명확하게 정의되지 않으므로)를 제외하고는 실제 버그일 것으로 예상됩니다. SQLancer가 표시하는 버그 중 버그라고 생각하지 않는 것이 있다면, 설정에 문제가 있을 가능성이 높습니다. 마지막으로, 앞서 언급한 점과 관련하여 SQLancer는 특정 DBMS 버전에 특화되어 있으며, 우리가 테스트하는 버전은 GitHub Actions 워크플로에서 확인할 수 있습니다. 다른 버전에 대해 테스트하는 경우 다양한 오탐(예: 구문 오류로 인한)이 발생할 수 있습니다. 우리는 항상 SQLancer가 각 DBMS의 최신 개발 버전과 최신 상태를 유지하기를 바라지만, 이를 달성할 리소스가 부족합니다.
지원되는 DBMS. SQLancer는 지원하는 각 DBMS에 대해 DBMS별 코드가 필요합니다. 2025년 1월 기준으로 Citus, ClickHouse, Cloudberry, CockroachDB, Databend, (Apache) DataFusion, (Apache) Doris, DuckDB, H2, HSQLDB, MariaDB, Materialize, MySQL, OceanBase, PostgreSQL, Presto, QuestDB, SQLite3, TiDB, VoltDB, YugabyteDB를 지원합니다. 개별 DBMS가 지원되는 정도는 다릅니다.
SQLancer는 DBMS 테스트를 위한 여러 접근 방식을 개척했으며 아래에 시간순으로 정리되어 있습니다.