######################################################################
# _____ _ _ ______________ #
# |_ _|__ _ __ _ __ ___ (_)_ __ __ _| | || || #
# | |/ _ \ '__| '_ ` _ \| | '_ \ / _` | | || > || #
# | | __/ | | | | | | | | | | | (_| | | || || #
# |_|\___|_| |_| |_| |_|_|_| |_|\__,_|_| ||____________|| #
# ____ _ ____ ___ |______________| #
# | __ ) ___ _ __ ___| |__ |___ \ / _ \ \\############\\ #
# | _ \ / _ \ '_ \ / __| '_ \ __) || | | | \\############\\ #
# | |_) | __/ | | | (__| | | | / __/ | |_| | \ ____ \ #
# |____/ \___|_| |_|\___|_| |_| |_____(_)___/ \_____\___\____\ #
# #
######################################################################
Terminal-Bench は、エージェントや言語モデルがコンテナ化環境で価値ある作業を実行する能力を測定するための、広く利用されているベンチマークです。タスクには、合成用タンパク質の組み立て、非同期コードのデバッグ、セキュリティ脆弱性の解決などが含まれます。
事実上すべての最先端研究所で使用されています。
まず、エージェントの評価と最適化のためのパッケージである Harbor をインストールします。
uv tool install harbor
または
pip install harbor
これで TB 2.0 が実行できるようになりました！ データセットのオラクルソリューションをローカルの Docker コンテナで実行してテストしてみましょう。
uv run harbor run --dataset [email protected] \
--agent oracle \
--n-concurrent 4
このコマンドは、ベンチマークのタスクを自動的にダウンロードします。タスクは https://github.com/laude-institute/terminal-bench-2 で確認できます。
Terminus を使用して実行することもできます。
export ANTHROPIC_API_KEY=<YOUR-KEY>
uv run harbor run --dataset [email protected] \
--agent terminus-2 \
--model anthropic/claude-opus-4-1 \
--n-concurrent 4
または、インストール済みのサードパーティエージェントを使用します。
export ANTHROPIC_API_KEY=<YOUR-KEY>
uv run harbor run --dataset [email protected] \
--agent claude-code \
--model anthropic/claude-opus-4-1 \
--n-concurrent 4
以前にレガシーな Terminal-Bench リポジトリ内でエージェントやモデルをテストしていた場合、Harbor への移行は簡単です。同じモデルエンドポイントを harbor run の --model 引数に指定するだけです。
エージェントの場合は、BaseInstalledAgent または BaseAgent をサブクラス化する必要があります。例については、Claude Code のサポート方法 を参照してください。
ご不明な点がございましたら、Discord までお問い合わせください: https://discord.gg/6xWPKhGDbA
#tb-2 チャンネルを監視しています。
Q: なぜベンチマークの新しいバージョンを作成したのですか？
A: モデルの能力が向上するにつれて、terminal-bench を最先端の能力に合わせて更新し続ける必要があると常に認識していました。TB2.0 は、これらの能力をテストするためのより難しいタスクで構築されています。さらに、タスクの品質に引き続き重点を置きながら、フロンティアを押し進めたいと考えました。TB2.0 の各タスクは、タスクが (1) 解決可能、(2) 現実的、(3) 適切に指定されていることを確認するために、数時間にわたる人間および LM 支援による検証を受けています。これがどのように行われたかについては、近日公開予定のプレプリントで詳しく説明します。
Q: 「Harbor」とは何ですか？なぜ使用する必要があるのですか？
A: Harbor は、エージェント評価を実行し、RL ロールアウトを生成するための新しいフレームワークです。今月中に一般公開する予定です。エージェント評価について学んだすべてのことを活かして、オリジナルの Terminal-Bench 評価ハーネスを信頼性、観測可能性、スケーラビリティ、パフォーマンスの向上のためにゼロから書き直しました。
本ベンチマークが有用でしたら、以下の引用を検討してください。
@misc{tbench_2025,
title={Terminal-Bench: A Benchmark for AI Agents in Terminal Environments},
url={https://github.com/laude-institute/terminal-bench},
author={The Terminal-Bench Team}, year={2025}, month={Apr}}