Braintrust

Braintrustとは？

Braintrust(ブレイントラスト)は、LLM(大規模言語モデル)を使ったアプリの品質を測り、本番の挙動を監視するためのプラットフォームです。公式サイト(braintrust.dev)によると、評価(Eval)を中心に据えつつ、トレース(処理の記録)、データセット、プレイグラウンド(試行用の実行環境)、実験管理を1か所で扱えます。

評価を軸にした開発サイクル

LLMアプリは、プロンプトを少し変えるだけで出力が変わります。そのため「変更して良くなったのか」を数値で確かめる仕組みが重要です。Braintrust はスコアリングによる評価を軸に、データセットに対して実験を回し、結果を比較する流れを想定しています。本番のトレースをそのままデータセットに取り込んで改善に回す使い方もできます。

料金プラン

公式の料金ページによると、プランは3つです。無料の Starter は処理データ1GB、スコア10,000件、データ保持14日で、ユーザー数・プロジェクト数・データセット・実験は無制限です。クレジットカードの登録は不要と案内されています。Pro は月額249ドルで、処理データ5GB、スコア50,000件、データ保持30日に拡大し、カスタムチャートや優先サポートが付きます。Enterprise は個別見積もりで、保持期間のカスタマイズ、RBAC(役割ベースのアクセス制御)、オンプレミス配置などに対応します。

検討時のポイント

同種のツールが人数(シート)課金を採る中で、Braintrust は無料プランを含む全ティアでユーザー数が無制限と案内されている点が特徴です。少人数で始めて評価の型を作りたいチームに向いています。一方で無料枠のデータ保持は14日のため、長期の傾向を追う用途では有料プランを前提に検討してください。これらは提供元・公開情報です。