W&B Weave

W&B Weave で言語モデルアプリをトラッキング、テスト、改善

W&B Weave は、エージェントと LLM アプリケーションのトラッキング、評価、改善を支援する可観測性および評価のプラットフォームです。Weave を使うと、次のことができます。

• 一般的な SDK やハーネスで構築したエージェントをトレースし、メトリクスを収集する
• 独自に構築したエージェントを手動でインストルメントして、トレースとメトリクスを収集する
• LLM ジャッジモデルと custom scorers を使って、アプリケーションの応答を評価する

​

はじめに

以下のドキュメントでは、Weave のツールスイートの基本的な使い方を紹介します。

エージェントを Weave と統合する

エージェント SDK またはハーネス向けの組み込みインテグレーションを選択し、Agents ビューでセッション、ターン、LLM Call、ツール呼び出しのトレースを開始します。

カスタム エージェントの可観測性を設定する

Weave SDK を使用してカスタムのマルチターン エージェントをトレースし、セッション、LLM Call、ツール呼び出しを OpenTelemetry のスパンとして取得します。

Weave UI でエージェントのメトリクスを表示する

LLM への基本的な呼び出しをトレースし、入力、出力、コードを W&B アカウントで確認します。

​

Weaveをインストール

W&B Weave は、Python と TypeScript のライブラリを提供しています。Weave ライブラリをインストールするには、次のコマンドを実行します。

Python

pip install weave

TypeScript

pnpm install weave

Weave ライブラリの利用を開始するには、Weights & Biases (W&B) アカウント を作成し、User Settings で APIキーを作成 します。APIキーを使用すると、W&B アカウントに認証してデータの送信を開始できます。