Together AI

OpenAI SDK との互換性を利用して、Weave で Together AI のオープンソース LLM をトラッキングし、モデル呼び出しのトレースと評価をシームレスに行います。

Together AI は、生成 AI モデルの構築とファインチューニングのためのプラットフォームです。オープンソース LLM に注力しており、ユーザーは独自のモデルをファインチューニングしてホストできます。このガイドでは、Together の OpenAI SDK との互換性を使用して、Weave で Together AI のモデル呼び出しをトレースして評価する方法を説明します。オープンソース LLM の入力、出力、パフォーマンスを、Weave でトラッキングされる他の作業とあわせてモニターできます。

Weave による together Python パッケージの完全サポートは現在開発中です。

それまでの間、Together は OpenAI SDK との互換性 をサポートしており、Weave はこれを自動的に検出して連携します。標準の OpenAI クライアントを使用して Together AI モデルを呼び出し、追加のセットアップなしで Weave の自動トレースを利用できます。

Together API に切り替えるには、api_key をお使いの Together API キーに、base_url を https://api.together.xyz/v1 に、model を チャットモデル のいずれかに設定します。次の例では、Weave を初期化してから、Together でホストされているモデルに対して Chat Completion を呼び出します。実行すると、その呼び出しは Weave プロジェクト内にトレースとして表示されます。

import os
import openai
import weave

weave.init('together-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("TOGETHER_API_KEY"),
    base_url="https://api.together.xyz/v1",
)
chat_completion = client.chat.completions.create(
    model="mistralai/Mixtral-8x7B-Instruct-v0.1",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Together response:\n", response)

これは使い始めるための例です。より複雑なユースケースで独自の関数を Weave に統合する方法について詳しくは、OpenAI ガイドを参照してください。