Groq

Weave で Groq LPU 推論をトラッキングおよびモニタリングし、LLM アプリケーション向けに、モデル Call、パフォーマンス メトリクス、関数チェーンを記録します。

セットアップなしで Weave 上で Groq モデルを試してみたい場合は、LLM Playground をお試しください。

Groq は、高速な AI 推論を提供する AI インフラストラクチャ企業です。Groq の LPU Inference Engine は、計算速度、品質、エネルギー効率を重視して設計されたハードウェアおよびソフトウェア プラットフォームです。Weave は、Groq の chat completion を使った Call を自動的にトラッキングし、ログに記録します。

このページでは、Weave を使用して Groq の chat completion の Call をトレースする方法、自分の関数を Weave op としてラップする方法、Model オブジェクトを使って Experiments を整理する方法について説明します。

​

トレース

言語モデル アプリケーションのトレースは、開発中と本番環境の両方で、一元的な場所に保存しておくことが重要です。これらのトレースはアプリケーションのデバッグに役立つだけでなく、改善のためのデータセットとしても利用できます。

Weave は Groq のトレースを自動的に取得します。トラッキングを開始するには、weave.init(project_name="<your-wandb-project-name>") を呼び出し、あとは通常どおりライブラリを使用してください。<> で囲まれた値は、ご自身の値に置き換えてください。

import os
import weave
from groq import Groq

weave.init(project_name="groq-project")

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)
chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Explain the importance of fast language models",
        }
    ],
    model="llama3-8b-8192",
)

Weave は、Groq ライブラリを通じて実行されるすべての LLM Call を追跡してログに記録します。トレースは Weave の Web インターフェースで確認できます。

​

独自の op をトラッキングする

関数を @weave.op でラップして入力・出力・アプリケーション ロジックを取得すると、アプリ内でデータがどのように流れているかをデバッグできるようになります。op を深くネストして、トラッキングしたい関数のツリーを構築できます。これにより、実験中のコードが自動的にバージョン管理され、まだ git にコミットしていないアドホックな変更内容も含めて記録されます。

@weave.op でデコレートされた関数を作成します。

以下の例では、recommend_places_to_visit 関数を @weave.op でラップし、特定の都市で訪れるべき場所をおすすめします。

import os
import weave
from groq import Groq


weave.init(project_name="groq-test")

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

@weave.op()
def recommend_places_to_visit(city: str, model: str="llama3-8b-8192"):
    chat_completion = client.chat.completions.create(
        messages=[
            {
                "role": "system",
                "content": "You are a helpful assistant meant to suggest places to visit in a city",
            },
            {
                "role": "user",
                "content": city,
            }
        ],
        model="llama3-8b-8192",
    )
    return chat_completion.choices[0].message.content


recommend_places_to_visit("New York")
recommend_places_to_visit("Paris")
recommend_places_to_visit("Kolkata")

recommend_places_to_visit 関数を @weave.op でデコレートして、この関数の入力と出力、および関数内部で行われるすべての LM Call をトレースします。

​

実験を行いやすくするために Model を作成する

多くの要素が絡み合っていると、実験を整理するのは困難です。Model クラスを使うと、システムプロンプトや使用しているモデルなど、アプリの実験に関する詳細を取得して整理できます。これにより、アプリのさまざまなバージョンや反復を整理し、比較しやすくなります。

コードのバージョニングや入出力の記録に加えて、Model はアプリケーションの動作を制御する構造化されたパラメーターも取得するため、どのパラメーターが最も効果的だったかを見つけやすくなります。Weave Models を serve や Evaluation と組み合わせて使用することもできます。

以下の例では、GroqCityVisitRecommender を使って実験できます。そのいずれかの値を変更するたびに、新しい GroqCityVisitRecommender の バージョン が作成されます。

import os
from groq import Groq
import weave


class GroqCityVisitRecommender(weave.Model):
    model: str
    groq_client: Groq

    @weave.op()
    def predict(self, city: str) -> str:
        system_message = {
            "role": "system",
            "content": """
You are a helpful assistant meant to suggest places to visit in a city
""",
        }
        user_message = {"role": "user", "content": city}
        chat_completion = self.groq_client.chat.completions.create(
            messages=[system_message, user_message],
            model=self.model,
        )
        return chat_completion.choices[0].message.content


weave.init(project_name="groq-test")
city_recommender = GroqCityVisitRecommender(
    model="llama3-8b-8192", groq_client=Groq(api_key=os.environ.get("GROQ_API_KEY"))
)
print(city_recommender.predict("New York"))
print(city_recommender.predict("San Francisco"))
print(city_recommender.predict("Los Angeles"))

Model を使用して、Call をトレースしてバージョン管理します。

​

Weave モデルをサーブする

バージョン管理された Model を用意したら、テスト用または下流のアプリケーション向けのサービスとしてデプロイできます。任意の weave.Model オブジェクトへの weave リファレンスがあれば、FastAPI サーバーを起動して、そのモデルを serve できます。

任意の weave.Model の Weave リファレンスは、そのモデルのページに移動し、UI からコピーすることで取得できます。

ターミナルで次のコマンドを実行してモデルをサーブします。

weave serve weave://your_entity/project-name/YourModel:<hash>