Cohere

Utilisez Weave pour suivre et consigner automatiquement les appels LLM effectués par l’intermédiaire de la bibliothèque Python Cohere

Weave suit et consigne automatiquement les appels LLM effectués par l’intermédiaire de la bibliothèque Python Cohere après que vous avez appelé weave.init().

​

Traces

Il est important de stocker les traces des applications LLM dans une base de données centrale, aussi bien pendant le développement qu’en production. Vous utilisez ces traces pour le débogage, ainsi que comme jeu de données pour vous aider à améliorer votre application.

Weave capture automatiquement les traces de cohere-python. Utilisez la bibliothèque comme d’habitude. Commencez par appeler weave.init() :

import cohere
import os
import weave

# Utilisez la bibliothèque Cohere comme d'habitude
co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])

weave.init("cohere_project")

response = co.chat(
    message="How is the weather in Boston?",
    # effectuez une recherche web avant de répondre à la question. Vous pouvez également utiliser votre propre connecteur personnalisé.
    connectors=[{"id": "web-search"}],
)
print(response.text)

Si vous ne spécifiez pas de team W&B lorsque vous appelez weave.init(), Weave utilise votre entité par défaut. Pour trouver ou mettre à jour votre entité par défaut, reportez-vous à Paramètres utilisateur dans la documentation W&B Models.

Les modèles Cohere prennent en charge les connecteurs, qui vous permettent d’effectuer des requêtes vers d’autres API au niveau du point de terminaison. La réponse contient alors le texte généré avec des éléments de citation renvoyant vers les documents retournés par le connecteur.

Weave patch les méthodes Cohere Client.chat(), AsyncClient.chat(), Client.chat_stream() et AsyncClient.chat_stream() pour suivre vos appels LLM.

​

Encapsulez avec vos propres ops

Les ops Weave rendent les résultats reproductibles en assurant automatiquement la gestion des versions du code au fil de vos expériences, et capturent leurs entrées et sorties. Créez une fonction décorée avec @weave.op() qui appelle les méthodes de chat de Cohere, et Weave suit les entrées et les sorties pour vous. Voici un exemple :

import cohere
import os
import weave

co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])

weave.init("cohere_project")

@weave.op()
def weather(location: str, model: str) -> str:
    response = co.chat(
        model=model,
        message=f"How is the weather in {location}?",
        # effectuer une recherche web avant de répondre à la question. Vous pouvez également utiliser votre propre connecteur personnalisé.
        connectors=[{"id": "web-search"}],
    )
    return response.text

print(weather("Boston", "command"))

​

Créez un Model pour faciliter l’expérimentation

Il est difficile d’organiser l’expérimentation lorsque de nombreux éléments entrent en jeu. En utilisant la classe Model, vous pouvez capturer et organiser les détails expérimentaux de votre application, comme votre prompt système ou le modèle que vous utilisez. Cela facilite l’organisation et la comparaison des différentes itérations de votre application.

Au-delà de la gestion des versions du code et de la capture des entrées/sorties, les Models capturent des paramètres structurés qui contrôlent le comportement de votre application, vous aidant à identifier les paramètres les plus efficaces. Vous pouvez également utiliser les Weave Models avec serve et les Évaluations.

Dans l’exemple suivant, vous pouvez expérimenter avec model et temperature. Chaque fois que vous modifiez l’un d’eux, vous obtenez une nouvelle version de WeatherModel.

import weave
import cohere
import os

weave.init('weather-cohere')

class WeatherModel(weave.Model):
    model: str
    temperature: float
  
    @weave.op()
    def predict(self, location: str) -> str:
        co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])
        response = co.chat(
            message=f"How is the weather in {location}?",
            model=self.model,
            temperature=self.temperature,
            connectors=[{"id": "web-search"}]
        )
        return response.text

weather_model = WeatherModel(
    model="command",
    temperature=0.7
)
result = weather_model.predict("Boston")
print(result)