> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-dbrian-docs-serverless-training-quickstart.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
> 3Dポイントクラウドや分子、HTML、ヒストグラムなどのリッチメディアをログする
# メディアやオブジェクトをログする
export const ColabLink = ({url}) =>
Colabで試す
;
詳細は、[データタイプのリファレンス](/ja/models/ref/python/data-types/)を参照してください。
さらに詳しくは、[モデル予測の可視化に関するデモレポート](https://wandb.ai/lavanyashukla/visualize-predictions/reports/Visualize-Model-Predictions--Vmlldzo1NjM4OA)を確認するか、[解説動画](https://www.youtube.com/watch?v=96MxRvx15Ts)をご覧ください。
## 前提条件
W\&B SDK でメディアオブジェクトをログするには、追加の依存パッケージのインストールが必要になる場合があります。
次のコマンドを実行すると、これらの依存パッケージをインストールできます。
```bash theme={null}
pip install wandb[media]
```
## 画像
入力、出力、フィルターの重み、活性化などをトラッキングするために、画像をログします。
トレーニング中にログ処理がボトルネックになったり、結果の表示時に画像の読み込みがボトルネックになったりするのを防ぐため、1 step あたり 50 枚未満の画像をログすることを推奨します。
[`torchvision` の `make_grid`](https://pytorch.org/vision/stable/utils.html#torchvision.utils.make_grid) を使用する場合のように、画像を手動で作成する際は、配列を直接指定します。
配列は [Pillow](https://pillow.readthedocs.io/en/stable/index.html) を使用して png に変換されます。
```python theme={null}
import wandb
with wandb.init(project="image-log-example") as run:
images = wandb.Image(image_array, caption="上: 出力、下: 入力")
run.log({"examples": images})
```
最後の次元が 1 の場合はグレースケール、3 の場合は RGB、4 の場合は RGBA の画像として扱われます。配列に浮動小数点数が含まれている場合は、それらを `0` から `255` の範囲の整数に変換します。画像を別の方法で正規化したい場合は、[`mode`](https://pillow.readthedocs.io/en/stable/handbook/concepts.html#modes) を手動で指定するか、このパネルの「PIL 画像をログする」タブで説明しているように [`PIL.Image`](https://pillow.readthedocs.io/en/stable/reference/Image.html) をそのまま渡してください。
配列から画像への変換を完全に制御したい場合は、[`PIL.Image`](https://pillow.readthedocs.io/en/stable/reference/Image.html) を自分で作成して直接指定します。
```python theme={null}
from PIL import Image
with wandb.init(project="") as run:
# NumPy 配列から PIL 画像を作成します
image = Image.fromarray(image_array)
# 必要に応じて RGB に変換します
if image.mode != "RGB":
image = image.convert("RGB")
# 画像をログします
run.log({"example": wandb.Image(image, caption="My Image")})
```
さらに細かく制御したい場合は、任意の方法で画像を作成し、ディスクに保存して、そのファイルパスを指定します。
```python theme={null}
import wandb
from PIL import Image
with wandb.init(project="") as run:
im = Image.fromarray(...)
rgb_im = im.convert("RGB")
rgb_im.save("myimage.jpg")
run.log({"example": wandb.Image("myimage.jpg")})
```
## 画像オーバーレイ
W\&B UI でセマンティックセグメンテーションのマスクをログし、不透明度の変更や経時変化の表示などの操作を行えます。
画像とともにバウンディングボックスをログし、フィルターとトグルを使用して、UIで異なるボックスのセットを動的に可視化できます。
## 表 の画像オーバーレイ
## ヒストグラム
リスト、配列、テンソルなどの数値のシーケンスが最初の引数として指定されると、`np.histogram()` を呼び出して自動的にヒストグラムを作成します。すべての配列/テンソルはフラット化されます。オプションの `num_bins` キーワード引数を使用して、デフォルトの `64` bins を上書きできます。サポートされる bins の最大数は `512` です。
UI では、トレーニング全体でログされたヒストグラムを比較しやすいように、x-axis にトレーニング step、Y-axis にメトリクス値、色でカウントを表したヒストグラムをプロットします。単発のヒストグラムをログする方法について詳しくは、このパネルの「Summary 内のヒストグラム」タブを参照してください。
```python theme={null}
run.log({"gradients": wandb.Histogram(grads)})
```
より細かく制御したい場合は、`np.histogram()` を呼び出し、返されたタプルを `np_histogram` キーワード引数として渡します。
```python theme={null}
np_hist_grads = np.histogram(grads, density=True, range=(0.0, 1.0))
run.log({"gradients": wandb.Histogram(np_hist_grads)})
```
ヒストグラムが summary にある場合は、[Run ページ](/ja/models/runs/) の Overview タブに表示されます。history にある場合は、Charts タブに bins の経時変化を示すヒートマップが表示されます。
## 3D可視化
3Dポイントクラウドや、バウンディングボックス付きのLiDARシーンをログできます。表示する点の座標と色を含むNumPy配列を渡します。
```python theme={null}
point_cloud = np.array([[0, 0, 0, COLOR]])
run.log({"point_cloud": wandb.Object3D(point_cloud)})
```
W\&B UI では、30万ポイントを超えるデータは切り捨てられます。
#### NumPy配列の形式
柔軟な色分けに対応するため、3種類のNumPy配列形式がサポートされています。
* `[[x, y, z], ...]` `nx3`
* `[[x, y, z, c], ...]` `nx4` `| c は [1, 14]` の範囲のカテゴリです (セグメンテーションに便利)
* `[[x, y, z, r, g, b], ...]` `nx6 | r,g,b` は、赤・緑・青の各カラーチャネルを表す `[0,255]` の範囲の値です。
#### Python オブジェクト
このスキーマを使用すると、Python オブジェクトを定義し、[`from_point_cloud` method](/ja/models/ref/python/#from_point_cloud) に渡せます。
* `points` は、表示するポイントの座標と色を含む NumPy 配列です。形式には、[上で示した simple ポイントクラウド renderer と同じ形式](#python-object)を使用します。
* `boxes` は、3 つの属性を持つ Python の辞書の NumPy 配列です。
* `corners` - 8 つの corner のリスト
* `label` - ボックス上に表示するラベルを表す文字列 (任意)
* `color` - ボックスの色を表す RGB 値
* `score` - バウンディングボックスに表示される数値で、表示するバウンディングボックスをフィルターするために使用できます (たとえば、`score` > `0.75` のバウンディングボックスのみを表示) 。 (任意)
* `type` は、表示するシーンのタイプを表す文字列です。現在サポートされる値は `lidar/beta` のみです
```python theme={null}
point_list = [
[
2566.571924017235, # x
746.7817289698219, # y
-15.269245470863748,# z
76.5, # 赤
127.5, # 緑
89.46617199365393 # 青
],
[ 2566.592983606823, 746.6791987335685, -15.275803826279521, 76.5, 127.5, 89.45471117247024 ],
[ 2566.616361739416, 746.4903185513501, -15.28628929674075, 76.5, 127.5, 89.41336375503832 ],
[ 2561.706014951675, 744.5349468458361, -14.877496818222781, 76.5, 127.5, 82.21868245418283 ],
[ 2561.5281847916694, 744.2546118233013, -14.867862032341005, 76.5, 127.5, 81.87824684536432 ],
[ 2561.3693562897465, 744.1804761656741, -14.854129178142523, 76.5, 127.5, 81.64137897587152 ],
[ 2561.6093071504515, 744.0287526628543, -14.882135189841177, 76.5, 127.5, 81.89871499537098 ],
# ... 以下同様
]
run.log({"my_first_point_cloud": wandb.Object3D.from_point_cloud(
points = point_list,
boxes = [{
"corners": [
[ 2601.2765123137915, 767.5669506323393, -17.816764802288663 ],
[ 2599.7259021588347, 769.0082337923552, -17.816764802288663 ],
[ 2599.7259021588347, 769.0082337923552, -19.66876480228866 ],
[ 2601.2765123137915, 767.5669506323393, -19.66876480228866 ],
[ 2604.8684867834395, 771.4313904894723, -17.816764802288663 ],
[ 2603.3178766284827, 772.8726736494882, -17.816764802288663 ],
[ 2603.3178766284827, 772.8726736494882, -19.66876480228866 ],
[ 2604.8684867834395, 771.4313904894723, -19.66876480228866 ]
],
"color": [0, 0, 255], # バウンディングボックスの RGB 色
"label": "car", # バウンディングボックスに表示される文字列
"score": 0.6 # バウンディングボックスに表示される数値
}],
vectors = [
{"start": [0, 0, 0], "end": [0.1, 0.2, 0.5], "color": [255, 0, 0]}, # 色は任意
],
point_cloud_type = "lidar/beta",
)})
```
ポイントクラウドの表示中は、Controlキーを押したままマウスを使って空間内を移動できます。
#### 点群ファイル
点群データを含む JSON ファイルは、[`from_file` method](/ja/models/ref/python/#from_file)を使用して読み込めます。
```python theme={null}
run.log({"my_cloud_from_file": wandb.Object3D.from_file(
"./my_point_cloud.pts.json"
)})
```
ポイントクラウドデータのフォーマット例を以下に示します。
```json theme={null}
{
"boxes": [
{
"color": [
0,
255,
0
],
"score": 0.35,
"label": "My label",
"corners": [
[
2589.695869075582,
760.7400443552185,
-18.044831294622487
],
[
2590.719039645323,
762.3871153874499,
-18.044831294622487
],
[
2590.719039645323,
762.3871153874499,
-19.54083129462249
],
[
2589.695869075582,
760.7400443552185,
-19.54083129462249
],
[
2594.9666662674313,
757.4657929961453,
-18.044831294622487
],
[
2595.9898368371723,
759.1128640283766,
-18.044831294622487
],
[
2595.9898368371723,
759.1128640283766,
-19.54083129462249
],
[
2594.9666662674313,
757.4657929961453,
-19.54083129462249
]
]
}
],
"points": [
[
2566.571924017235,
746.7817289698219,
-15.269245470863748,
76.5,
127.5,
89.46617199365393
],
[
2566.592983606823,
746.6791987335685,
-15.275803826279521,
76.5,
127.5,
89.45471117247024
],
[
2566.616361739416,
746.4903185513501,
-15.28628929674075,
76.5,
127.5,
89.41336375503832
]
],
"type": "lidar/beta"
}
```
#### NumPy 配列
[上で定義した配列形式と同じ形式](#numpy-array-formats)を使用すると、[`from_numpy` method](/ja/models/ref/python/#from_numpy)で`numpy`配列を直接使用してポイントクラウドを定義できます。
```python theme={null}
run.log({"my_cloud_from_numpy_xyz": wandb.Object3D.from_numpy(
np.array(
[
[0.4, 1, 1.3], # x, y, z
[1, 1, 1],
[1.2, 1, 1.2]
]
)
)})
```
```python theme={null}
run.log({"my_cloud_from_numpy_cat": wandb.Object3D.from_numpy(
np.array(
[
[0.4, 1, 1.3, 1], # x, y, z, category
[1, 1, 1, 1],
[1.2, 1, 1.2, 12],
[1.2, 1, 1.3, 12],
[1.2, 1, 1.4, 12],
[1.2, 1, 1.5, 12],
[1.2, 1, 1.6, 11],
[1.2, 1, 1.7, 11],
]
)
)})
```
```python theme={null}
run.log({"my_cloud_from_numpy_rgb": wandb.Object3D.from_numpy(
np.array(
[
[0.4, 1, 1.3, 255, 0, 0], # x, y, z, r, g, b
[1, 1, 1, 0, 255, 0],
[1.2, 1, 1.3, 0, 255, 255],
[1.2, 1, 1.4, 0, 255, 255],
[1.2, 1, 1.5, 0, 0, 255],
[1.2, 1, 1.1, 0, 0, 255],
[1.2, 1, 0.9, 0, 0, 255],
]
)
)})
```
```python theme={null}
run.log({"protein": wandb.Molecule("6lu7.pdb")})
```
次の10種類のファイル形式のいずれかで分子データをログできます：`pdb`、`pqr`、`mmcif`、`mcif`、`cif`、`sdf`、`sd`、`gro`、`mol2`、`mmtf`。
W\&B は、SMILES 文字列、[`rdkit`](https://www.rdkit.org/docs/index.html) の `mol` ファイル、および `rdkit.Chem.rdchem.Mol` オブジェクトから分子データをログすることもサポートしています。
```python theme={null}
resveratrol = rdkit.Chem.MolFromSmiles("Oc1ccc(cc1)C=Cc1cc(O)cc(c1)O")
run.log(
{
"resveratrol": wandb.Molecule.from_rdkit(resveratrol),
"green fluorescent protein": wandb.Molecule.from_rdkit("2b3p.mol"),
"acetaminophen": wandb.Molecule.from_smiles("CC(=O)Nc1ccc(O)cc1"),
}
)
```
run が終了すると、UI で分子の 3D 可視化をインタラクティブに操作できるようになります。
[AlphaFold を使ったライブデモを見る](https://wandb.me/alphafold-workspace)
### PNG 画像
[`wandb.Image`](/ja/models/ref/python/data-types/image) は、デフォルトで `numpy` 配列または `PILImage` のインスタンスを PNG に変換します。
```python theme={null}
run.log({"example": wandb.Image(...)})
# または複数の画像
run.log({"example": [wandb.Image(...) for img in images]})
```
### 動画
動画のログには、[`wandb.Video`](/ja/models/ref/python/)データ型を使用します。
```python theme={null}
run.log({"example": wandb.Video("myvideo.mp4")})
```
メディアブラウザーで動画を表示できるようになりました。プロジェクトのワークスペース、run のワークスペース、または レポート に移動し、**Add visualization** をクリックしてリッチメディアパネルを追加します。
## 分子の2D表示
[`wandb.Image`](/ja/models/ref/python/data-types/image) データタイプと [`rdkit`](https://www.rdkit.org/docs/index.html) を使用すると、分子の2D表示をログできます。
```python theme={null}
molecule = rdkit.Chem.MolFromSmiles("CC(=O)O")
rdkit.Chem.AllChem.Compute2DCoords(molecule)
rdkit.Chem.AllChem.GenerateDepictionMatching2DStructure(molecule, molecule)
pil_image = rdkit.Chem.Draw.MolToImage(molecule, size=(300, 300))
run.log({"acetic_acid": wandb.Image(pil_image)})
```
## その他のメディア
W\&B では、他にもさまざまな種類のメディアをログできます。
### オーディオ
```python theme={null}
run.log({"whale songs": wandb.Audio(np_array, caption="OooOoo", sample_rate=32)})
```
1 stepあたり、最大100件のオーディオクリップをログできます。詳しい使用方法については、[`audio-file`](/ja/models/ref/query-panel/audio-file)を参照してください。
### 動画
```python theme={null}
run.log({"video": wandb.Video(numpy_array_or_path_to_video, fps=4, format="gif")})
```
numpy 配列が指定された場合、次元の順序は time、channels、width、height であるとみなされます。デフォルトでは 4 fps の GIF 画像を作成します (numpy オブジェクトを渡す場合は [`ffmpeg`](https://www.ffmpeg.org) と Python ライブラリの [`moviepy`](https://pypi.org/project/moviepy/) が必要です) 。サポートされる形式は `"gif"`、`"mp4"`、`"webm"`、`"ogg"` です。`wandb.Video` に文字列を渡した場合は、wandb にアップロードする前に、そのファイルが存在し、サポートされる形式であることを確認します。`BytesIO` オブジェクトを渡すと、指定した形式を拡張子とする一時ファイルが作成されます。
W\&B の [Run](/ja/models/runs/) ページおよび [プロジェクト](/ja/models/track/project-page/) ページでは、メディアセクションに動画が表示されます。
使用方法の詳細については、[`video-file`](/ja/models/ref/query-panel/video-file) を参照してください。
### テキスト
`wandb.Table` を使用して表にテキストをログすると、UI に表示されます。デフォルトの列ヘッダーは `["Input", "Output", "Expected"]` です。最適な UI パフォーマンスを確保するため、デフォルトの最大行数は 10,000 に設定されています。ただし、`wandb.Table.MAX_ROWS = {DESIRED_MAX}` を使用してこの最大値を明示的に上書きできます。
```python theme={null}
with wandb.init(project="my_project") as run:
columns = ["Text", "Predicted Sentiment", "True Sentiment"]
# 方法 1
data = [["I love my phone", "1", "1"], ["My phone sucks", "0", "-1"]]
table = wandb.Table(data=data, columns=columns)
run.log({"examples": table})
# 方法 2
table = wandb.Table(columns=columns)
table.add_data("I love my phone", "1", "1")
table.add_data("My phone sucks", "0", "-1")
run.log({"examples": table})
```
pandas の `DataFrame` オブジェクトを渡すこともできます。
```python theme={null}
table = wandb.Table(dataframe=my_dataframe)
```
詳しい使用方法については、[`string`](/ja/models/ref/query-panel/)を参照してください。
### HTML
```python theme={null}
run.log({"custom_file": wandb.Html(open("some.html"))})
run.log({"custom_string": wandb.Html('Link ')})
```
任意のキーにカスタム HTML をログすると、run ページに HTML パネルを表示できます。デフォルトでは標準のスタイルが挿入されますが、`inject=False` を渡すと無効にできます。
```python theme={null}
run.log({"custom_file": wandb.Html(open("some.html"), inject=False)})
```
詳しい使用方法については、[`html-file`](/ja/models/ref/query-panel/html-file)を参照してください。
画像は、NumPy 配列、PIL 画像、またはファイルシステムから直接ログできます。
step から画像をログするたびに、その画像を UI で利用できます。画像パネルを展開し、step スライダーを使って異なる step の画像を確認してください。これにより、トレーニング中にモデルの出力がどのように変化するかを簡単に比較できます。メディアパネルをクリックすると、画像を全画面モードで表示できます。全画面モードでは、[キーボードショートカット](/ja/models/app/keyboard-shortcuts#media-panels)を使った操作を含め、ズームやパンが可能です。
異なる Runs、step、またはインデックスの画像や動画を 1 つのビューで比較するには、メディアパネルで [Compare mode](/ja/models/app/features/panels/media#compare-mode) を使用します。
オーバーレイをログするには、次のキーと値を含む辞書を `wandb.Image` の `masks` キーワード引数に指定します。
* 画像マスクを表す、次の 2 つのキーのいずれか 1 つ:
* `"mask_data"`: 各ピクセルの整数クラスラベルを含む 2 次元 NumPy 配列
* `"path"`: (文字列) 保存済みの画像マスクファイルへのパス
* `"class_labels"`: (任意) 画像マスク内の整数クラスラベルを、わかりやすいクラス名に対応付ける辞書
複数のマスクをログするには、以下のコードスニペットのように、複数のキーを含むマスク辞書をログします。
[実際の例を見る](https://app.wandb.ai/stacey/deep-drive/reports/Image-Masks-for-Semantic-Segmentation--Vmlldzo4MTUwMw)
[サンプルコード](https://colab.research.google.com/drive/1SOVl3EvW82Q4QKJXX6JtHye4wFix_P4J)
```python theme={null}
mask_data = np.array([[1, 2, 2, ..., 2, 2, 1], ...])
class_labels = {1: "tree", 2: "car", 3: "road"}
mask_img = wandb.Image(
image,
masks={
"predictions": {"mask_data": mask_data, "class_labels": class_labels},
"ground_truth": {
# ...
},
# ...
},
)
```
あるキーのセグメンテーションマスクは、各step (`run.log()` の各call) で定義されます。
* 同じマスクキーに対してstepごとに異なる値が指定されている場合、画像に適用されるのはそのキーの最新の値だけです。
* stepごとに異なるマスクキーが指定されている場合、各キーのすべての値が表示されますが、画像に適用されるのは、現在表示しているstepで定義されているものだけです。そのstepで定義されていないマスクの表示/非表示を切り替えても、画像は変わりません。
[ライブ例を見る](https://app.wandb.ai/stacey/yolo-drive/reports/Bounding-Boxes-for-Object-Detection--Vmlldzo4Nzg4MQ)
バウンディングボックスをログするには、次のキーと値を含む辞書を `wandb.Image` の `boxes` キーワード引数に指定する必要があります。
* `box_data`: 各ボックスに対応する辞書のリストです。ボックス辞書の形式は以下で説明します。
* `position`: 以下で説明する 2 つの形式のいずれかで、ボックスの位置とサイズを表す辞書です。すべてのボックスで同じ形式を使用する必要はありません。
* *Option 1:* `{"minX", "maxX", "minY", "maxY"}`。各ボックスの各次元の上限と下限を定義する座標のセットを指定します。
* *Option 2:* `{"middle", "width", "height"}`。`middle` 座標を `[x,y]`、`width` と `height` をスカラーとして指定する座標のセットを指定します。
* `class_id`: ボックスのクラスのアイデンティティを表す整数です。以下の `class_labels` キーを参照してください。
* `scores`: スコア用の文字列ラベルと数値の辞書です。UIでボックスをフィルタリングするために使用できます。
* `domain`: ボックス座標の単位/形式を指定します。ボックス座標が画像サイズの範囲内の整数など、ピクセル空間で表されている場合は、**これを "pixel" に設定してください**。デフォルトでは、domain は画像に対する比率/パーセンテージで、0 から 1 の間の浮動小数点数として表されるものと見なされます。
* `box_caption`: (optional) このボックス上にラベルテキストとして表示される文字列です
* `class_labels`: (optional) `class_id` を文字列に対応付ける辞書です。デフォルトでは `class_0`、`class_1` などのクラスラベルが生成されます。
次の例を参照してください。
```python theme={null}
import wandb
class_id_to_label = {
1: "car",
2: "road",
3: "building",
# ...
}
img = wandb.Image(
image,
boxes={
"predictions": {
"box_data": [
{
# デフォルトの相対/分数ドメインで表現された1つのボックス
"position": {"minX": 0.1, "maxX": 0.2, "minY": 0.3, "maxY": 0.4},
"class_id": 2,
"box_caption": class_id_to_label[2],
"scores": {"acc": 0.1, "loss": 1.2},
# ピクセルドメインで表現された別のボックス
# (説明のためのみ。実際にはすべてのボックスが
# 同じドメイン/形式になる可能性が高い)
"position": {"middle": [150, 20], "width": 68, "height": 112},
"domain": "pixel",
"class_id": 3,
"box_caption": "a building",
"scores": {"acc": 0.5, "loss": 0.7},
# ...
# 必要な数だけボックスをログする
}
],
"class_labels": class_id_to_label,
},
# 意味のあるボックスのグループをそれぞれ一意のキー名でログする
"ground_truth": {
# ...
},
},
)
with wandb.init(project="my_project") as run:
run.log({"driving_scene": img})
```
表 にセグメンテーションマスクをログするには、表の各行ごとに `wandb.Image` オブジェクトを指定する必要があります。
以下のコードスニペットに例を示します。
```python theme={null}
table = wandb.Table(columns=["ID", "Image"])
for id, img, label in zip(ids, images, labels):
mask_img = wandb.Image(
img,
masks={
"prediction": {"mask_data": label, "class_labels": class_labels}
# ...
},
)
table.add_data(id, mask_img)
with wandb.init(project="my_project") as run:
run.log({"Table": table})
```
表 にバウンディングボックス付き画像をログするには、表の各行ごとに `wandb.Image` オブジェクトを指定する必要があります。
以下のコードスニペットに例を示します。
```python theme={null}
table = wandb.Table(columns=["ID", "Image"])
for id, img, boxes in zip(ids, images, boxes_set):
box_img = wandb.Image(
img,
boxes={
"prediction": {
"box_data": [
{
"position": {
"minX": box["minX"],
"minY": box["minY"],
"maxX": box["maxX"],
"maxY": box["maxY"],
},
"class_id": box["class_id"],
"box_caption": box["caption"],
"domain": "pixel",
}
for box in boxes
],
"class_labels": class_labels,
}
},
)
```
