실험 추적
모델 학습을 위한
기록 시스템
5줄의 코드로 ML 모델을 추적, 비교 및 시각화하세요
스크립트에 몇 줄만 추가하면 실험 로깅을 빠르고 쉽게 구현하고 결과를 기록할 수 있습니다. 저희의 경량 통합은 모든 Python 스크립트에서 작동합니다.
라이브 노트북 확인하기
# Flexible integration for any Python script
import wandb
# 1. Start a W&B run
wandb.init(project='gpt3')
# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01
# Model training here
# 3. Log metrics over time to visualize performance
wandb.log({"loss": loss})
import wandb
# 1. Start a W&B run
wandb.init(project='gpt3')
# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01
# Model training here
# 3. Log metrics over time to visualize performance
with tf.Session() as sess:
# ...
wandb.tensorflow.log(tf.summary.merge_all())
import wandb
# 1. Start a new run
wandb.init(project="gpt-3")
# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01
# 3. Log gradients and model parameters
wandb.watch(model)
for batch_idx, (data, target) in
enumerate(train_loader):
if batch_idx % args.log_interval == 0:
# 4. Log metrics to visualize performance
wandb.log({"loss": loss})
import wandb
from wandb.keras import WandbCallback
# 1. Start a new run
wandb.init(project="gpt-3")
# 2. Save model inputs and hyperparameters
config = wandb.config
config.learning_rate = 0.01
... Define a model
# 3. Log layer dimensions and metrics over time
model.fit(X_train, y_train, validation_data=(X_test, y_test),
callbacks=[WandbCallback()])
import wandb
wandb.init(project="visualize-sklearn")
# Model training here
# Log classifier visualizations
wandb.sklearn.plot_classifier(clf, X_train, X_test, y_train, y_test, y_pred, y_probas, labels, model_name='SVC', feature_names=None)
# Log regression visualizations
wandb.sklearn.plot_regressor(reg, X_train, X_test, y_train, y_test, model_name='Ridge')
# Log clustering visualizations
wandb.sklearn.plot_clusterer(kmeans, X_train, cluster_labels, labels=None, model_name='KMeans')
# 1. Import wandb and login
import wandb
wandb.login()
wandb.login()
# 2. Define which wandb project to log to and name your run
wandb.init(project="gpt-3", run_name='gpt-3-base-high-lr')
# 3. Add wandb in your Hugging Face `TrainingArguments`
args = TrainingArguments(... , report_to='wandb')
# 4. W&B logging will begin automatically when your start training your Trainer
trainer = Trainer(... , args=args)
trainer.train()
trainer.train()
import wandb
# 1. Start a new run
wandb.init(project="visualize-models", name="xgboost")
# 2. Add the callback
bst = xgboost.train(param, xg_train, num_round, watchlist, callbacks=[wandb.xgboost.wandb_callback()])
# Get predictions
pred = bst.predict(xg_test)
모든 실험을 시각화하고 비교하세요
인터렉티브 그래프와 테이블로 실시간 스트리밍되는 모델 메트릭을 확인하세요. 어디에서 모델 학습을 진행하든 상관없이, 이전 실험과 비교하여 최신 ML 모델의 성능을 쉽게 확인할 수 있습니다.
이전 모델의 체크포인트를 빠르게 찾아 다시 실행하세요
W&B의 실험 추적 기능은 나중에 모델을 재현하는 데 필요한 최신 Git 커밋, 하이퍼 파라미터, 모델 가중치, 심지어 샘플 테스트 예측까지 모두 저장합니다. 실험 파일 및 데이터세트를 W&B에 직접 저장하거나 포인터를 자체 스토리지에 저장할 수 있습니다.
import wandb
from transformers import DebertaV2ForQuestionAnswering
from transformers import DebertaV2ForQuestionAnswering
# 1. Create a wandb run
run = wandb.init(project='turkish-qa')
# 2. Connect to the model checkpoint you want on W&B
wandb_model = run.use_artifact('sally/turkish-qa/deberta-v2:v5')
# 3. Download the model files to a directory
model_dir = wandb_model.download()
# 4. Load your model
model = DebertaV2ForQuestionAnswering.from_pretrained(model_dir)
Stacey Svetlichnaya의 “When Inception-ResNet-V2 is too slow”에서 발췌
CPU 및 GPU 사용량을 모니터링하세요
GPU 사용률과 같은 실시간 메트릭을 시각화하여 학습 병목 현상을 식별하고 값비싼 리소스 낭비를 방지합니다.
실시간으로 성능을 디버깅하세요
학습 중에 모델의 성능을 확인하고 문제 영역을 식별합니다. 이미지, 비디오, 오디오, 3D 오브젝트를 포함한 리치 미디어를 지원합니다.
Nicholas Bardy의 "Visualizing Molecular Structure with Weights & Biases"에서 복합체 N3의 COVID-19 주요 프로테아제(왼쪽)와 Z31792168 복합체 COVID-19 주요 프로테아제(오른쪽)
중복 제거를 통한 데이터세트 버전 관리 100GB 무료 스토리지
Weights & Biases는 백그라운드에서 차별화 및 중복 제거 작업을 처리하여 기록된 데이터세트의 버전을 자동으로 지정합니다.
어디서나 가능한 엑세스
데스크톱과 모바일에서 최신 학습 모델과 결과를 확인할 수 있습니다. 협업 호스팅 프로젝트를 사용하여 팀 전체에서 조정할 수 있습니다.
W&B 리포트를 사용한 디버깅의 과학
By Sarah Jane of Latent Space
저희는 Weights & Biases를 서로의 작업을 토대로 구축할 수 있도록 결과와 학습 내용을 공유하는 방법으로 활용합니다. W&B 리포트 기능은 팀에서 가장...
리포트 보기
프로젝트 전반에 걸친 매끄러운 진행 상황 공유
경량 기록 시스템으로 팀 프로젝트를 관리하세요. 모든 실험이 철저하게 자동으로 문서화되고 한곳에 저장되면 프로젝트를 쉽게 전달할 수 있습니다.