高解像度セグメンテーションを birefnet

ニュース 📰

• Sep 23, 2025: トレーニングおよび推論時のメモリ負荷を軽減するため、注意経路を公式のPyTorch SDPA実装で刷新しました。
• Jun 30, 2025: GPU支援による高速推定経路と、よりクリーンな配列前処理により、前景の精密化を高速化しました。
• May 15, 2025: ガイド付きの手順を好む方に向けて、カスタムデータでbirefnetをファインチューニングする録画チュートリアルを公開しました。
• Mar 31, 2025: 動的モデル経路を、次の解像度範囲に拡張しました。 256x256 から 2304x2304 より堅牢な汎用利用に対応します。
• Feb 12, 2025: より柔らかなエッジと自然な遷移を必要とするワークフロー向けに、高解像度のマッティングバリアントが追加されました。
• Feb 1, 2025: 高解像度の汎用モデルが、次を中心とした学習で公開されました： 2048x2048 画像。
• Jan 6, 2025: 対応GPUでは、品質をほぼ維持したままメモリ使用量を削減できるFP16推論が検証されました。
• Dec 5, 2024: 最新のPyTorchコンパイルおよび高速混合精度トレーニングに対応する修正が適用されました。
• Nov 28, 2024: birefnetを使って構築された学生プロジェクトが、全国規模のイノベーションコンテストで評価されました。
• Oct 26, 2024: ドキュメントに、カスタムデータセットで既存の重みをファインチューニングするための専用ガイドが追加されました。
• Oct 6, 2024: 汎用的な前景ワークフロー向けに、トライマップ不要のマッティング重みが追加されました。
• Sep 24, 2024: 高解像度入力に対応する軽量な2Kモデルと動画推論ノートブックが公開されました。
• Aug 30, 2024: チュートリアルフォルダーに、ローカル推論とONNX変換用のノートブックが追加されました。
• Aug 23, 2024: 研究成果が正式にオンライン公開されるとともに、公開プロジェクトもリリースされました。
• Aug 19, 2024: 利用可能な重みのONNXモデルファイルが、変換に関する注記とともにまとめられました。
• Jul 28, 2024: より細かく対象を選択できるよう、ボックスガイド付きセグメンテーションの例が追加されました。
• Jul 15, 2024: 最初の実験をより迅速に始められるよう、1行でのモデル読み込みがドキュメント化されました。
• May 28, 2024: モデルズーが拡張され、汎用利用、マッティング、DIS、HRSOD、COD向けの重みが追加されました。
• May 7, 2024: バッチ実験向けに、複数画像推論ノートブックが公開されました。
• Mar 7, 2024: トレーニングコード、評価ユーティリティ、タスク固有の重みが公開プロジェクトに整理されました。
• Jan 7, 2024: 原著論文と初期実装が公開されました。

🚀 birefnetを次で読み込む： ONE LINE

from transformers import AutoModelForImageSegmentation
birefnet = AutoModelForImageSegmentation.from_pretrained(
    "birefnet/model",
    trust_remote_code=True
)

🛬 推論パートナー：

birefnetの推論ワークフローには、次の モデルワークスペース または、デプロイ用の手順を使って独自の環境をセットアップしてください。

• birefnetの推論ワークフローを開く
• デプロイ用ワークスペースを準備する

推論用のオンラインデモをお試しください：

• 推論と評価 選択した重みの 評価ワークフローを開く
• GUIを使ったオンライン推論 と調整可能な解像度： ビジュアルワークスペースを開く
• 複数画像の推論 小規模なバッチの場合： バッチワークフローを開く

受賞歴：

birefnetを中心に、優れた学生プロジェクトやコミュニティプロジェクトがいくつも構築されています。

コミュニティプロジェクトの評価

モデル動物園

より幅広い実用に向けて、元の研究実装を、さまざまな画像サイズ、タスク、デプロイ制約に対応するモデルバリアントへと拡張しています。

パッケージ化されたデータセットとバックボーンの重みはタスクごとに整理されているため、既知のベースラインから実験を開始できます。

性能ログと予測マップは、対応する実験設定とともに保存されています。

第三者による制作物

複数のコミュニティ製アプリケーションが、birefnetをバックエンドやノードとして使用しています。以下の例も、元のプロジェクトと同じく、まずクリックして試せる実用的なスタイルを踏襲しています。

1. アプリケーション

   背景消去ツール: 軽量版のbirefnetを使い、ブラウザーで写真の背景を削除するシンプルなワークフローです。

   ワークフローを開く

   

   ブラウザー内での背景削除: 画像をデバイス上に保持したまま、ブラウザー内でマスクを生成するローカル優先のインターフェースです。

   ワークフローを開く

   

   柔軟な推論ワークフロー: 画像入力、モデル設定、仕上げ処理、出力プレビューをつなぐビジュアルパイプラインです。

   ワークフローを開く

   

   ComfyUI連携: ノードベースのパネルにより、ビジュアルワークフロー内でセグメンテーションとマスク変換を利用できます。

   ワークフローを開く

   

   動画切り抜きサービス: birefnetを、短い動画の背景を削除するワークフローで前景抽出エンジンとして使用できます。

   ワークフローを開く

   

   Invokeスタイルのノード: シンプルな画像プリミティブから背景削除ノードに画像を渡し、必要に応じて前景を調整できます。

   ワークフローを開く

   

   2Dアセット生成: 前景抽出とクリエイティブツールを組み合わせ、デザインやプリビズに使えるきれいな切り抜きアセットを作成します。

   ワークフローを開く

   

   被写体の背後に文字を配置するエフェクト: 前景を抽出することで、被写体と元の背景の間に文字を配置できます。

   ワークフローを開く

   

   Stable Diffusion ユーティリティ：モデルパネルにより、マスクと透明出力ビューを備えた画像生成ワークフローに前景抽出を追加できます。

   ワークフローを開く

   

   オンラインモデルプレイグラウンド：入力と結果に集中した画面で、ローカル環境を構築せずに便利なコントロールを利用できます。

   ワークフローを開く

   

2. モデル拡張

   アニメ向け前景モデル：ファインチューニングしたデータにより、髪、リボン、衣装の輪郭などが重要なイラストキャラクターやスタイライズドアートにbirefnetを適応できます。

   拡張機能を探す

   

   軽量な推論：代替ランタイムとコンパクトな形式により、コンシューマー向けハードウェアにセグメンテーションを導入しやすくなります。

   image_data image = image_load("input.png");
   backend_device device = backend_init();
   birefnet_model model = birefnet_load_model("BiRefNet-F16", device);
   image_data mask = birefnet_compute(model, image);

   より高品質なプライベートデータ：タスク固有のトレーニングにより、特に多様なシーンや難しい物体の境界において、二値前景マスクの品質を向上できます。

   拡張機能を探す

   

3. さらに多くの視覚比較

   左右に並べた比較により、商品シーン、ポートレート、細部まで描かれた前景の輪郭でbirefnetがどのように動作するかを確認できます。

   

   動画比較では、連続性、シルエットの安定性、小さく動くディテールの保持に焦点を当てています。

   

使用方法

環境構築

# PyTorch >= 2.5.0 is used for faster training with compilation.
conda create -n birefnet python=3.11 -y && conda activate birefnet
pip install -r requirements.txt

データセットの準備

DIS、COD、HRSOD用に整理されたトレーニングセットとテストセットの統合データをダウンロードするか、公式のソースデータセットを single_ones フォルダーで使用します。各タスク内で画像フォルダーとグラウンドトゥルースフォルダーの対応を維持してください。

重みの準備

トレーニングまたはローカル推論を開始する前に、モデルワークスペースまたは公式プロジェクトページからバックボーンの重みをダウンロードしてください。

実行

# Train & Test & Evaluation
./train_test.sh RUN_NAME GPU_NUMBERS_FOR_TRAINING GPU_NUMBERS_FOR_TEST
# Example: ./train_test.sh tmp-proj 0,1,2,3 0

# See train.sh / test.sh for only training or evaluation.
# After evaluation, use gen_best_ep.py to select the best checkpoint.

🖊️ カスタムデータでのファインチューニング

録画チュートリアルでは、データセットの配置からチェックポイントの選択まで、birefnet のファインチューニング手順を説明しています。

1. 前提条件：データセットを配置する場所： ${data_root_dir}/TASK_NAME/DATASET_NAME。各データセット内に im と gt フォルダーを配置します。
2. 既存のタスクを変更する：プロジェクト全体で既存のタスク名をカスタムタスク名に置き換えます。
3. 設定を調整する： sys_home_dir, testsets, training_set とタスク用の損失の重みを更新します。
4. 既存の重みを使用する：チェックポイントから再開し、ファイル名に含まれる番号からエポック範囲を続行します。
5. 結果を検証する：チェックポイントを本番ワークフローに昇格させる前に、検証セット上のマスクを比較します。

十分にトレーニングされた重み：

モデルワークスペースおよびリリースコレクションから BiRefNet-{TASK}-{EPOCH}.pth ファイルをダウンロードしてください。予測マップ、パフォーマンスの概要、トレーニングログは、対応する実験設定と同じ場所に保存されます。

結果はハードウェアやトレーニング設定によって多少異なる場合があります。推論には1台の十分な性能を持つGPUで 1024x1024も対応できますが、高解像度のトレーニングにはより多くのメモリが有効です。

GPUを追加で利用できる場合は、バッチサイズを増やし、 config.py でデバイスIDを設定して、シングルカードからマルチカードのトレーニングへスムーズに移行できます。

メッセージの一部：

このプロジェクトはDISの実装として始まり、バイナリ画像セグメンテーションのための、より幅広いツールキットへと発展しました。タスク設定を慎重に調整することで、DIS、COD、SOD、医用画像、異常セグメンテーションに対応できます。

• マルチGPUトレーニングは、1つの設定で有効または無効にできます。
• バックボーンには、Swinの各種バリアント、PVTの各種バリアント、畳み込みネットワークを選択できます。
• 重み付き損失には、BCE、IoU、SSIM、MAE、回帰指向の項が含まれます。
• トレーニングの工夫には、マルチスケール監督、バックボーンの凍結、マルチスケール入力が含まれます。
• データコレーターは、データセットをメモリ上で結合し、協調的なトレーニングとテストを行えます。
• 目標は、新たな画像セグメンテーション研究に再利用できる基盤を構築することです。

定量的結果

ベンチマークの概要では、高解像度および低解像度のデータセットにおいて、birefnetと既存手法を比較しています。

定性的結果

視覚的な比較では、細い構造、部分的な遮蔽、反復パターン、カモフラージュに焦点を当てています。

謝辞：

高解像度のビジュアル研究をより身近なものにするために尽力してくださった企業、研究機関、コミュニティの貢献者の皆さまに、心より感謝申し上げます。

• コンピューティングおよびインフラストラクチャのパートナー.
• データセットおよび評価への貢献者.
• オープンソースランタイムのメンテナー.
• コミュニティアプリケーションの開発者.

引用

@article{birefnet2024,
  title={Bilateral Reference for High-Resolution Dichotomous Image Segmentation},
  author={Birefnet Research Team},
  journal={CAAI Artificial Intelligence Research},
  volume={3},
  pages={9150038},
  year={2024}
}

お問い合わせ

質問、ディスカッション、実装に関するメモは、プロジェクトのワークスペースで共有できます。ガイド付きで始めるには、 birefnetワークフロー を使用し、自分の画像またはプロンプトを用意してください。