Skip to content

Latest commit

 

History

History
511 lines (394 loc) · 32.4 KB

File metadata and controls

511 lines (394 loc) · 32.4 KB

FramePack-eichi 拡張ドキュメント | English | 繁體中文 | Русский

このドキュメントはFramePack-eichiのメインREADMEの詳細版として、各機能や設定の詳細情報を提供します。より実践的な使用方法については使用ガイド、更新履歴は更新履歴もご参照ください。

🌟 高度な設定

モデル選択(v1.9.1で追加)

  • F1モデル: 順生成方式、よりダイナミックな動き、簡単な操作
  • 無印モデル: 逆生成方式、精密な制御、多機能

F1モデルの特徴と利点

  • 順生成方式: 通常の生成方向(最初から最後へ)で直感的な動きを生成
  • シンプルなインターフェース: セクション(キーフレーム画像)とFinal(endframe)機能を省略
  • 動きの豊かさ: 無印版よりもダイナミックな動きを生成しやすい
  • 初心者向け: 設定項目が少なく、直感的に操作可能
  • Image影響度: 初回セクションのImageからの変化を抑える機能(100.0%~102.0%の範囲で設定可能)

無印モデルの特徴と利点

  • 逆生成方式: 最終フレームから逆算して生成する独自の手法
  • 多機能インターフェース: 詳細な設定が可能な複雑なUI
  • キーフレーム制御: Image、Final、セクション画像による細かな制御
  • 上級者向け: 詳細な設定による高度な制御が可能

キーフレーム設定 ※nirvash氏追加機能

  • Image: メインの開始キーフレーム
  • Final Frame: 最終フレーム(オプション)
  • セクション設定: 各セクションのキーフレーム画像とプロンプトを個別設定可能

キーフレーム自動コピー機能 ※v1.7で強化

  • 赤枠(セクション0): 偶数番号セクション(0,2,4,6...)に自動コピー
  • 青枠(セクション1): 奇数番号セクション(1,3,5,7...)に自動コピー
  • チェックボックスでオン/オフ切替可能
  • これにより2つのキーフレーム設定だけで全セクションをカバー可能

セクションごとのプロンプト ※v1.2で追加【試験実装】

  • 各セクションに個別のプロンプトを設定可能
  • セクション固有のプロンプトは、そのセクションの生成時のみ使用される
  • 空白の場合は共通プロンプトが使用される
  • 注意: この機能は試験実装であり、効果の保証はできません

PNGメタデータ機能 ※v1.9.1で追加

  • 生成画像にプロンプト、シード値、セクション情報を自動的に埋め込み
  • 保存された画像から設定を再取得可能
  • SD系ツールとの互換性を持つ標準的なメタデータ形式
  • 画像共有時に設定情報も一緒に共有可能

FP8最適化 ※v1.9.1で追加

  • 8ビット浮動小数点形式によるLoRA適用時のVRAM使用量削減
  • RTX 40シリーズGPU向けのscaled_mm最適化によるパフォーマンス向上
  • 通常は無効推奨(一部環境では警告やエラーの可能性あり)

Hunyuan LoRAの設定 ※v1.3で追加、v1.9で大幅改善

  • 「LoRAを使用する」チェックボックス: LoRAの有効/無効を切り替え
  • LoRAファイル選択: 使用するLoRAファイルを選択
  • 適用強度スライダー: LoRAの影響度を0.0〜1.0で調整
  • フォーマット: v1.9からHunyuanVideo形式に統一され、互換性が向上
  • 注意: LoRA使用時はプログレスバーが始まる前に読込のための待ち時間が発生します
  • v1.9ではkohya-ss/FramePack-LoRAReadyのコード導入により、高VRAMモードと低VRAMモードで同じ直接適用方式を使用し、安定性が大幅に向上

出力フォルダ設定 ※v1.2で追加

  • 出力先フォルダ名を指定可能
  • 「保存および出力フォルダを開く」ボタンで、設定保存とフォルダオープンが可能
  • 設定はアプリ再起動時も保持される

MP4圧縮設定 ※v1.6.2で本家からマージ

  • スライダーで0〜100の範囲で設定可能(0=無圧縮、16=デフォルト、高い値=高圧縮・低品質)
  • 数値が小さいほど高品質になりますが、ファイルサイズは大きくなります
  • 黒画面が出る場合は16に設定することで解決できる場合があります

🧠 キーフレーム画像設定の仕組みと考え方

FramePackの動作原理

FramePackの最大の特徴は「未来から過去へ」というユニークな動画生成アプローチにあります。一般的な動画生成AIは最初のフレームから順番に未来へ生成していくため、長い動画になるほど画質の劣化や一貫性の低下が起きてしまいます。

FramePackでは、まず入力画像から最終フレームを生成し、そこから逆方向に各フレームを作成していきます。これにより、長時間の動画でも高い画質と一貫性を維持できます。

F1モデルの場合は、従来の一般的な方向(最初から最後へ)で生成します。 これにより、ダイナミックな動きを生み出しやすくなりましたが、設定の複雑さは大幅に簡略化されています。

FramePack-eichiの拡張機能

FramePack-eichiでは、複数のキーフレーム画像を戦略的に配置することで、さらに品質を向上させています:

  1. 最終セクションの急激な変化を防止:

    • 元のendframeでの初回(最後の1秒)セクションのみの画像セットは、最終セクション(最初の1秒付近)で急に画像が変わる問題がありました
    • FramePack-eichiは、ならば全部のセクションにキーフレーム画像をぶち込んでやろうという安直な力業に出ています
    • 特に重要なキーフレームを赤枠で強調表示し、これらに画像を設定することで、自動コピーするようにしています
    • FramePackは上述の通り、最終セクションから動画を生成するため、セクションの並び及びキーフレーム場増も最後尾から設定する形になります
    • 6秒モードではFramePackが本気を出すのが間に合わず、ループモードのキーフレーム画像までに到達せずにループが終わることもあります
    • 8秒モードでは6秒モードよりも画像の遷移が緩やかになります
    • どちらの場合も(後述の複数シーン用も含む)、差分の画像が大きい程、動きの変化が大きくなり、より滑らかな動きを生成できます
  2. ループ機能の最適化:

    • ループモードでは、最初のキーフレームがFinal Frameに自動コピーされます
    • v1.5.1から入力画像からの通常モードでのコピー処理は停止され、ループモードのみ画像コピーが有効になっています
    • キーフレーム画像1にループの開始姿勢を設定することで、滑らかな循環動画を作成できます
  3. セクションごとのプロンプト設定:※v1.2で追加【試験実装】

    • 各セクションに固有のプロンプトを設定することで、セクションごとに異なる動きや表現を実現
    • 例えば、「歩く」→「座る」→「手を振る」といった動きの変化を自然に表現可能
    • プロンプトの影響は微妙ですが、キーフレーム画像と組み合わせることで効果的
  4. 短時間動画モードの追加:※v1.6.1で追加

    • 1秒、2秒、3秒、4秒の短時間動画モードに対応
    • それぞれのモードに最適化されたセクション数とコピーパターンを設定
    • 短時間での表現に特化した制御が可能に

F1モデルの違い(v1.9.1で追加)

F1モデルでは、従来の無印版と次のような大きな違いがあります:

  1. 順生成アプローチ:

    • 最初のフレームから順に生成するため、より自然な動きの遷移が可能
    • セクション(キーフレーム画像)とFinal(endframe)機能は不要に
  2. インターフェースの簡素化:

    • 「Image」画像のみを設定
    • 「Image影響度」スライダー(100.0%~102.0%)による初回セクションの変化度合いを調整
  3. 操作性と結果:

    • より少ない設定で高品質な結果が得られる
    • 動きが多く、ダイナミックな映像を生成しやすい
    • 操作が簡単で、初心者にも使いやすい

基本的なキーフレーム画像の関係性について(無印版)

Image(入力画像)、Final Frame(最終フレーム)とキーフレーム画像の関係:

  1. 優先順位について:
    • 基本的には、一番最後のセクション以外は、直線に生成した前のセクションの画像を元にします
    • 今回のセクションにキーフレーム画像が設定されている場合はそれを、されていない場合は他の画像から推測される中間状態が使用されます
    • 最終のセクションにキーフレーム画像が設定されている場合、Imageより優先されます。

このような構造により、細かなセクションごとの制御が可能になり、より自然で一貫性のある動きを実現しています。

v1.7での革新:赤枠/青枠キーフレームシステム(無印版)

v1.7ではキーフレーム画像のコピー機能が大幅に改良され、より効率的で直感的なシステムが導入されました:

  1. 赤枠/青枠による視覚的区別:

    • 赤枠(セクション0): すべての偶数番号セクション(0,2,4,6...)に自動コピー
    • 青枠(セクション1): すべての奇数番号セクション(1,3,5,7...)に自動コピー
  2. キーフレーム設定の効率化:

    • わずか2つのキーフレーム設定だけで全セクションをカバー可能に
    • 以前は各セクションに個別に設定する必要があったものが、パターンベースの自動コピーにより大幅に効率化
  3. 動的セクション数への対応:

    • 選択した動画長とフレームサイズに基づいて正確にセクション数を計算
    • 計算されたセクション数に合わせて自動的にコピー先を調整
  4. チェックボックスによる柔軟な制御:

    • キーフレーム自動コピー機能のオン/オフを簡単に切り替え可能
    • 複雑な動画では必要に応じてオフにして、各セクションを個別に制御することも可能

このシステムにより、特に長い動画(10秒以上)の作成時に、キーフレーム設定の手間が大幅に削減されます。

プロンプト設定のコツ

キーフレーム画像と同様に重要なのがプロンプト設定です:

  1. プロンプトの基本構造:

    • 主体 → 動き → その他要素の順で記述すると効果的
    • 例: The character walks gracefully, with clear movements, across the room.
  2. 動きの指定レベル:

    • プロンプトなし: ほとんど動きが生まれません
    • 簡単な動き: moves back and forth, side to side程度でも基本的な動きは生成されます
    • 具体的な動き: dances powerfully, with clear movements, full of energyのように詳細に指定すると、より複雑な動きが生成されます
  3. 注意点:

    • 「ダンス」など大きな動きを表す単語を使うと、予想以上に大げさな動きになることがあります
    • 実用的なプロンプトの例:
      • 穏やかな動き: The character breathes calmly, with subtle body movements.
      • 中程度の動き: The character walks forward, gestures with hands, with natural posture.
      • 複雑な動き: The character performs dynamic movements with energy and flowing motion.
  4. プロンプトの深層構造(LLAMAとCLIPの分離):

    • FramePack内部では、プロンプトが以下の2つの異なるモデルで処理されます:

    • LLAMAモデル(256トークン制限):

      • テキストの詳細な理解と文脈処理を担当
      • ビデオの全体的な内容とシーケンスの制御に使用
      • 文字数目安: 約1000-1300文字(英語)または200-400文字(日本語)
      • シーンの文脈や物語性の制御に関わる
    • CLIPモデル(77トークン制限):

      • 画像とテキストの関連付けに特化したモデル
      • ビデオフレームの具体的な視覚的特徴の生成に影響
      • 文字数目安: 約300-400文字(英語)または50-150文字(日本語)
      • スタイル、被写体、視覚的属性の制御に関わる
  5. 効果的なプロンプト記述のストラテジー:

    • 最初の300-400文字(英語)/50-150文字(日本語):

      • LLAMAとCLIPの両方で処理される重要な「視覚パート」
      • ここには主な視覚的要素、スタイル、被写体、全体的なトーンを記述
      • 例: A young woman with long flowing hair, cinematic lighting, detailed facial features, soft expressions, gentle movements
    • 後半の600-900文字(英語)/150-250文字(日本語):

      • LLAMAのみで処理される「物語パート」
      • ここには動きの詳細、シーンの文脈、シーケンス情報を記述
      • 例: The camera slowly pans from left to right. The woman gradually turns her head, her expressions changing from neutral to a slight smile. There is a sense of emotional buildup as if emotional music is playing in the background.
  6. セクションごとのプロンプト活用法: ※v1.2で追加【試験実装】

    • セクション固有のプロンプトは簡潔に、そのセクションで重要な動きに焦点を当てる
    • 長い文章よりも、明確で具体的な指示が効果的
    • 例: セクション1「歩く動作」、セクション2「座る動作」、セクション3「手を振る動作」
    • 注意: セクションプロンプトの効果は微妙であり、画像設定との組み合わせが重要
  7. F1モデル向けプロンプト(v1.9.1):

    • 動きを明確に指定する表現が特に効果的
    • 感情表現や動きの速度も具体的に指定すると良い結果が得られる
    • 例: A character enthusiastically dancing with dynamic movements, arms swinging freely, head nodding to the rhythm, full of energy and life
  8. LoRAを活用したスタイル調整: ※v1.3で追加【試験実装】

    • LoRAの選択とプロンプトを組み合わせることで、特定のスタイルや表現を強調 ※多分
    • LoRAの効果は適用強度で調整可能(0.1-0.3は微妙な効果、0.5-0.8は顕著な効果)
    • プロンプトとLoRAの選択が一致すると効果が最大化

効果的な差分画像の選択

FramePackの動画生成品質は、キーフレーム画像の選択に大きく左右されます。理想的な差分画像を選ぶために重要なポイント:

  1. 最適な差分レベル:

    • 過度に小さい差分: ほとんど同じ画像(「いわゆる叡智な差分」)を使用すると、ほとんど動きが生成されません
    • 過度に大きい差分: 全く関連性のない画像を使うと、自然な動きにつながりません
    • 理想的な差分: 同じキャラクターの異なるポーズなど、AIが関連性を見出せる程度の変化が最適
  2. 関連性の保持:

    • 例えば単に画像を左右反転させたものは、AIによって全く異なる画像と認識され、自然な動きにつながりません
    • 顔の向き、手の位置、体のポーズなどの変化は理想的な差分要素です
    • 背景や服装は可能な限り一貫性を保つことで、AIがキャラクターの動きに集中できます
    • 奇しくも画像生成AIにて似通ったプロンプトで作成したキャラクターの揺らぎが理想的な差分要素の一つです
  3. 理想的な差分画像の特徴:

    • 同一キャラクターが軽く体勢を変えたもの
    • 表情の微妙な変化(無表情→微笑み、など。ただし、顔の位置が変わらないと動きが弱い)
    • 手や腕の自然な動きを伴うポーズの変化
    • 頭の向きの緩やかな変化
  4. 実験的アプローチ:

    • 差分画像の選択は科学というよりも美術的な側面が強いため、トライ&エラーが重要
    • 始めは似たポーズの差分で試し、徐々に差分の大きさを調整していくのが効果的
    • 成功した組み合わせをメモしておくことで、将来の作品に応用できます
  5. 画像生成AIとの組み合わせ:

    • 理想的な差分画像がない場合、画像生成AIを使って同一キャラクターの異なるポーズを生成するのも有効
    • プロンプトで指定するポーズの変化は控えめにし、大幅な変化は避けることでより自然な動きを実現

このような構造化されたアプローチは、両方のモデルの強みを最大限に活かし、より表現力豊かな動画を生成するのに役立ちます。

F1とImage影響度 vs 無印のEndFrame影響度とオールパディング

F1モデルのImage影響度 (v1.9.1)

F1モデルでは「Image影響度」という新しいパラメータが導入されています:

何に作用するか: これは初回セクションのImageからの変化度合いを直接調整します。

技術的仕組み:

  • 範囲は100.0%~102.0%と非常に狭い範囲で設定
  • 100.0%に設定するとImageに忠実な状態を保持
  • 102.0%に近づくほど動きが少なくなり、ほぼ静止に近づく

効果:

  • 値を100.0%にすると、自然な動きが生成される
  • 値を101.0%前後にすると、初期フレームからの変化が緩やかになる
  • 値を102.0%にすると、ほとんど動きが生成されなくなる

無印版のEndFrame影響度とオールパディング

無印版FramePack-eichiには動画の動きを制御する二つの重要な機能があります。「EndFrame影響度調整」と「オールパディング」です。この二つは一見類似しているように見えますが、動作原理と効果は全く異なります。

1. EndFrame影響度調整(v1.3で導入)

何に作用するか:これは最終フレーム(Final Frame)自体の強さを直接変更します。

技術的仕組み

  • 最終フレームの潜在表現(latent representation)に指定した値を正確に掛け算します
  • コード上では modified_end_frame_latent = end_frame_latent * end_frame_strength として実装されています
  • 値の範囲は0.01~1.00で、1.00がデフォルト(変更なし)です

効果

  • 値を1.0から0.5に下げると、最終フレームの影響力が「全体的に」正確に半分になります
  • 値を0.3にすると、最終フレームの影響力が「全体的に」正確に30%になります
  • 最終フレームの直接的な影響を弱めるため、最初のフレーム(Input Image)の特性がより早く現れるようになります
2. オールパディング(v1.4で導入)

何に作用するか:これは各セクション間の接続方法を変更します。

技術的仕組み

  • 通常、セクション間のパディング値は [3, 2, 2, 2, 1, 0] のように自動計算されます
  • オールパディングを有効にすると、この値が指定した一つの値に統一されます (例: [1.5, 1.5, 1.5, 1.5, 1.5, 0]
  • 値の範囲は0.2~3.0で、1.0が標準的な値です
  • 最終セクション(0番目)は常に0に強制されます

効果

  • 値を1.5など高くすると、各セクションが前のセクションをより強く参照するため、変化が稀になります
  • 値を0.5など低くすると、各セクションが前のセクションをあまり参照しなくなるため、変化が多くなります
  • 変化量の「分布」が変わりますが、全体のフレームの強さは変わりません

EndFrame影響度とオールパディングの選択ガイド

シーンに応じた適切な設定値のガイドライン:

EndFrame影響度の適切な値
  • 大きな差分の画像:0.3〜0.6(緩やかな変化を実現)
  • 中程度の差分:0.5〜0.8(バランスの取れた移行)
  • 小さな差分:0.8〜1.0(標準に近い影響度)
  • 顔の表情変化:0.7〜0.8(自然な表情の移り変わり)
  • 体や手の大きな動き:0.3〜0.5(より自然な中間フレーム)
オールパディングの適切な値
  • 滑らかなトランジション:1.5〜2.0(セクション境界が目立たない純粋な移行)
  • 標準的な動き:1.0(バランスの取れた移行)
  • 活発な動き:0.5〜0.7(各セクションでの変化が大きくなる)
  • 極端な動き:0.2〜0.4(非常に活発で予測不能な動きを生成)
実践的な活用テクニック
  • 影響度0.5 + オールパディング0.5: よりダイナミックな動きが欲しい場合
  • 影響度0.3 + 短時間モード: 素早い変化のループアニメーション作成時
  • 影響度0.8 + 長時間モード: ゆっくりと変化する穏やかな動きの表現
  • 超低影響度(0.01〜0.1): 最終フレームをほぼ無視し、最初のフレームを「目標」とする発想の転換
  • 高いオールパディング値(2.0以上) + 影響度0.5: セクションの境界を目立たずに最終フレームの影響を弱めます

🛠️ 設定情報

基本設定 (Windows用batファイル)

  • ポート設定: --port パラメータ(デフォルト: 8001)

    • WebUIが使用するポート番号
    • 他のアプリケーションと競合する場合は変更してください
  • サーバーアドレス: --server パラメータ(デフォルト: '127.0.0.1')

    • ローカルネットワーク内でアクセスする場合は 0.0.0.0 に変更
  • 自動ブラウザ起動: --inbrowser オプション

    • 起動時に自動的にブラウザを開きます

F1モデル設定(v1.9.1で追加)

  • Image影響度: スライダー(デフォルト: 100.0%)
    • 範囲: 100.0%~102.0%
    • 初回セクションでのImageからの変化度合いを調整
    • 小さい値:より活発な動き(100.0%が標準)
    • 大きい値:より静的な動き(102.0%でほぼ静止)

パフォーマンス設定

  • GPUメモリ保存設定: gpu_memory_preservation スライダー(デフォルト: 10GB) ※既存機能

    • 小さい値 = より多くのVRAMを使用 = 高速処理
    • 大きい値 = より少ないVRAMを使用 = 安定動作
    • 仕組み: 設定値が小さいほどトランスフォーマーモデル用により多くのVRAMを解放
    • 計算方法: VRAM上限(マージン込み)から設定値を引いた残りがツールの使用可能VRAM量(最低6GBは確保)
      • 例: VRAM 16GBの場合、マージンを入れて14GBとすると「14-(10-6)=10GB」を使用
      • 下限値の6GBに設定すると「14-(6-6)=14GB」となり、ほぼ上限まで使用(1セクション約10秒処理時間短縮、メモリスワップリスクあり)
    • 推奨値:
      • 8GB VRAM: 7-8GB
      • 12GB VRAM: 6-8GB
      • 16GB以上: 6GB前後
    • 注意: 他のアプリケーションを同時実行している場合は値を大きくしてください
    • このツールではメモリスワップ対策にバックグラウンドで他の画像生成系ツールが動いていいよう3GBのマージンを確保しています
    • LoRAを使用する場合、更にマージンを用意した方が良いでしょう
  • 高VRAMモード: 自動検出(v1.5.1: 60GB以上、v1.6: 100GB以上の空きVRAMがある場合)※機能改善

    • 有効時: モデルを常にGPUに保持し、メモリ転送のオーバーヘッドを削減
    • 効果: 最大20%の処理速度向上
    • v1.6では基準値が引き上げられ、ほとんどの環境で低VRAMモードが使用されるようになりました
    • 低VRAMモードでも高VRAMモードと同じ直接適用方式が使用され、機能の一貫性が向上しています

FP8最適化設定(v1.9.1で追加)

  • FP8最適化: チェックボックス(デフォルト: 無効)
    • 有効時: 8ビット浮動小数点形式による量子化を適用
    • 効果: VRAM使用量が大幅に削減、RTX 40シリーズGPUでは処理速度も向上
    • 注意: 一部環境では警告やエラーが発生する可能性あり
    • 推奨: 通常は無効、低VRAM環境でのLoRA使用時のみ有効化を検討

生成設定

  • フレームサイズ設定: frame_size ドロップダウンメニュー(デフォルト: 1秒) ※v1.5で追加

    • 0.5秒: 0.5秒分のフレームを生成 セクション回数、処理時間はほぼ倍増します
    • オールバディング0モードで各フレームの画像に差分を与えることで更に激しい動きが可能となります
    • 1秒: 1秒分のフレームを生成
  • ステップ数: steps スライダー(デフォルト: 25) ※既存機能

    • 値を増やすと品質が向上しますが、処理時間も比例して増加
    • 推奨範囲: 20-30(20でもほぼ同等の品質が得られることが多い)
    • 15以下: 明らかな品質低下が発生
  • TeaCache: use_teacache チェックボックス(デフォルト: 有効) ※既存機能

    • 有効: 処理が約15-20%高速化
    • 副作用: 手や指先などの細部表現が若干劣化する場合あり
    • 用途: 一般的な動画生成では有効推奨、細部表現が重要な場合は無効化
  • 乱数シード値: seed 数値入力または「Use Random Seed」チェックボックス ※nirvash氏追加機能

    • 同じシード値 = 再現可能な結果
    • ランダムシード: 毎回異なる動き生成
    • 注意: プロンプトや画像が変わると同じシードでも結果は変化
  • Distilled CFG Scale: gs スライダー(デフォルト: 10.0) ※既存機能

    • 蒸留ガイダンススケール値
    • 小さい値 = より自由な動き(プロンプトからの逸脱増加)
    • 大きい値 = プロンプトに忠実(動きが制限される場合あり)
    • 推奨: デフォルト値の維持(変更は上級者向け)
  • MP4圧縮設定: mp4_crf スライダー(デフォルト: 16) ※v1.6.2で本家からマージ

    • 範囲: 0〜100(0=無圧縮、100=最大圧縮)
    • 数値が小さいほど高品質な動画になるが、ファイルサイズは大きくなる
    • 数値が大きいほど圧縮率が高く、ファイルサイズは小さくなるが、画質は低下
    • 黒画面問題が発生する場合は16に設定することで解決できる場合がある
    • 用途: 保存用なら低い値(0〜10)、Web共有用なら中程度の値(16〜30)

LoRA設定 (v1.3で追加、v1.9で大幅改善)

  • LoRA使用: use_lora チェックボックス(デフォルト: 無効)

    • 有効: LoRAファイルを使用してモデルをカスタマイズ
    • LoRA使用時はカウンターが始まる前の待ち時間が長くなる場合があります
  • LoRAファイル: ファイル選択コンポーネント

    • 使用するLoRAファイルを指定
    • 対応フォーマット: v1.9からHunyuanVideo形式に統一
  • LoRA強度: lora_strength スライダー(デフォルト: 0.8)

    • 範囲: 0.0〜1.0
    • 小さい値: 軽微な効果
    • 大きい値: 強い効果
    • 最適値は各LoRAファイルにより異なります
  • v1.9での改善点

    • kohya-ss/FramePack-LoRAReadyのコード導入により安定性が大幅に向上
    • 高VRAMモードと低VRAMモードの適用方式を統一
    • load_and_apply_lora関数を共通で使用し、コードの複雑さを軽減

フレーム設定

  • 動画長: ラジオボタン + total_second_length スライダー ※独自機能の拡張

    • 1秒: 超短時間動画(約30フレーム @ 30fps)- v1.5.1で追加
    • 2秒: 短時間動画(約60フレーム @ 30fps)- v1.6.1で追加
    • 3秒: 短時間動画(約90フレーム @ 30fps)- v1.6.1で追加
    • 4秒: 短時間動画(約120フレーム @ 30fps)- v1.6.1で追加
    • 6秒: 標準モード(約180フレーム @ 30fps)
    • 8秒: 標準モード(約240フレーム @ 30fps)
    • 10秒: 長時間動画(約300フレーム @ 30fps)
    • 12秒: 長時間動画(約360フレーム @ 30fps)
    • 16秒: 長時間動画(約480フレーム @ 30fps)
    • 20秒: 長時間動画(約600フレーム @ 30fps)
  • キーフレーム自動コピー: enable_keyframe_copy チェックボックス(デフォルト: 無効 - v1.5.1で変更) ※独自機能

    • 有効: キーフレーム画像が他のセクションに自動コピー
    • 無効: 各キーフレームを個別に設定する必要あり
    • 用途: 複雑な動きを設計する上級者は無効にすることもあり

出力設定

  • 出力フォルダ: 出力フォルダ設定欄(デフォルト: 'outputs')※v1.2で追加

    • 生成された動画と画像の保存先
    • 入力欄に直接フォルダ名を入力可能
    • 「保存および出力フォルダを開く」ボタンでフォルダを開ける
    • 設定はJSON形式で保存され、再起動後も維持される
  • セクション静止画保存: save_section_frames チェックボックス(デフォルト: 無効) ※nirvash氏追加機能

    • 有効: 各セクションの最終フレームが静止画として保存
    • 用途: 各セクションの接続部を確認したい場合に有用
  • セクション動画保存: keep_section_videos チェックボックス(デフォルト: 無効) ※独自機能

    • 有効: 各セクションの動画ファイルが保持される、「End」で終了した場合は残ります
    • 無効: 最終的な完成動画のみ保存(中間ファイルは削除)、ゴミ箱に入らないので注意
    • 用途: 各セクションの動きを個別に確認したい場合に有用
  • テンソルデータ保存: チェックボックス(デフォルト: 無効)※v1.8で追加

    • 有効: 生成した動画の潜在表現を.safetensors形式で保存
    • 用途: 後で他の動画と結合する場合や、生成過程を保存する場合に有用

プロンプト管理

  • プリセット保存: 「保存」ボタン

    • 名前を付けて現在のプロンプトを保存
    • 名前を空にして保存すると起動時デフォルトプロンプトとして設定
  • プリセット適用: 「反映」ボタン

    • 選択したプリセットのプロンプトを現在の生成設定に適用
  • プリセット管理:

    • 削除: 不要なプリセットを削除(デフォルトプリセットは削除不可)
    • クリア: 編集フィールドをクリア

PNGメタデータ設定(v1.9.1で追加)

  • メタデータ埋め込み: 自動的に有効
    • 生成画像にプロンプト、シード値、セクション情報を自動的に保存
    • SD系ツールとの互換性を持つ標準的なメタデータ形式
    • 画像共有時に設定情報も一緒に共有可能

Docker設定(v1.9.1で追加)

  • 言語選択: docker-compose.ymlのcommandパラメータで設定

    # 日本語の場合:
    command: ["--lang", "ja"]
    
    # 繁体字中国語の場合:
    command: ["--lang", "zh-tw"]
    
    # 英語の場合(デフォルト):
    command: ["--lang", "en"]
  • ボリューム設定: docker-compose.ymlのvolumesパラメータで設定

    volumes:
      - ./data:/app/framepack/data
      - ./models:/app/framepack/hf_download
      - ./outputs:/app/framepack/outputs
    • data: 設定ファイルなどの保存場所
    • models: ダウンロード済みモデルの配置場所
    • outputs: 生成された動画の保存場所