#75 wip: xboxビルドテスト v68

Author: ienaga

templates/xbox/src/bindings/Audio.cpp

@@ -4,6 +4,7 @@
 #include "AssetLoader.h"
 #include "EventTarget.h"
 #include "platform/AudioEngine.h"
+#include "platform/DecodeQueue.h"
 #include "v8/V8Util.h"
 #include "v8/WeakHandle.h"
 
@@ -284,30 +285,49 @@ void DecodeAudioData(const v8::FunctionCallbackInfo<v8::Value>& args)
                      static_cast<uint8_t*>(store->Data()) + store->ByteLength());
     }
 
+    // Media Foundation デコードはバックグラウンドスレッドへ (Promise なので元々
+    // 非同期契約)。BGM の同期デコードは画面遷移時の数百 ms ヒッチになっていた。
+    auto resolver_ref =
+        std::make_shared<v8::Global<v8::Promise::Resolver>>(isolate, resolver);
     auto pcm = std::make_shared<PcmBuffer>();
-    const bool decoded = !input.empty() && AudioEngine::Decode(input, *pcm);
-
-    // 重要: デコード失敗でも Reject しない。@next2d/media の SoundDecodeService は
-    // decodeAudioData の reject を catch して先頭バイトをスキップし再帰リトライするが、
-    // そのループ条件 (`idx > byteLength`) が常に false のため同一バッファで無限再帰し、
-    // マイクロタスクが枯渇してフレームワークのローディング画面ごとフリーズする。
-    // ここで無音の空バッファを resolve すれば、そのサウンドは無音になるだけでアプリは
-    // 進行できる (graceful degradation)。実データが壊れているか MF 非対応かは上のログで判別。
-    if (!decoded) {
-        pcm->samples.clear();      // 0 サンプル = 無音
-        pcm->channels = pcm->channels ? pcm->channels : 2;
-        pcm->sample_rate = pcm->sample_rate ? pcm->sample_rate : 48000;
-    }
+    auto decoded = std::make_shared<bool>(false);
 
-    v8::Local<v8::Object> buffer = InternalTemplate(isolate)->NewInstance(ctx).ToLocalChecked();
-    Attach<PcmBuffer>(isolate, buffer, pcm);
-    v8util::SetValue(isolate, buffer, "sampleRate", v8::Number::New(isolate, pcm->sample_rate));
-    v8util::SetValue(isolate, buffer, "numberOfChannels", v8::Integer::New(isolate, pcm->channels));
-    v8util::SetValue(isolate, buffer, "duration",
-        v8::Number::New(isolate, pcm->channels
-            ? static_cast<double>(pcm->samples.size()) / pcm->channels / pcm->sample_rate
-            : 0.0));
-    resolver->Resolve(ctx, buffer).Check();
+    decodequeue::Submit(
+        [input = std::move(input), pcm, decoded]() {
+            *decoded = !input.empty() && AudioEngine::Decode(input, *pcm);
+        },
+        [isolate, resolver_ref, pcm, decoded]() {
+            v8::HandleScope hs(isolate);
+            v8::Local<v8::Promise::Resolver> r = resolver_ref->Get(isolate);
+            v8::Local<v8::Context> c = r->GetCreationContextChecked();
+            v8::Context::Scope cs(c);
+
+            // 重要: デコード失敗でも Reject しない。@next2d/media の SoundDecodeService は
+            // decodeAudioData の reject を catch して先頭バイトをスキップし再帰リトライするが、
+            // そのループ条件 (`idx > byteLength`) が常に false のため同一バッファで無限再帰し、
+            // マイクロタスクが枯渇してフレームワークのローディング画面ごとフリーズする。
+            // ここで無音の空バッファを resolve すれば、そのサウンドは無音になるだけでアプリは
+            // 進行できる (graceful degradation)。実データが壊れているか MF 非対応かは上のログで判別。
+            if (!*decoded) {
+                pcm->samples.clear();      // 0 サンプル = 無音
+                pcm->channels = pcm->channels ? pcm->channels : 2;
+                pcm->sample_rate = pcm->sample_rate ? pcm->sample_rate : 48000;
+            }
+
+            v8::Local<v8::Object> buffer =
+                InternalTemplate(isolate)->NewInstance(c).ToLocalChecked();
+            Attach<PcmBuffer>(isolate, buffer, pcm);
+            v8util::SetValue(isolate, buffer, "sampleRate",
+                             v8::Number::New(isolate, pcm->sample_rate));
+            v8util::SetValue(isolate, buffer, "numberOfChannels",
+                             v8::Integer::New(isolate, pcm->channels));
+            v8util::SetValue(isolate, buffer, "duration",
+                v8::Number::New(isolate, pcm->channels
+                    ? static_cast<double>(pcm->samples.size()) / pcm->channels / pcm->sample_rate
+                    : 0.0));
+            r->Resolve(c, buffer).Check();
+            resolver_ref->Reset();
+        });
 }
 
 // --- Audio (HTMLAudioElement 最小実装) -------------------------------------
@@ -362,17 +382,49 @@ void AudioElementConstructor(const v8::FunctionCallbackInfo<v8::Value>& args)
     v8::Local<v8::Object> self = args.This();
     Attach<AudioVoice>(isolate, self, nullptr);
 
-    // URL 指定があれば同期でロード+デコードして voice を作る (失敗時は無音の no-op)
+    // URL 指定があればロードし、デコードはバックグラウンドスレッドへ (失敗時は
+    // 無音の no-op)。デコード完了前に play() が呼ばれていた場合 (paused=false) は
+    // 完了時に再生を開始する (同期デコード時代の「即時再生」挙動を維持)。
     if (args.Length() > 0 && args[0]->IsString()) {
         const std::string src = ToStdString(isolate, args[0]);
         v8util::SetValue(isolate, self, "src", args[0]);
         HostContext* host = HostContext::From(isolate);
         auto bytes = host->assets->ReadBinary(src);
         if (bytes) {
+            auto self_ref = std::make_shared<v8::Global<v8::Object>>(isolate, self);
             auto pcm = std::make_shared<PcmBuffer>();
-            if (AudioEngine::Decode(*bytes, *pcm)) {
-                Attach<AudioVoice>(isolate, self, host->audio->CreateVoice(pcm));
-            }
+            auto decoded = std::make_shared<bool>(false);
+            decodequeue::Submit(
+                [input = std::move(*bytes), pcm, decoded]() {
+                    *decoded = AudioEngine::Decode(input, *pcm);
+                },
+                [isolate, self_ref, pcm, decoded, host]() {
+                    v8::HandleScope hs(isolate);
+                    v8::Local<v8::Object> el = self_ref->Get(isolate);
+                    v8::Local<v8::Context> c = el->GetCreationContextChecked();
+                    v8::Context::Scope cs(c);
+                    if (*decoded) {
+                        auto voice = host->audio->CreateVoice(pcm);
+                        Attach<AudioVoice>(isolate, el, voice);
+                        // デコード中に play() 済みなら開始する
+                        v8::Local<v8::Value> paused_v, loop_v, vol_v;
+                        const bool paused =
+                            !el->Get(c, Str(isolate, "paused")).ToLocal(&paused_v) ||
+                            paused_v->BooleanValue(isolate);
+                        if (!paused && voice) {
+                            if (el->Get(c, Str(isolate, "volume")).ToLocal(&vol_v) &&
+                                vol_v->IsNumber()) {
+                                voice->SetVolume(static_cast<float>(
+                                    vol_v.As<v8::Number>()->Value()));
+                            }
+                            const bool loop =
+                                el->Get(c, Str(isolate, "loop")).ToLocal(&loop_v) &&
+                                loop_v->BooleanValue(isolate);
+                            voice->Start(loop);
+                        }
+                    }
+                    self_ref->Reset();
+                });
         }
     }
 

templates/xbox/src/bindings/Image.cpp

@@ -4,6 +4,7 @@
 #include "AssetLoader.h"
 #include "EventTarget.h"
 #include "ImageSource.h"
+#include "platform/DecodeQueue.h"
 #include "platform/WicDecoder.h"
 #include "v8/V8Util.h"
 #include "v8/WeakHandle.h"
@@ -12,6 +13,8 @@
 
 #include <cstring>
 #include <iostream>
+#include <memory>
+#include <utility>
 #include <vector>
 
 namespace next2d {
@@ -49,34 +52,11 @@ bool ImageDecodeBase64(const std::string& in, std::vector<uint8_t>* out)
     return true;
 }
 
-// 遅延発火する load/error イベント (img.src = url; img.onload = fn の順でも拾えるよう
-// microtask で発火する。メインループの PerformMicrotaskCheckpoint が実行する)
-struct PendingImageEvent {
-    v8::Isolate* isolate;
-    v8::Global<v8::Object> image;
-    bool ok;
-};
-
-void FireImageEvent(void* data)
-{
-    auto* p = static_cast<PendingImageEvent*>(data);
-    v8::Isolate* isolate = p->isolate;
-    v8::HandleScope hs(isolate);
-    v8::Local<v8::Object> img = p->image.Get(isolate);
-    v8::Local<v8::Context> ctx = img->GetCreationContextChecked();
-    v8::Context::Scope cs(ctx);
-
-    v8::Local<v8::Object> ev = v8::Object::New(isolate);
-    v8util::SetValue(isolate, ev, "type", Str(isolate, p->ok ? "load" : "error"));
-    v8util::SetValue(isolate, ev, "target", img);
-    DispatchEvent(isolate, img, ev);
-
-    p->image.Reset();
-    delete p;
-}
-
-// src に指定された URL (assets 相対 / data:) を読み込み WIC でデコードする。
-// 成否イベントは microtask で発火する。
+// src に指定された URL (assets 相対 / data:) を読み込み、WIC デコードを
+// バックグラウンドスレッド (DecodeQueue) へ逃がす。完了はメインループの
+// decodequeue::Pump() から反映される (ブラウザ同様、src 設定後に非同期で
+// load イベントが届く。img.src = url; img.onload = fn の順でも拾える)。
+// 同期デコードは画面遷移時に 1 秒超のフレームヒッチになる (--perf で計測済み)。
 void LoadImageFromSrc(v8::Isolate* isolate, v8::Local<v8::Object> self, const std::string& url)
 {
     std::vector<uint8_t> input;
@@ -90,45 +70,63 @@ void LoadImageFromSrc(v8::Isolate* isolate, v8::Local<v8::Object> self, const st
             }
         }
     } else {
+        // pak (メモリ) 読みなので同期で問題ない。重いのはデコードのみ。
         AssetLoader* assets = HostContext::From(isolate)->assets;
         auto bytes = assets->ReadBinary(url);
         if (bytes) {
             input = std::move(*bytes);
         }
     }
 
-    auto* img = new DecodedImage();
-    const bool ok = !input.empty() && DecodeImageWithWIC(input, *img);
-
-    // «堅牢化» デコード失敗時の扱い。
-    // player の ShapeLoadSrcUseCase は image に "load" ハンドラのみ登録し "error" を
-    // 監視しない。そのため "error" を発火すると Event.COMPLETE が来ず、ImageShapeAtom.load()
-    // の Promise が永久に未解決になり、ページ build (=画面遷移) がローディング画面のまま
-    // フリーズする。デコードできない 1 枚が全体をブリックするのを防ぐため、失敗時は
-    // 1x1 透明のプレースホルダを割り当てて "load" として扱う (該当画像だけが空になる)。
-    if (!ok) {
-        img->width = 1;
-        img->height = 1;
-        img->rgba.assign(4, 0);
-    }
+    auto image_ref = std::make_shared<v8::Global<v8::Object>>(isolate, self);
+    auto decoded = std::make_shared<DecodedImage>();
+    auto ok = std::make_shared<bool>(false);
+
+    decodequeue::Submit(
+        // プールスレッド: WIC デコードのみ (V8 に触れない)
+        [input = std::move(input), decoded, ok]() {
+            *ok = !input.empty() && DecodeImageWithWIC(input, *decoded);
+        },
+        // メインスレッド: 結果を image オブジェクトへ反映し load を発火
+        [isolate, image_ref, decoded, ok]() {
+            v8::HandleScope hs(isolate);
+            v8::Local<v8::Object> img_obj = image_ref->Get(isolate);
+            v8::Local<v8::Context> ctx = img_obj->GetCreationContextChecked();
+            v8::Context::Scope cs(ctx);
+
+            // «堅牢化» デコード失敗時の扱い。
+            // player の ShapeLoadSrcUseCase は image に "load" ハンドラのみ登録し
+            // "error" を監視しない。"error" だと Event.COMPLETE が来ず ImageShapeAtom
+            // .load() の Promise が永久未解決になり、ページ build (=画面遷移) が
+            // ローディングのままフリーズする。失敗時は 1x1 透明のプレースホルダを
+            // 割り当てて "load" として扱う (該当画像だけが空になる)。
+            auto* img = new DecodedImage(std::move(*decoded));
+            if (!*ok) {
+                img->width = 1;
+                img->height = 1;
+                img->rgba.assign(4, 0);
+            }
 
-    self->SetInternalField(0, v8::External::New(isolate, img));
-    v8util::AttachWeak(isolate, self, img);
-    v8util::SetValue(isolate, self, "width",
-                     v8::Integer::NewFromUnsigned(isolate, img->width));
-    v8util::SetValue(isolate, self, "height",
-                     v8::Integer::NewFromUnsigned(isolate, img->height));
-    v8util::SetValue(isolate, self, "naturalWidth",
-                     v8::Integer::NewFromUnsigned(isolate, img->width));
-    v8util::SetValue(isolate, self, "naturalHeight",
-                     v8::Integer::NewFromUnsigned(isolate, img->height));
-    v8util::SetValue(isolate, self, "complete", v8::Boolean::New(isolate, true));
-
-    auto* pending = new PendingImageEvent();
-    pending->isolate = isolate;
-    pending->image.Reset(isolate, self);
-    pending->ok = true;   // 常に "load" を発火し、遷移を進行させる
-    isolate->EnqueueMicrotask(FireImageEvent, pending);
+            img_obj->SetInternalField(0, v8::External::New(isolate, img));
+            v8util::AttachWeak(isolate, img_obj, img);
+            v8util::SetValue(isolate, img_obj, "width",
+                             v8::Integer::NewFromUnsigned(isolate, img->width));
+            v8util::SetValue(isolate, img_obj, "height",
+                             v8::Integer::NewFromUnsigned(isolate, img->height));
+            v8util::SetValue(isolate, img_obj, "naturalWidth",
+                             v8::Integer::NewFromUnsigned(isolate, img->width));
+            v8util::SetValue(isolate, img_obj, "naturalHeight",
+                             v8::Integer::NewFromUnsigned(isolate, img->height));
+            v8util::SetValue(isolate, img_obj, "complete", v8::Boolean::New(isolate, true));
+
+            // 常に "load" を発火し、遷移を進行させる
+            v8::Local<v8::Object> ev = v8::Object::New(isolate);
+            v8util::SetValue(isolate, ev, "type", Str(isolate, "load"));
+            v8util::SetValue(isolate, ev, "target", img_obj);
+            DispatchEvent(isolate, img_obj, ev);
+
+            image_ref->Reset();
+        });
 }
 
 // Image コンストラクタ: src セッターで読み込み+デコードし load イベントを発火する。
@@ -262,14 +260,35 @@ void CreateImageBitmap(const v8::FunctionCallbackInfo<v8::Value>& args)
         }
     }
 
-    auto* img = new DecodedImage();
-    if (input.empty() || !DecodeImageWithWIC(input, *img)) {
-        delete img;
+    if (input.empty()) {
         resolver->Reject(ctx, v8::Exception::Error(Str(isolate, "Image decode failed"))).Check();
         return;
     }
 
-    resolver->Resolve(ctx, WrapImageBitmap(isolate, img)).Check();
+    // WIC デコードはバックグラウンドスレッドへ (Promise なので元々非同期契約)
+    auto resolver_ref =
+        std::make_shared<v8::Global<v8::Promise::Resolver>>(isolate, resolver);
+    auto decoded = std::make_shared<DecodedImage>();
+    auto ok = std::make_shared<bool>(false);
+
+    decodequeue::Submit(
+        [input = std::move(input), decoded, ok]() {
+            *ok = DecodeImageWithWIC(input, *decoded);
+        },
+        [isolate, resolver_ref, decoded, ok]() {
+            v8::HandleScope hs(isolate);
+            v8::Local<v8::Promise::Resolver> r = resolver_ref->Get(isolate);
+            v8::Local<v8::Context> c = r->GetCreationContextChecked();
+            v8::Context::Scope cs(c);
+            if (*ok) {
+                auto* img = new DecodedImage(std::move(*decoded));
+                r->Resolve(c, WrapImageBitmap(isolate, img)).Check();
+            } else {
+                r->Reject(c, v8::Exception::Error(
+                    Str(isolate, "Image decode failed"))).Check();
+            }
+            resolver_ref->Reset();
+        });
 }
 
 } // namespace

templates/xbox/src/main.cpp

@@ -15,6 +15,7 @@
 #include "EmbeddedAssets.h"
 #include "EventLoop.h"
 #include "gpu/DawnContext.h"
+#include "platform/DecodeQueue.h"
 #include "platform/GamepadManager.h"
 #include "platform/AudioEngine.h"
 #include "worker/WorkerRuntime.h"
@@ -557,6 +558,9 @@ int WINAPI wWinMain(HINSTANCE instance, HINSTANCE, PWSTR cmd_line, int)
         // 音声: 再生終了した source へ "ended" を配送する
         PumpAudioEvents(runtime.isolate());
 
+        // バックグラウンドデコード完了の反映 (画像 load イベント / 音声 Promise)
+        decodequeue::Pump();
+
         // タイマー -> マイクロタスク
         event_loop.PumpTimers();
         runtime.PumpMicrotasks();
@@ -619,6 +623,7 @@ int WINAPI wWinMain(HINSTANCE instance, HINSTANCE, PWSTR cmd_line, int)
     // 8. 後始末: v8::Global を保持するものは Isolate 破棄前に必ず明示解放する。
     //    (スタック変数はスコープ終了 = runtime.Dispose() の後に巻き戻されるため、
     //     デストラクタ任せにすると破棄済み Isolate への Global::Reset で fail-fast する)
+    decodequeue::Shutdown(); // デコードスレッド join + 保留 complete (v8::Global) の破棄
     workers.Shutdown();      // WorkerInstance の Global<Context> / EventLoop
     event_loop.Shutdown();   // main の setTimeout/rAF コールバック (Global<Function>)
     ShutdownAudioEvents();