入力画像のサムネイル生成機能を追加し、/resultエンドポイントで動画URLと共にBase64エンコードされたサムネイルを返却するように改修 (#10)

* 入力画像のサムネイル生成機能を追加し、/resultエンドポイントで動画URLと共にBase64エンコードされたサムネイルを返却するように改修

* ResultResponseモデルのthumbnail_base64フィールドをOptionalとして明示化

* サムネイルダウンロードエンドポイントが不要であることを明記

* サムネイルのBase64エンコードを含むレスポンスを返却するようにテストを修正し、サムネイルファイルの存在確認を追加

Author: hndrr

api/api.py

@@ -5,9 +5,11 @@
 import traceback
 import asyncio
 import json
+import base64  # 追加: Base64エンコード用
+import mimetypes  # 追加: MIMEタイプ判定用
 from contextlib import asynccontextmanager
 from fastapi import FastAPI, HTTPException, BackgroundTasks, UploadFile, File, Form, Request  # Request を追加
-from fastapi.responses import FileResponse, StreamingResponse
+from fastapi.responses import FileResponse, StreamingResponse  # JSONResponse を削除
 from fastapi.middleware.cors import CORSMiddleware
 from pydantic import BaseModel, Field
 from PIL import Image
@@ -142,6 +144,11 @@ class LoraListResponse(BaseModel):
     loras: List[str]
 
 
+class ResultResponse(BaseModel):
+    video_url: str
+    thumbnail_base64: Optional[str] = None
+
+
 # --- Background Worker ---
 def background_worker_task():
     global worker_running, currently_processing_job_id
@@ -353,7 +360,7 @@ async def event_generator():
                 # Send final status event if it hasn't been sent already
                 if current_data_json != last_data_sent:
                     yield f"event: progress\ndata: {current_data_json}\n\n"
-                    last_data_sent = current_data_json # Ensure last_data_sent is updated even for the final message
+                    last_data_sent = current_data_json  # Ensure last_data_sent is updated even for the final message
                     print(f"Sent final progress update for job {job_id}: Status {job.status}")
 
                 # Send a dedicated 'status' event to signal completion/failure/cancellation
@@ -377,22 +384,65 @@ async def event_generator():
     return StreamingResponse(event_generator(), media_type="text/event-stream")
 
 
-@app.get("/result/{job_id}")
-async def get_job_result(job_id: str):
-    # Implementation needed: Check job status, return video file if completed
+@app.get("/result/{job_id}", response_model=ResultResponse)
+async def get_job_result(job_id: str, request: Request):  # requestを追加してURLを構築
+    """
+    Returns the download URL for the completed video and the Base64 encoded thumbnail.
+    """
     job = queue_manager.get_job_by_id(job_id)
     output_file = os.path.join(settings.OUTPUTS_DIR, f"{job_id}.mp4")
+    is_completed = (job and job.status == "completed") or (not job and os.path.exists(output_file))
 
-    if job and job.status == "completed" and os.path.exists(output_file):
-        return FileResponse(output_file, media_type="video/mp4", filename=f"{job_id}.mp4")
-    elif not job and os.path.exists(output_file):
-        # If job not in queue but file exists, assume completed
-        print(f"Job {job_id} not in queue, but result file found. Serving file.")
+    if not is_completed:
+        if job:
+            raise HTTPException(status_code=404, detail=f"Job '{job_id}' is not completed yet (status: {job.status}).")
+        else:
+            raise HTTPException(status_code=404, detail=f"Job '{job_id}' not found or result file does not exist.")
+
+    # --- サムネイル処理 ---
+    thumbnail_base64 = None
+    if job and job.thumbnail and os.path.exists(job.thumbnail):
+        try:
+            with open(job.thumbnail, "rb") as f:
+                thumbnail_data = f.read()
+            thumbnail_base64_data = base64.b64encode(thumbnail_data).decode("utf-8")
+            # MIMEタイプを推測 (例: image/jpeg)
+            mime_type, _ = mimetypes.guess_type(job.thumbnail)
+            if mime_type:
+                thumbnail_base64 = f"data:{mime_type};base64,{thumbnail_base64_data}"
+            else:
+                # MIMEタイプが不明な場合はデフォルトを使用（またはエラー処理）
+                thumbnail_base64 = f"data:image/jpeg;base64,{thumbnail_base64_data}"  # デフォルトをJPEGに
+            print(f"Job {job_id}: Encoded thumbnail from {job.thumbnail}")
+        except Exception as e:
+            print(f"Job {job_id}: Error reading or encoding thumbnail {job.thumbnail}: {e}")
+            # サムネイルの読み込み/エンコードに失敗してもエラーにはしない
+
+    # --- 動画URL構築 ---
+    # request.url を使用して絶対URLまたは相対URLを構築
+    video_url = str(request.url_for('download_video', job_id=job_id))
+
+    return ResultResponse(
+        video_url=video_url,
+        thumbnail_base64=thumbnail_base64
+    )
+
+
+# --- Download Endpoints ---
+
+@app.get("/download/video/{job_id}")
+async def download_video(job_id: str):
+    """Downloads the generated video file."""
+    output_file = os.path.join(settings.OUTPUTS_DIR, f"{job_id}.mp4")
+    if os.path.exists(output_file):
         return FileResponse(output_file, media_type="video/mp4", filename=f"{job_id}.mp4")
-    elif job:
-        raise HTTPException(status_code=404, detail=f"Job '{job_id}' is not completed yet (status: {job.status}).")
     else:
-        raise HTTPException(status_code=404, detail=f"Job '{job_id}' not found or result file does not exist.")
+        # Optionally check job status again here if needed
+        job = queue_manager.get_job_by_id(job_id)
+        if job:
+            raise HTTPException(status_code=404, detail=f"Video file for job '{job_id}' not found, status is '{job.status}'.")
+        else:
+            raise HTTPException(status_code=404, detail=f"Video file for job '{job_id}' not found.")
 
 
 @app.get("/input_image/{job_id}")

api/worker.py

@@ -85,8 +85,11 @@ def worker(job: queue_manager.QueuedJob, models: dict):
     lora_path = job.lora_path
     original_exif = job.original_exif  # Get Exif data from job object
 
-    # Update job status to processing
-    queue_manager.update_job_status(job_id, "processing")
+    thumbnail_path = None  # Initialize thumbnail_path
+
+    # Update job status to processing, including the thumbnail path (will be updated again if thumbnail generated)
+    # We update here initially in case thumbnail generation fails later
+    queue_manager.update_job_status(job_id, "processing", thumbnail=thumbnail_path)
 
     # Load models from the dictionary
     vae = models["vae"]
@@ -120,17 +123,37 @@ def update_progress(step_info: str, percentage: float = 0.0, current_step: int =
     try:
         # Load input image
         try:
-            pil_input_image = Image.open(input_image_path)
-            # logging.info(f"[Job {job_id}] Exif in input_image after open: {pil_input_image.info.get('exif') is not None}") # DEBUG: Removed
-            input_image = np.array(pil_input_image)
+            pil_input_image = Image.open(input_image_path)  # Keep this line to load the image
+            # logging.info(f"[Job {job_id}] Exif in input_image after open: {pil_input_image.info.get('exif') is not None}")  # DEBUG: Removed
+
+            # --- Thumbnail Generation (Moved Here) ---
+            try:
+                # Generate thumbnail from the loaded input image (pil_input_image)
+                thumb_size = (128, 128)  # Define thumbnail size (adjust as needed)
+                thumb_img = pil_input_image.copy()
+                thumb_img.thumbnail(thumb_size, Image.Resampling.LANCZOS)
+                thumbnail_filename = f"thumb_{job_id}.jpg"
+                # Use previously initialized thumbnail_path variable
+                thumbnail_path = os.path.join(settings.TEMP_QUEUE_IMAGES_DIR, thumbnail_filename)
+                thumb_img.save(thumbnail_path, "JPEG", quality=85)  # Save as JPEG
+                print(f"Job {job_id}: Thumbnail saved to {thumbnail_path}")
+                # Update job status again with the actual thumbnail path
+                queue_manager.update_job_status(job_id, "processing", thumbnail=thumbnail_path)
+            except Exception as thumb_e:
+                print(f"Job {job_id}: Warning - Failed to generate thumbnail: {thumb_e}")
+                thumbnail_path = None  # Ensure path is None if generation fails (already set initially)
+
+            # input_image = np.array(pil_input_image) # Moved numpy conversion later
+
         except FileNotFoundError:
             print(f"Error: Input image not found at {input_image_path}")
             queue_manager.update_job_status(job_id, "failed - image not found")
             return
         except Exception as e:
             print(f"Error loading image {input_image_path}: {e}")
             queue_manager.update_job_status(job_id, f"failed - image load error: {e}")
-            return  # Added return here
+            return
+
         total_latent_sections = (total_second_length * 30) / (latent_window_size * 4)
         total_latent_sections = int(max(round(total_latent_sections), 1))
 
@@ -238,7 +261,8 @@ def update_progress(step_info: str, percentage: float = 0.0, current_step: int =
             print(f"Job {job_id}: No LoRA path specified, skipping LoRA loading.")
         # --- End LoRA Loading ---
 
-        # Processing input image
+        # Processing input image (Convert to numpy array here if needed for processing)
+        input_image = np.array(pil_input_image)  # Convert PIL image to numpy array now
         update_progress("Image processing ...", 12, 0, steps)  # Progress update (percentage adjusted)
         input_image = np.squeeze(input_image)  # Ensure 3D
         if input_image.ndim != 3 or input_image.shape[2] != 3:

api_thumbnail_plan.md

@@ -0,0 +1,83 @@
+# API改修計画: /result エンドポイントでの入力画像サムネイル返却
+
+## 1. 目的
+
+FastAPIアプリケーションの `/result/{job_id}` エンドポイントを改修し、生成された動画ファイルのダウンロードURLに加えて、ジョブに使用された**入力画像のサムネイル画像データ（Base64エンコード）**もレスポンスに含めるようにする。
+
+## 2. 改修内容
+
+### 2.1. `worker.py`
+
+* **サムネイル生成処理の追加:**
+  * `worker` 関数の入力画像読み込み後 (`Image.open(input_image_path)`) に、サムネイル画像を生成する処理を追加する。
+  * サムネイル画像は `PIL` を使用してリサイズし、ファイル名 `thumb_{job_id}.jpg` として `settings.TEMP_QUEUE_IMAGES_DIR` ディレクトリに保存する。
+* **サムネイルパス保存依頼の追加:**
+  * ジョブステータスを `"processing"` に更新する `queue_manager.update_job_status` 呼び出し時に、`thumbnail` 引数に生成したサムネイル画像のフルパスを渡す。
+
+### 2.2. `queue_manager.py`
+
+* **変更なし:** 既存の `QueuedJob` データクラスの `thumbnail` フィールドと `update_job_status` 関数の `thumbnail` 引数をそのまま利用する。
+
+### 2.3. `api.py`
+
+* **レスポンスモデルの定義:**
+  * `/result/{job_id}` 用の新しいPydanticレスポンスモデル (例: `ResultResponse`) を定義する。
+  * モデルには、動画ダウンロードURL (`video_url: str`) とサムネイルのBase64データ (`thumbnail_base64: str`) を含める。
+* **`/result/{job_id}` エンドポイントの改修:**
+  * レスポンスモデルを `FileResponse` から定義した `ResultResponse` に変更する。
+  * `queue_manager.get_job_by_id` でジョブ情報を取得する。
+  * `job.thumbnail` に保存されているサムネイル画像のパスを取得する。
+  * サムネイルファイルを読み込み、Base64エンコードする。
+  * 適切なData URIスキーム (`data:image/jpeg;base64,...`) を作成する。
+  * 動画ダウンロード用URL (`/download/video/{job_id}`) とBase64エンコードされたサムネイルデータを含むJSONレスポンスを返す。
+* **`/download/video/{job_id}` エンドポイントの新設:**
+  * 指定された `job_id` に対応する動画ファイル (`outputs/{job_id}.mp4`) を `FileResponse` で返すエンドポイントを追加する。
+
+## 3. 処理フロー図 (Mermaid)
+
+```mermaid
+sequenceDiagram
+    participant Client
+    participant API (api.py)
+    participant Worker (worker.py)
+    participant QueueManager (queue_manager.py)
+    participant FileSystem
+
+    Client->>+API: POST /generate (画像アップロード)
+    API->>+QueueManager: add_to_queue(image, ...)
+    QueueManager->>FileSystem: save_image_to_temp (queue_image_{job_id}.jpg)
+    QueueManager-->>-API: job_id
+    API-->>-Client: {job_id: ...}
+
+    Note over Worker, QueueManager: Background Worker picks up job
+    Worker->>+QueueManager: get_next_job()
+    QueueManager->>FileSystem: load_queue_from_file()
+    QueueManager-->>-Worker: job
+    Worker->>FileSystem: Image.open(job.image_path)
+    Worker->>Worker: Generate Thumbnail (thumb_{job_id}.jpg)
+    Worker->>FileSystem: Save Thumbnail (temp_queue_images/thumb_{job_id}.jpg)
+    Worker->>+QueueManager: update_job_status(job_id, "processing", thumbnail_path) # サムネイルパスを保存
+    QueueManager->>FileSystem: load_queue_from_file()
+    QueueManager->>FileSystem: save_queue() (update status & thumbnail path)
+    QueueManager-->>-Worker: True
+    Note over Worker: Video Generation Process...
+    Worker->>FileSystem: Save Video (outputs/{job_id}.mp4)
+    Worker->>+QueueManager: update_job_status(job_id, "completed")
+    QueueManager->>FileSystem: load_queue_from_file()
+    QueueManager->>FileSystem: save_queue() (update status)
+    QueueManager-->>-Worker: True
+
+    Client->>+API: GET /result/{job_id}
+    API->>+QueueManager: get_job_by_id(job_id)
+    QueueManager->>FileSystem: load_queue_from_file()
+    QueueManager-->>-API: job (with thumbnail path)
+    API->>FileSystem: Read thumbnail file (job.thumbnail)
+    API->>API: Encode thumbnail to Base64
+    API->>API: Construct video_url (pointing to download endpoint)
+    API-->>-Client: JSON { video_url: "/download/video/...", thumbnail_base64: "data:image/jpeg;base64,..." }
+
+    Client->>+API: GET /download/video/{job_id}
+    API->>FileSystem: Check outputs/{job_id}.mp4 exists
+    API-->>-Client: FileResponse (video/mp4)
+
+    # Note: Thumbnail download endpoint is no longer needed