Add continuous mode for docker-compose producer and consumer (#61)

* Initial plan

* Add continuous mode for docker-compose producer and consumer

Co-authored-by: notfolder <20558197+notfolder@users.noreply.github.com>

* Fix code review comments: use relative path in test and improve log message

Co-authored-by: notfolder <20558197+notfolder@users.noreply.github.com>

* continus mode動作確認済み

---------

Co-authored-by: copilot-swe-agent[bot] <198982749+Copilot@users.noreply.github.com>
Co-authored-by: notfolder <20558197+notfolder@users.noreply.github.com>
Co-authored-by: notfolder <notfolder@gmail.com>

Author: Copilot

.gitignore

@@ -7,6 +7,7 @@ planning_history/*.jsonl
 *.pyc
 *.log
 *.log.*
+*.health
 github-mcp-server.cmd
 __pycache__/
 .pytest_cache/

CONTINUOUS_MODE_SPECIFICATION.md

@@ -95,15 +95,15 @@ main.pyに`--continuous`オプションを追加します。
 
 **設定方法:**
 - 設定ファイル: `continuous.producer.interval_minutes`
-- デフォルト値: 5分
+- デフォルト値: 1分
 
 **設定例:**
 ```yaml
 # config.yamlへの追加
 continuous:
   producer:
     # タスク取得間隔（分）
-    interval_minutes: 5
+    interval_minutes: 1
 ```
 
 #### 3.2.3 待機処理の実装方針
@@ -230,7 +230,7 @@ continuous:
   
   producer:
     # タスク取得間隔（分）
-    interval_minutes: 5
+    interval_minutes: 1
     
     # 起動時の初回実行を遅延させるか（デフォルト: false）
     # trueの場合、起動直後にinterval_minutes待機してから最初のタスク取得を行う
@@ -332,7 +332,7 @@ services:
     # - 短時間タスクが多い場合: 60s〜120s に短縮可能
     # - 長時間タスクがある場合: 600s 以上に延長を推奨
     # max_llm_process_numの設定値と平均処理時間を考慮して調整してください。
-    stop_grace_period: 300s
+    stop_grace_period: 600s
 ```
 
 #### 3.6.2 Consumerのスケールアウト
@@ -373,7 +373,7 @@ services:
     # ... 他の設定 ...
     healthcheck:
       test: ["CMD", "python", "-c", "import os, time; f='/app/healthcheck/producer.health'; exit(0 if os.path.exists(f) and time.time() - os.path.getmtime(f) < 600 else 1)"]
-      interval: 60s
+      interval: 300s
       timeout: 10s
       retries: 3
       start_period: 30s
@@ -418,14 +418,14 @@ services:
 **起動時:**
 ```
 INFO - 継続動作モードで起動しました（Producer）
-INFO - タスク取得間隔: 5分
+INFO - タスク取得間隔: 1分
 ```
 
 **ループ実行時:**
 ```
 INFO - タスク取得処理を開始します（ループ回数: 10）
 INFO - 3件のタスクをキューに追加しました
-INFO - 次のタスク取得まで5分待機します
+INFO - 次のタスク取得まで1分待機します
 ```
 
 **シャットダウン時:**

Dockerfile

@@ -35,14 +35,17 @@ WORKDIR /app
 # コードコピー
 COPY . /app
 
-# Node.js, npm, npxインストール
+# Node.js, npm, gitインストール
 RUN apt-get update && \
-    apt-get install -y nodejs npm git && \
-    npm install -g npx
+    apt-get install -y nodejs npm git
 
-RUN npm install @zereight/mcp-gitlab@latest
+# グローバルにmcp-gitlabをインストール
+RUN npm install -g @zereight/mcp-gitlab@latest
+
+# npxもグローバルにインストール（既存の場合は上書き）
+RUN npm install -g npx --force
 
 COPY --from=build /bin/github-mcp-server ./github-mcp-server.cmd
 
-# npxで@zereight/mcp-gitlabを起動し、main.pyも起動
-ENTRYPOINT ["stdbuf", "-oL", "conda", "run", "-n", "coding-agent", "python", "-u", "main.py"]
+# conda環境でPythonスクリプトを実行するためのエントリーポイント
+ENTRYPOINT ["conda", "run", "-n", "coding-agent", "--no-capture-output"]

clients/mcp_tool_client.py

@@ -3,6 +3,7 @@
 import asyncio
 import hashlib
 import json
+import logging
 import os
 import threading
 from typing import TYPE_CHECKING, Any
@@ -58,9 +59,16 @@ def _run_async(self, coro: Awaitable[object]) -> object:
 
     def _run_with_session(self, coro_fn: Callable[[ClientSession], Awaitable[object]]) -> object:
         async def wrapper() -> object:
+            logger = logging.getLogger(__name__)
+            server_name = self.server_config.get("mcp_server_name", "unknown")
             cmd = self.server_config["command"][0]
             args = self.server_config["command"][1:]
             env = self.server_config.get("env", {})
+            
+            logger.debug("Starting MCP server: %s", server_name)
+            logger.debug("  Command: %s %s", cmd, " ".join(args))
+            logger.debug("  Env keys: %s", list(env.keys()))
+            
             merged_env = dict(os.environ)
             merged_env.update(env)
             server_params = StdioServerParameters(command=cmd, args=args, env=merged_env)
@@ -74,6 +82,7 @@ async def wrapper() -> object:
                     InitializedNotification(method="notifications/initialized"),
                 )
                 await session.send_notification(notification)
+                logger.debug("MCP server initialized: %s", server_name)
                 return await coro_fn(session)
 
         return self._run_async(wrapper())

condaenv.yaml

@@ -21,4 +21,5 @@ dependencies:
       - lmstudio
       - openai
       - ollama
+      - portalocker
       # - hashing-mcp-server

config.yaml

@@ -11,18 +11,21 @@ mcp_servers:
       - "npx"
       - "@zereight/mcp-gitlab"
       - "stdio"
+    env:
+      GITLAB_PERSONAL_ACCESS_TOKEN: ""
+      GITLAB_API_URL: ""
 
-  - mcp_server_name: "googlesearch"
-    command:
-      - "npx"
-      - "-y"
-      - "@adenot/mcp-google-search"
+  # - mcp_server_name: "googlesearch"
+  #   command:
+  #     - "npx"
+  #     - "-y"
+  #     - "@adenot/mcp-google-search"
 
-  - mcp_server_name: "webfetch"
-    command:
-      - "python"
-      - "-m"
-      - "mcp_server_fetch"
+  # - mcp_server_name: "webfetch"
+  #   command:
+  #     - "python"
+  #     - "-m"
+  #     - "mcp_server_fetch"
 
 # APIサーバー設定
 api_server:
@@ -199,3 +202,33 @@ rabbitmq:
   user: guest
   password: guest
   queue: coding_agent_tasks
+
+# 継続動作モードの設定
+# docker-composeでproducerとconsumerを継続的に動作させる場合に使用
+continuous:
+  # 継続動作モードの有効化(デフォルト: false)
+  # 注: この設定よりコマンドラインオプション --continuous が優先される
+  enabled: false
+
+  producer:
+    # タスク取得間隔(分)
+    interval_minutes: 1
+
+    # 起動時の初回実行を遅延させるか(デフォルト: false)
+    # trueの場合、起動直後にinterval_minutes待機してから最初のタスク取得を行う
+    delay_first_run: false
+
+  consumer:
+    # キュー取得タイムアウト(秒)
+    queue_timeout_seconds: 30
+
+    # タスク処理間の最小待機時間(秒、デフォルト: 0)
+    # レート制限などが必要な場合に設定
+    min_interval_seconds: 0
+
+  # ヘルスチェック設定
+  healthcheck:
+    # ヘルスチェックディレクトリ
+    dir: "healthcheck"
+    # ヘルスチェック更新間隔(秒)
+    update_interval_seconds: 60

docker-compose.yml

@@ -3,15 +3,15 @@ services:
   user-config-api:
     build: ./user_config_api
     container_name: user-config-api
-    # Docker内部ネットワークのみで使用（外部公開不要）
+    # Docker内部ネットワークのみで使用(外部公開不要)
     # テスト用に外部アクセスが必要な場合のみ、以下のコメントを外す
     ports:
       - "8081:8080"
     environment:
       API_SERVER_KEY: ${API_SERVER_KEY:-your-secret-api-key-here}
 
   web:
-    image: 'gitlab/gitlab-ce:latest'
+    image: 'gitlab/gitlab-ce:18.5.3-ce.0'
     restart: always
     ports:
       - '8080:80'
@@ -22,6 +22,12 @@ services:
       - './gitlab/logs:/var/log/gitlab'
       - './gitlab/data:/var/opt/gitlab'
     shm_size: '256m'
+    healthcheck:
+      test: ["CMD-SHELL", "curl -f http://localhost/-/health || exit 1"]
+      interval: 30s
+      timeout: 10s
+      retries: 10
+      start_period: 120s
 
   rabbitmq:
     image: rabbitmq:3-management
@@ -35,5 +41,110 @@ services:
     volumes:
       - rabbitmq_data:/var/lib/rabbitmq
 
+  # Producer サービス - タスクを継続的に取得してキューに追加
+  coding-agent-producer:
+    build: .
+    container_name: coding-agent-producer
+    command: ["python", "main.py", "--mode", "producer", "--continuous"]
+    depends_on:
+      rabbitmq:
+        condition: service_started
+      user-config-api:
+        condition: service_started
+      web:
+        condition: service_healthy
+    environment:
+      # 必須環境変数
+      - TASK_SOURCE=${TASK_SOURCE:-github}
+      - GITHUB_PERSONAL_ACCESS_TOKEN=${GITHUB_PERSONAL_ACCESS_TOKEN}
+      - GITLAB_PERSONAL_ACCESS_TOKEN=${GITLAB_PERSONAL_ACCESS_TOKEN:-}
+      - GITLAB_API_URL=${GITLAB_API_URL:-https://gitlab.com/api/v4}
+      - GITLAB_BOT_NAME=${GITLAB_BOT_NAME:-bot}
+      - GITHUB_BOT_NAME=${GITHUB_BOT_NAME:-bot}
+
+      # RabbitMQ設定
+      - RABBITMQ_HOST=rabbitmq
+      - RABBITMQ_PORT=5672
+      - RABBITMQ_USER=guest
+      - RABBITMQ_PASSWORD=guest
+
+      # LLM設定
+      - LLM_PROVIDER=${LLM_PROVIDER:-openai}
+      - OPENAI_API_KEY=${OPENAI_API_KEY:-}
+      - OPENAI_BASE_URL=${OPENAI_BASE_URL:-https://api.openai.com/v1}
+      - OPENAI_MODEL=${OPENAI_MODEL:-gpt-4o}
+
+      # ログ設定
+      - LOGS=/app/logs/producer.log
+      - DEBUG=${DEBUG:-false}
+    volumes:
+      - ./logs:/app/logs
+      - ./contexts:/app/contexts
+      - ./healthcheck:/app/healthcheck
+    restart: unless-stopped
+    # gracefulシャットダウンの猶予時間
+    stop_grace_period: 300s
+    healthcheck:
+      test: ["CMD", "python", "-c", "import os, time; f='/app/healthcheck/producer.health'; exit(0 if os.path.exists(f) and time.time() - os.path.getmtime(f) < 600 else 1)"]
+      interval: 300s
+      timeout: 10s
+      retries: 3
+      start_period: 30s
+
+  # Consumer サービス - キューからタスクを継続的に取得して処理
+  coding-agent-consumer:
+    build: .
+    container_name: coding-agent-consumer
+    command: ["python", "main.py", "--mode", "consumer", "--continuous"]
+    depends_on:
+      rabbitmq:
+        condition: service_started
+      user-config-api:
+        condition: service_started
+      web:
+        condition: service_healthy
+    environment:
+      # 必須環境変数
+      - TASK_SOURCE=${TASK_SOURCE:-github}
+      - GITHUB_PERSONAL_ACCESS_TOKEN=${GITHUB_PERSONAL_ACCESS_TOKEN}
+      - GITLAB_PERSONAL_ACCESS_TOKEN=${GITLAB_PERSONAL_ACCESS_TOKEN:-}
+      - GITLAB_API_URL=${GITLAB_API_URL:-https://gitlab.com/api/v4}
+      - GITLAB_BOT_NAME=${GITLAB_BOT_NAME:-bot}
+      - GITHUB_BOT_NAME=${GITHUB_BOT_NAME:-bot}
+
+      # RabbitMQ設定
+      - RABBITMQ_HOST=rabbitmq
+      - RABBITMQ_PORT=5672
+      - RABBITMQ_USER=guest
+      - RABBITMQ_PASSWORD=guest
+
+      # LLM設定
+      - LLM_PROVIDER=${LLM_PROVIDER:-openai}
+      - OPENAI_API_KEY=${OPENAI_API_KEY:-}
+      - OPENAI_BASE_URL=${OPENAI_BASE_URL:-https://api.openai.com/v1}
+      - OPENAI_MODEL=${OPENAI_MODEL:-gpt-4o}
+
+      # ログ設定
+      - LOGS=/app/logs/consumer.log
+      - DEBUG=${DEBUG:-false}
+    volumes:
+      - ./logs:/app/logs
+      - ./contexts:/app/contexts
+      - ./healthcheck:/app/healthcheck
+    restart: unless-stopped
+    # gracefulシャットダウンの猶予時間(タスク処理完了を待つ)
+    # 注: タスク処理に時間がかかる場合(LLM呼び出し、ファイル操作等)、
+    # 処理中のタスクを完了させるために十分な時間を確保する必要があります。
+    # デフォルト: 300秒(5分)
+    # - 短時間タスクが多い場合: 60s〜120s に短縮可能
+    # max_llm_process_numの設定値と平均処理時間を考慮して調整してください。
+    stop_grace_period: 300s
+    healthcheck:
+      test: ["CMD", "python", "-c", "import os, time; f='/app/healthcheck/consumer.health'; exit(0 if os.path.exists(f) and time.time() - os.path.getmtime(f) < 600 else 1)"]
+      interval: 300s
+      timeout: 10s
+      retries: 3
+      start_period: 30s
+
 volumes:
   rabbitmq_data: