Migra motor de scraping do Node.js para Go

- migra toda a pipeline de scraping do backend Node.js para o serviço scraper-go
- centraliza gerenciamento de cache dentro do serviço Go
- implementa providers de cache em memória e Redis no Go
- adiciona factory de cache com fallback automático para Redis
- implementa helpers genéricos de cache usando generics do Go
- adiciona deduplicação de requisições com singleflight
- migra lógica de searchJobsWithCache para pipeline em Go
- migra orquestração do scrapeAllSources para Go
- adiciona normalização de cache keys e geração determinística de chaves
- implementa normalização e persistência de keywords no Go
- adiciona suporte a armazenamento de keywords via Redis
- adiciona loader JSON para keywords padrão
- cria pacote keywords com separação entre store/defaults/normalize
- remove responsabilidade de scraping do backend Node.js
- transforma backend Node.js em camada de API/auth/adapters
- mantém compatibilidade com frontend usando adapter pattern
- mantém endpoints de keywords no Node delegando persistência ao Go
- melhora separação entre API de negócio e engine de scraping
- melhora escalabilidade para scraping concorrente
- melhora limites arquiteturais entre backend e scraper
- reduz responsabilidade de processamento e memória do Node.js
- prepara infraestrutura para escalar scrapers distribuídos
- reorganiza módulos internos do scraper-go:
  - adapters
  - cache
  - dedup
  - inflight
  - keywords
  - pipeline
- adiciona sistema de registry para adapters
- melhora integração Docker do serviço scraper-go
- padroniza logs e relatórios de execução
- remove responsabilidades obsoletas de cache do backend Node
- simplifica responsabilidades do backend para:
  - autenticação
  - módulos de usuário/domínio
  - gateway de API
  - integração com frontend
  - swagger/documentação

Evolução arquitetural:
o backend Node.js agora atua como camada de aplicação/API,
enquanto o Go se tornou a engine dedicada de scraping de alta performance."

Author: hltav

.cspell/custom-dictionary-workspace.txt

@@ -0,0 +1,21 @@
+# Node
+node_modules
+**/node_modules
+
+# Build outputs
+frontend/dist
+backend/output
+
+# Go
+scraper-go/vendor
+
+# Electron
+electron
+
+# Salesforce
+.sfdx
+
+# Misc
+.git
+coverage
+**/*.log

.dockerignore

@@ -2,10 +2,20 @@ FROM node:24-alpine
 
 WORKDIR /app
 
+# Copia os package.json da raiz e do backend
 COPY package*.json ./
-RUN npm ci --omit=dev
+COPY backend/package*.json ./backend/
 
-COPY . .
-RUN mkdir -p /app/output
+# Instala tudo com workspaces (tsx vem da raiz)
+RUN npm ci --workspace=backend --include-workspace-root
 
-CMD ["node", "index.js"]
+# Copia o código do backend
+COPY backend/ ./backend/
+
+RUN mkdir -p /app/backend/output
+
+EXPOSE 3001
+
+# Roda a partir da pasta do workspace
+WORKDIR /app/backend
+CMD ["npx", "tsx", "src/server.ts"]

backend/Dockerfile

@@ -7,14 +7,3 @@ export default {
     url: process.env.DATABASE_URL,
   },
 };
-
-// import { defineConfig } from "drizzle-kit";
-
-// export default defineConfig({
-//   schema: "./src/db/schema/index.js",
-//   out: "./src/db/migrations",
-//   dialect: "postgresql",
-//   dbCredentials: {
-//     url: process.env.DATABASE_URL,
-//   },
-// });

backend/drizzle.config.js

@@ -2,21 +2,22 @@
   "name": "backend",
   "version": "1.0.0",
   "description": "Backend para scraping e API de vagas do LinkedIn",
-  "main": "index.js",
+  "main": "index.ts",
   "type": "module",
   "scripts": {
-    "start": "node src/server.js",
-    "dev": "node src/server.js",
-    "scraper": "node index.js",
-    "scraper:watch": "nodemon index.js",
-    "api": "node src/server.js",
+    "start": "tsx src/server.ts",
+    "dev": "tsx src/server.ts",
+    "scraper": "tsx index.ts",
+    "scraper:watch": "nodemon index.ts",
+    "api": "tsx src/server.ts",
     "test": "vitest run",
     "test:coverage": "vitest run --coverage",
     "test:watch": "vitest --watch",
     "validate": "npm test",
     "db:generate": "drizzle-kit generate",
     "db:migrate": "drizzle-kit migrate",
-    "db:push": "drizzle-kit push"
+    "db:push": "drizzle-kit push",
+    "clear-cache": "tsx src/cache/clearCache.ts"
   },
   "keywords": [
     "linkedin",
@@ -43,7 +44,8 @@
     "redis": "^4.7.1",
     "swagger-jsdoc": "^6.2.8",
     "swagger-ui-express": "^5.0.1",
-    "xlsx": "^0.18.5"
+    "xlsx": "^0.18.5",
+    "zod": "^4.4.3"
   },
   "engines": {
     "node": ">=22.0.0"

backend/package.json

@@ -0,0 +1,68 @@
+import { logWarn } from "../logger";
+
+const GO_BASE_URL =
+  process.env.GO_SCRAPER_URL?.trim() || "http://scraper-go:8080";
+
+type Keyword = string;
+
+export function normalizeKeywords(keywords: unknown): Keyword[] | null {
+  if (!Array.isArray(keywords)) {
+    return null;
+  }
+
+  return [
+    ...new Set(
+      keywords.map((item) => String(item ?? "").trim()).filter(Boolean),
+    ),
+  ];
+}
+
+export async function loadKeywords(
+  fallback: Keyword[] = [],
+): Promise<Keyword[]> {
+  try {
+    const response = await fetch(`${GO_BASE_URL}/api/keywords`);
+
+    if (!response.ok) {
+      return fallback;
+    }
+
+    const data = await response.json();
+
+    return normalizeKeywords(data.keywords) ?? fallback;
+  } catch (error) {
+    logWarn("Erro ao carregar keywords do Go", {
+      error: (error as Error).message,
+    });
+
+    return fallback;
+  }
+}
+
+export async function saveKeywords(
+  keywords: unknown,
+): Promise<Keyword[] | null> {
+  const normalized = normalizeKeywords(keywords);
+
+  if (normalized === null) {
+    return null;
+  }
+
+  const response = await fetch(`${GO_BASE_URL}/api/keywords`, {
+    method: "POST",
+    headers: {
+      "Content-Type": "application/json",
+    },
+    body: JSON.stringify({
+      keywords: normalized,
+    }),
+  });
+
+  if (!response.ok) {
+    throw new Error(`Erro ao salvar keywords no Go`);
+  }
+
+  const data = await response.json();
+
+  return normalizeKeywords(data.keywords);
+}

backend/src/adapters/adzuna.js

@@ -0,0 +1,38 @@
+import { logWarn } from "../logger";
+import type { ScrapeParams, ScrapeResponse } from "./types/scraper.types";
+import {
+  ScrapeParamsSchema,
+  ScrapeResponseSchema,
+} from "./types/scraper.types";
+
+export type { ScrapeParams, ScrapeResponse };
+
+const GO_SCRAPER_URL = process.env.GO_SCRAPER_URL ?? "http://localhost:8081";
+
+export async function searchJobs(
+  params: ScrapeParams,
+): Promise<ScrapeResponse> {
+  const validatedParams = ScrapeParamsSchema.parse(params);
+
+  const res = await fetch(`${GO_SCRAPER_URL}/scrape`, {
+    method: "POST",
+    headers: { "Content-Type": "application/json" },
+    body: JSON.stringify(validatedParams),
+  });
+
+  if (!res.ok) {
+    throw new Error(`Go scraper: ${res.status} ${res.statusText}`);
+  }
+
+  const raw = await res.json();
+  const parsed = ScrapeResponseSchema.safeParse(raw);
+
+  if (!parsed.success) {
+    logWarn("Go scraper: resposta fora do contrato", {
+      error: parsed.error.message,
+    });
+    throw new Error("Go scraper: resposta invalida");
+  }
+
+  return parsed.data;
+}