Skip to content

Commit 043c35b

Browse files
committed
fix(jobstore,pipeline): corrige expiração prematura de índices e janela vazia durante reindexação
Problemas resolvidos: - scraper:jobs:index expirava em 72h, causando API vazia entre execuções semanais - jobTTL de 72h insuficiente para cobrir o intervalo de scraping de 7 dias - Del nos índices de keyword criava janela de vazio durante reindexação (até 40min) Mudanças em internal/jobstore/jobstore.go: - Remove Expire(indexKey) do pipeline por vaga — índice global agora é permanente - Aumenta jobTTL de 72h para 9 dias (> janela de 7 dias do filtro r604800) - IDs órfãos continuam sendo removidos organicamente pelo GetAll via SRem Mudanças em internal/pipeline/pipeline.go: - Substitui Del + reindexação direta por estratégia blue/green com chaves :next - Escreve novo índice em scraper:jobs:keyword:<kw>:next, depois RENAME atômico - RENAME garante que clientes nunca vejam chave vazia durante reindexação - Aumenta indexTTL de 72h para 9 dias, alinhado com jobTTL - Índice global (scraper:jobs:index) permanece sem TTL
1 parent fdb1fe6 commit 043c35b

168 files changed

Lines changed: 62475 additions & 35 deletions

File tree

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

.cspell/custom-dictionary-workspace.txt

Lines changed: 66 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -11,10 +11,12 @@ abstraído
1111
acabar
1212
aceita
1313
aceitas
14+
aceitável
1415
acentos
1516
acesso
1617
achar
1718
acontece
19+
acontecia
1820
adaptado
1921
adaptador
2022
Adaptadores
@@ -43,6 +45,7 @@ além
4345
alfanuméricos
4446
algumas
4547
Alguns
48+
alicebob
4649
ALIMENTAÇÃO
4750
alimentar
4851
Alinhado
@@ -62,10 +65,13 @@ andybalholm
6265
angelacao
6366
Anotações
6467
anteriores
68+
antigas
6569
antigos
6670
apaga
71+
apareça
6772
aparece
6873
aparecem
74+
aparecer
6975
apertado
7076
aplica
7177
aplicado
@@ -106,6 +112,7 @@ automático
106112
autorizadas
107113
avaliação
108114
avaliado
115+
Avança
109116
Avançadas
110117
avisa
111118
baixa
@@ -156,6 +163,8 @@ cascadia
156163
casos
157164
catálogo
158165
CAUSA
166+
causar
167+
causava
159168
Centraliza
160169
centralizado
161170
Certificados
@@ -176,10 +185,13 @@ chega
176185
chegam
177186
chegar
178187
ciclo
188+
ciclos
189+
Ciclos
179190
cirúrgica
180191
clampeia
181192
clientes
182193
cobre
194+
cobrir
183195
colapsa
184196
colaterais
185197
coleções
@@ -195,11 +207,13 @@ compartilhado
195207
compilador
196208
complementar
197209
completa
210+
completamente
198211
complexa
199212
complexas
200213
Componentes
201214
comportamentos
202215
composta
216+
compostas
203217
composto
204218
Comunicação
205219
concluída
@@ -233,6 +247,7 @@ consumidos
233247
contador
234248
contagem
235249
contém
250+
contêm
236251
contenham
237252
contentful
238253
conteúdo
@@ -263,10 +278,12 @@ críticos
263278
cronômetro
264279
cruzada
265280
cuidado
281+
cujas
266282
cujo
267283
curta
268284
customuser
269285
daqui
286+
davecgh
270287
dedupe
271288
deduplica
272289
deduplicação
@@ -280,6 +297,7 @@ Definimos
280297
defval
281298
deixa
282299
dela
300+
deleção
283301
delega
284302
deleta
285303
deliveryoo
@@ -316,6 +334,7 @@ diacríticos
316334
diária
317335
diferenciar
318336
diferentes
337+
difflib
319338
digitou
320339
dimensões
321340
dinamicamente
@@ -373,6 +392,7 @@ enriquecimento
373392
enriquecimentos
374393
então
375394
entrada
395+
entrar
376396
envia
377397
enviado
378398
envie
@@ -405,6 +425,7 @@ esperada
405425
esperado
406426
esperar
407427
essa
428+
estar
408429
estático
409430
estavam
410431
estáveis
@@ -441,9 +462,13 @@ existente
441462
existentes
442463
existirem
443464
expectativa
465+
Expira
444466
expiração
467+
expiradas
445468
expirado
469+
expiram
446470
expirar
471+
expiraram
447472
expirarem
448473
expirou
449474
explicitamente
@@ -467,6 +492,7 @@ falsos
467492
fazem
468493
feitas
469494
ferramentas
495+
ficar
470496
filtra
471497
filtrada
472498
filtro
@@ -506,6 +532,7 @@ gerenciado
506532
gerenciar
507533
Globo
508534
goldmark
535+
gopkg
509536
goquery
510537
Grava
511538
gravar
@@ -545,6 +572,7 @@ implementam
545572
importa
546573
importador
547574
Importando
575+
importante
548576
importantes
549577
incluem
550578
inclui
@@ -555,10 +583,14 @@ independente
555583
independentemente
556584
Indexa
557585
indexação
586+
indexadas
587+
Indexados
588+
indexam
558589
indexar
559590
indica
560591
índice
561592
índices
593+
indiretamente
562594
indisponivel
563595
indisponível
564596
individuais
@@ -621,6 +653,7 @@ isolados
621653
isolar
622654
isso
623655
iterações
656+
janela
624657
joaosilva
625658
jobsglobal
626659
jobsglobalscraper
@@ -644,6 +677,7 @@ lerá
644677
letras
645678
libera
646679
limita
680+
limpeza
647681
limpos
648682
linha
649683
linhas
@@ -671,9 +705,11 @@ Mapeando
671705
mapeia
672706
marca
673707
marcado
708+
margem
674709
mastigada
675710
máximas
676711
Mczn
712+
mecanismo
677713
meia
678714
melhorar
679715
MELHORIA
@@ -695,6 +731,8 @@ Migrações
695731
milissegundos
696732
mínima
697733
mínimo
734+
miniredis
735+
Miniredis
698736
minúsculas
699737
Mockada
700738
mockado
@@ -730,6 +768,7 @@ normalizado
730768
normalizados
731769
normalizar
732770
Notificações
771+
novamente
733772
novos
734773
novousuario
735774
Npqgf
@@ -746,13 +785,17 @@ obtém
746785
obter
747786
omitido
748787
onde
788+
Opção
749789
opcionais
750790
Opcional
751791
opções
752792
operação
753793
operacionais
754794
operações
755795
ordem
796+
Orfaos
797+
órfãos
798+
organicamente
756799
organização
757800
Origem
758801
origens
@@ -793,6 +836,7 @@ pendentes
793836
perfeitamente
794837
perfis
795838
performático
839+
permanente
796840
permite
797841
permitida
798842
permitidos
@@ -807,6 +851,7 @@ persistir
807851
pesquisa
808852
pesquisadas
809853
planetscale
854+
pmezard
810855
pôde
811856
poderem
812857
poderia
@@ -839,6 +884,7 @@ Preferências
839884
prefixo
840885
Prefixo
841886
prefs
887+
preparar
842888
presencial
843889
presente
844890
presentes
@@ -910,6 +956,7 @@ registrado
910956
registro
911957
registros
912958
regras
959+
reindexação
913960
rejeição
914961
rejeita
915962
rejeitar
@@ -920,7 +967,9 @@ RELATÓRIO
920967
relevantes
921968
remotas
922969
removendo
970+
removida
923971
removidas
972+
removido
924973
repetidas
925974
repositório
926975
reprocessamento
@@ -946,6 +995,7 @@ retornado
946995
retornam
947996
retornamos
948997
retornando
998+
retornaria
949999
retornos
9501000
retornou
9511001
reutiliza
@@ -954,6 +1004,7 @@ reutilizada
9541004
reutilizaveis
9551005
riotgames
9561006
robinhood
1007+
robustez
9571008
rodam
9581009
rotacionado
9591010
rotativo
@@ -977,6 +1028,8 @@ seguros
9771028
sejam
9781029
semáforos
9791030
Semáforos
1031+
semanal
1032+
semanas
9801033
sendo
9811034
Senhas
9821035
Sênior
@@ -995,6 +1048,8 @@ serviços
9951048
sess
9961049
sessões
9971050
setar
1051+
sido
1052+
significa
9981053
silencia
9991054
silenciosamente
10001055
silencioso
@@ -1014,13 +1069,16 @@ sobrecarregar
10141069
Sobrescreve
10151070
sobrescrever
10161071
sobrescrito
1072+
Sobrevivente
1073+
sobreviver
10171074
sobrou
10181075
sohohouse
10191076
solicitado
10201077
SOLUÇÃO
10211078
somente
10221079
soql
10231080
sozinhas
1081+
stretchr
10241082
subconjunto
10251083
subfunções
10261084
subir
@@ -1030,6 +1088,8 @@ sufixo
10301088
sugeridos
10311089
sujar
10321090
sumário
1091+
sumir
1092+
sumisse
10331093
sumiu
10341094
supabase
10351095
Suporte
@@ -1039,7 +1099,9 @@ Tabelas
10391099
talvez
10401100
tarefas
10411101
temos
1102+
temporária
10421103
temporariamente
1104+
temporárias
10431105
tenha
10441106
tenta
10451107
tentativa
@@ -1060,6 +1122,7 @@ tipagem
10601122
titulo
10611123
tiver
10621124
tocar
1125+
tolerância
10631126
topo
10641127
transação
10651128
trata
@@ -1077,6 +1140,7 @@ typeform
10771140
Uguwk
10781141
última
10791142
ultrapassa
1143+
ultrapassar
10801144
única
10811145
unicas
10821146
únicas
@@ -1119,8 +1183,10 @@ vazia
11191183
VAZIAS
11201184
vazio
11211185
vazios
1186+
veem
11221187
vercel
11231188
verdade
1189+
verificamos
11241190
versões
11251191
vezes
11261192
viagem

0 commit comments

Comments
 (0)