Skip to content

Commit 0b8c300

Browse files
authored
Feature/redis config (#85)
2 parents 3b7c331 + 8359d72 commit 0b8c300

19 files changed

Lines changed: 1355 additions & 459 deletions

.cspell/custom-dictionary-workspace.txt

Lines changed: 49 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1,49 +1,72 @@
1+
Abaixo
12
abre
23
Abrir
34
aceita
45
adzuna
56
Adzuna
7+
ainda
8+
além
69
algumas
710
alternativa
811
ambiente
912
andamento
13+
aplica
14+
asar
1015
ativas
1116
atuais
17+
automático
18+
benetesla
1219
blockdaemon
1320
brex
1421
Buscando
1522
canva
1623
captura
1724
chainalysis
1825
chainlink
26+
chamada
1927
chave
2028
coleta
29+
commitar
2130
compartilhado
31+
conecta
32+
conectado
33+
conexao
34+
conexão
35+
configurado
2236
conhecidas
2337
contém
38+
corretamente
39+
correto
40+
criação
2441
deduplica
2542
deduplicação
2643
deduplicar
2744
defval
2845
deleta
46+
detecção
2947
diferenciar
3048
diferentes
49+
disponível
3150
doordash
3251
duplicadas
3352
Elementos
53+
emite
3454
encontra
3555
encontrada
3656
encontradas
3757
encontrados
3858
específica
59+
esperada
3960
Estranha
4061
estranho
4162
executa
4263
existem
4364
expirou
65+
exporta
4466
exportacao
4567
exportadas
4668
falhar
69+
falhas
4770
falhou
4871
ferramentas
4972
filtra
@@ -54,10 +77,12 @@ fluxo
5477
flyio
5578
fonte
5679
formato
80+
garantindo
5781
hotjar
5882
huggingface
5983
ignora
6084
incompleto
85+
indisponivel
6186
inexistente
6287
informada
6388
informado
@@ -67,23 +92,36 @@ instacart
6792
interrompe
6893
Inválida
6994
isso
95+
jobsglobalscraper
7096
KHTML
7197
klarna
7298
lança
99+
lançam
73100
linhas
74101
Localização
102+
lote
103+
maior
75104
maiúsculas
76105
mantém
106+
marca
107+
memoria
108+
memória
77109
mesma
110+
mínimo
78111
minúsculas
79112
momentos
80113
montar
81114
Mostrando
115+
muda
82116
múltiplas
83117
múltiplos
84118
Nenhum
85119
normaliza
120+
nsis
121+
nunca
86122
opcionais
123+
operações
124+
organização
87125
paginação
88126
palavra
89127
palavras
@@ -105,20 +143,27 @@ processando
105143
processar
106144
Publicacao
107145
Quebrada
146+
reais
147+
reaproveita
108148
recente
149+
reconecta
109150
recupera
110151
recuperado
152+
refatorado
111153
rejeição
112154
rejeita
155+
resiliência
113156
Resultado
114157
resultados
115158
retornadas
116159
reutiliza
160+
reutilização
117161
robinhood
118162
salario
119163
salário
120164
scaleai
121165
segunda
166+
simplificado
122167
sobrescrever
123168
solicitado
124169
supabase
@@ -130,17 +175,21 @@ themuse
130175
titulo
131176
tiver
132177
trata
178+
tratamento
133179
typeform
134180
unicas
135181
únicas
136182
unstub
137183
usam
138184
útil
139185
vaga
186+
validar
140187
validos
141188
vazia
142189
vazio
143190
vazios
191+
verdade
144192
vierem
193+
visualizar
145194
wealthfront
146195
weightsbiases

.gitignore

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -20,4 +20,4 @@ backend/coverage/
2020
.nyc_output/
2121

2222
# Dist-electron
23-
dist-electron/
23+
dist-electron/.sfdx/

backend/.env.example

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -24,7 +24,7 @@ DATABASE_URL=postgresql://app_user:change_me@127.0.0.1:5432/jobsglobalscraper
2424
REDIS_URL=redis://:change_me@127.0.0.1:6379/0
2525
REDIS_KEY_PREFIX=vagas-full
2626
KEYWORDS_REDIS_KEY=vagas-full:keywords
27-
CACHE_TTL_MS=600000
27+
CACHE_TTL_MS=21600000 # 6 horas
2828

2929
# Scraping behavior
3030
WAIT_BETWEEN_SEARCHES_MS=5000

0 commit comments

Comments
 (0)