Skip to content

[Concert] 공연 제목 자동 검색 저장시 배치 사이즈를 나누어 저장하여 데이터 유실 방지 #313

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
Creamcheesepie merged 1 commit into from
Jan 11, 2026
Merged

[Concert] 공연 제목 자동 검색 저장시 배치 사이즈를 나누어 저장하여 데이터 유실 방지 #313

Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
48 changes: 29 additions & 19 deletions ...a/com/back/web7_9_codecrete_be/domain/concerts/repository/ConcertSearchRedisTemplate.java
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -25,29 +25,39 @@ public class ConcertSearchRedisTemplate {

public void addAllWordsWithWeight(List<WeightedString> weightedStrings) {
// PipeLine 사용해서 한번에 처리 -> IO 시간 감소
redisTemplate.executePipelined((RedisCallback<?>) connection ->{
for (WeightedString weightedString : weightedStrings) {
String id = String.valueOf(weightedString.getConcertId());
String word = weightedString.getWord();
double score = weightedString.getScore();
// 대량의 파이프라인 작업시 Zset 양이 너무 많으면 set 처리가 누락되는 문제 발생 -> 한번에 batch X, 여러번 나누어서 처리
int batchSize = 50;
for(int i = 0; i < weightedStrings.size(); i+=batchSize) {
List<WeightedString> batch = weightedStrings.subList(i, Math.min(i + batchSize, weightedStrings.size()));
redisTemplate.executePipelined((RedisCallback<?>) connection ->{
for (WeightedString weightedString : batch) {
String id = String.valueOf(weightedString.getConcertId());
String word = weightedString.getWord();
double score = weightedString.getScore();

// 검색 결과를 ID - 제목 쌍으로 저장
connection.commands().set((CONCERT_ID_KEY + id).getBytes(StandardCharsets.UTF_8),word.getBytes(StandardCharsets.UTF_8));
// 직렬화 도구 명시적 사용 (Template 설정과 일치)
byte[] key = redisTemplate.getStringSerializer().serialize(CONCERT_ID_KEY + id);
byte[] value = redisTemplate.getStringSerializer().serialize(word);
byte[] idByte = redisTemplate.getStringSerializer().serialize(id);

// 역 인덱싱
for(int i = 0 ;i<word.length();i++){
for(int j = i+1;j<= word.length();j++ ){
String subWord = word.substring(i,j);
// 공백은 검색어 인덱스에서 제외
if(subWord.isBlank()) continue;
// 서브 문자열을 인덱스 키, 값은 ID 값으로 해서 저장
byte[] indexKey = (INDEX_KEY + subWord).getBytes(StandardCharsets.UTF_8);
connection.zAdd(indexKey,score,id.getBytes(StandardCharsets.UTF_8));
// 검색 결과를 ID - 제목 쌍으로 저장
connection.commands().set(key,value);

// 역 인덱싱
for(int k = 0 ;k<word.length();k++){
for(int j = k+1;j<= word.length();j++ ){
String subWord = word.substring(k,j);
// 공백은 검색어 인덱스에서 제외
if(subWord.isBlank()) continue;
// 서브 문자열을 인덱스 키, 값은 ID 값으로 해서 저장
byte[] indexKey = redisTemplate.getStringSerializer().serialize(INDEX_KEY + subWord);
connection.zAdd(indexKey, score, idByte);
}
}
}
}
return null;
});
return null;
});
}
}

public List<AutoCompleteItem> getAutoCompleteWord(String keyword, int start, int end) {
Expand Down