배경
기존에는 8-core 인스턴스에서 ollama 로컬 모델(llama3.2:3b)을 사용하여 번역을 수행했습니다.
여러가지 방법(병렬 수행, batch 번역 등)을 사용해 테스트 하는 과정에서 다음과 같은 이슈가 확인되었습니다:
- 번역 배치가 많아질수록 속도가 비선형적으로 증가하지 않음
- 8코어 환경에서 266개 batch(796 lines) 번역 시 중간에 멈춤 현상 발생
- 번역 내용이 반복되는 버그 (batch 간 동기화 문제)
- glossary를 .po → .json으로 변환해 glossary를 캐싱 후에는 로드 속도가 개선됨
- 모델은 llama3.2:3b를 사용 중이지만, 더 큰 모델 사용 가능성 있음
인스턴스를 16-core로 업그레이드하면서 보다 효율적인 모델 선택 및 프롬프트 구조 최적화가 필요합니다.
목표
1. 16코어 환경에서 번역 처리 속도 및 품질 향상 방법 논의 필요
2. 모델별 성능 비교 (llama3.2:3b, llama3.1:8b, mistral, gemma 등)
3. 프롬프트 구조 최적화 (batch 크기, 예시 문장, glossary 적용 방식)
4. 병렬 처리 효율성 점검 필요(max_workers, sleep_interval 조정)
배경
기존에는 8-core 인스턴스에서 ollama 로컬 모델(llama3.2:3b)을 사용하여 번역을 수행했습니다.
여러가지 방법(병렬 수행, batch 번역 등)을 사용해 테스트 하는 과정에서 다음과 같은 이슈가 확인되었습니다:
- 번역 배치가 많아질수록 속도가 비선형적으로 증가하지 않음
- 8코어 환경에서 266개 batch(796 lines) 번역 시 중간에 멈춤 현상 발생
- 번역 내용이 반복되는 버그 (batch 간 동기화 문제)
- glossary를 .po → .json으로 변환해 glossary를 캐싱 후에는 로드 속도가 개선됨
- 모델은 llama3.2:3b를 사용 중이지만, 더 큰 모델 사용 가능성 있음
인스턴스를 16-core로 업그레이드하면서 보다 효율적인 모델 선택 및 프롬프트 구조 최적화가 필요합니다.
목표
1. 16코어 환경에서 번역 처리 속도 및 품질 향상 방법 논의 필요
2. 모델별 성능 비교 (llama3.2:3b, llama3.1:8b, mistral, gemma 등)
3. 프롬프트 구조 최적화 (batch 크기, 예시 문장, glossary 적용 방식)
4. 병렬 처리 효율성 점검 필요(max_workers, sleep_interval 조정)