- 주제: 스프링 배치
- 일시: 매주 토요일 오전 10시 ~ 12시 (17일 1차 모임(6명), 24일부터 참여하실 분)
- 장소: 홍대 근처 스터디룸 (현재 토즈 스터디룸)
- 준비물: 개인 노트북, 스터디 비용
- 모집인원: 현재 6명, 추가 2명
- 참고자료: docs.spring.io 그외 학습에 도움되는 사이트
-
상세 분석 하기
- ItemReader 구현체 만들어보기
- chunkSize 기준
-
프로세스 반복
- reader(chunkSize), process, writer
- task
-
데이터 셋 3. csv -> read -> writer 4. db(oracle, mysql...) -> db(?) 5. 응용 -> crw -> read -> writer
-
추후 작업 6. batch 관리 -> 스케줄러 7. 3번, 4번, 5번 반복 숙달
-
스터디 진행 방향 선택
- 공공데이터에서 제공하는 전국도서관표준데이터.csv 을 통해 데이터 정규화 및 리포트 작성하기
-
차주 진행 방식
- 정해진 데이터 셋을 통한 배치 프로세스 개발한 내용 발표 및 코드리뷰
-
개발 순서
- spring-batch 의존성 추가
- batchConfig 설정
- Job 작성
- Step
- tasklet 또는 ItemReader, ItemProcessor, ItemWriter 구성하기
-
데이터 셋 배치 프로세스 작성
- 전국도서관표준데이터.csv 파일을 읽어 임시 테이블에 저장 (File to DB)
- 임시 테이블에 저장된 raw 데이터의 시도, 시군구, 도서관 테이블로 정규화 처리하여 해당 테이블에 저장 (시도, 시군구 코드는 임의 생성) (DB to DB)
- 정규화된 테이블에서 필요한 데이터를 리포트 파일 생성 (DB to File)
- (option) 해당 Job에 따른 각 단계의 Step이 실행될 때 DB 로그 확인
- 도서관 csv