Spring Batch 개념 및 주요 구성요소, 간단한 예제 구현

📌 목차 
Spring Batch
- 기본 개념 & 특징, 주요 구성 요소, 메타데이터 테이블
Spring Scheduler
- 기본 개념, 사용 방법
간단한 예제 구현
- CSV 파일 읽어서 DB에 저장해보기

 

 

Spring Batch

Spring Batch 스프링 배치 : 대규모 데이터 처리 작업을 자바 기반의 배치 처리 애플리케이션을 만들기 위한 프레임워크 대량의 데이터를 일괄적으로 처리하거나 반복적인 작업을 자동화하는 데 사용됨

 

Spring Batch 특징

• 대용량 데이터를 효율적으로 처리할 수 있도록 설계
  • 대량의 데이터를 효율적으로 처리하기 위해 chunk (청크) 기반 처리와 paging (페이징) 등의 기술 제공
  • 분산 처리 및 병렬 처리 지원해 확장성과 성능 극대화
• 데이터베이스, 파일, API 등의 데이터를 읽고 변환하여 저장하는 과정 자동화
• 트랜잭션 관리, 작업 재시작 기능 등 지원 → 스프링 배치는 배치 작업을 트랜잭션 처리와 함께 관리하고, 실패한 작업을 복구하고 재시작하는 기능을 제공함

Spring Batch 를 사용하면 좋은 예시
- 대량의 데이터 처리
- 정기적인 데이터 업데이트 (ex. 매일 새벽 1시에 정산 작업 실행)
- ETL(Extract, Transform, Load) 작업
- 자동화된 보고서 생성
- 이벤트 기반 대량데이터 처리
- 데이터 마이그레이션
→ 대량의 데이터를 다뤄야 하는 경우, Spring Batch를 사용하면 좋음 !

 

 

Spring Batch 주요 구성 요소

Job → Step → (Reader → Processor → Writer) 구조로 동작

 

Job	하나 이상의 Step 을 포함하는 배치 작업
Step	Job을 구성하는 하나의 실행 단위
ItemReader	데이터를 읽어오는 역할 (DB, CSV, API 등)
ItemProcessor	데이터를 가공하는 역할 (변환, 필터링 등)
ItemWriter	데이터를 저장하는 역할 (DB, 파일 등)
JobRepository	Job 실행 이력을 저장하는 저장소
JobLauncher	Job을 실행하는 엔진

 

Job

Spring Batch에서 가장 큰 실행 단위, 배치 작업의 전체 흐름을 정의함

• 하나 이상의 Step 으로 이루어지고, 각 Step 은 순차적/병렬적으로 실행할 수 있음
• Job 은 재실행 가능하고, 실패한 작업을 재시작할 수 있도록 상태 관리를 함
• JobBuilder를 사용하여 생성하고, JobLancher를 통해 실행됨

JobInstance

특Job이 실행될 때 생성되는 고유한 실행 단위 Job 이 실행될 때 마다 생성됨 (하나의 Job이 여러 개의 JobInstance를 가질 수 있음)

• JobInstance는 내부적으로 Job 의 이름이랑 JobParameter 의 해시값(JobKey)을 사용하여 고유하게 식별됨 → 동일한 JobParameter 로 실행하면 기존의 JobInstance 재사용하고, 새로운 JobParamter 로 실행하면 새로운 JobInstance가 생성됨
• Spring Batch는 JobInstance 정보를 BATCH_JOB_INSTANCE 테이블에 저장하여 관리함 → 동일한 Job 이름이랑 동일한 JobParamter의 해시값을 가진 데이터는 중복 저장되지 않음

JobExecution

Spring Batch에서 JobInstance 의 실행 단위, Job 이 실행될 때마다 생성됨

• 실행 상태, 시작 및 종료 시간, 실패 원인 등 실행 중 발생한 정보들을 저장하고 관리함
  • 실행 상태 (BatchStatus) :  STARTING, STARTED, COMPLETED, FAILED, STOPPED
  • 종료 상태 (ExitStatus) : 성공 또는 실패 이유, 기본 값 UNKNOWN
• JobInstance가 실행 될 때 마다 생성되기 때문에 JobInstance는 여러 개의 JobExecution 을 가질 수 있음

 

JobParamter

Spring Batch에서 배치 작업 실행 시 외부 또는 내부에서 전달받아 사용할 수 있는 파라미터 특정 Job 실행에 필요한 데이터를 전달하거나 실행 조건을 동적으로 설정하기 위해 사용

• JobInstance 를 생성하고 구별하는 데 사용되는 파라미터
• Key-Value 형태
• 지원되는 데이터 타입 : String, Long, Double, Date

 

Step

Job 을 구성하는 하나의 실행 단위, 특정 작업을 처리하는 로직을 캡슐화 함

 

구성 요소

• Tasklet 기반 : 단일 작업을 수행하는 방식
• Chunk 기반 : 데이터를 여러 조각으로 나누어 처리하는 방식 → ItemReader, ItemProcessor, ItemWriter 로 구성됨

 

StepExecution

Spring Batch에서 Step 의 실행 단위를 나타내는 객체 특정 Step 실행 시 생성되어 실행 상태와 관련된 정보를 관리함

• Step의 시작 시간, 종료 시간, 처리된 데이터 수, 실패 여부 등 실행 중 발생한 모든 정보를 저장함
• StepExecution도 특정 Step의 한 번의 실행을 나타냄, Step 이 실행될 때 마다 새로운 StepExecution 객체가 생성됨
• StepExecution 데이터는 BATCH_STEP_EXECUTION 테이블에 저장하여 실행 이력을 관리함
• Job이 실행되면 JobInstacne, JobExecution 생성, 그 안에서 Step이 실행될 때 마다, 새로운 StepExcecution 객체 생성

 

ItemReader

데이터를 읽어오는 역할 (DB, CSV 등의 파일 ..)

 

 

ItemProcessor

Reader에서 읽어온 데이터를 가공하거나 변환하는 역할

• 입력 데이터를 필터링하거나 변환할 수 있음
• 필수는 아니고, 필요에 따라 추가하면 됨

 

ItemWriter

Reader 또는 Processor 를 통해 얻은 데이터를 저장하거나 출력하는 역할

• 데이터를 일괄적으로 처리하여 성능 최적화

 

JobRepository

Job과 Step 의 실행 상태를 관리하고 메타 데이터를 저장하는 역할

• 배치 작업의 메타데이터 (ex. 실행 상태, 시작/종료 시간, 실패 여부 등)를 저장함
• 트랜잭션 관리와 데이터 무결성을 보장, 실패 시 복구 지원

 

JobLauncher

Job 을 실행하는 역할

• 동기/비동기 방식으로 Job 을 실행할 수 있음
• JobRepository와 상호작용하여 JobInstance 및 JobExcution 정보를 관리함

 

메타데이터 테이블

Spring Batch 는 배치 작업의 실행 상태와 이력을 관리하기 위해 메타데이터 테이블을 사용 Spring Batch가 제공하는 SQL 스크립트를 통해 생성됨

BATCH_JOB_INSTANCE	JobInstance(배치 작업의 논리적 단위)에 대한 정보를 저장.
BATCH_JOB_EXECUTION	JobExecution(특정 JobInstance의 실행)에 대한 정보를 저장.
BATCH_JOB_EXECUTION_PARAMS	Job 실행 시 전달된 JobParameter에 대한 정보를 저장.
BATCH_JOB_EXECUTION_CONTEXT	JobExecution 중 생성된 ExecutionContext(공유 데이터)에 대한 정보를 저장.
BATCH_STEP_EXECUTION	StepExecution(각 Step의 실행)에 대한 정보를 저장.
BATCH_STEP_EXECUTION_CONTEXT	StepExecution 중 생성된 ExecutionContext에 대한 정보를 저장.

 

BATCH_JOB_INSTANCE

: JobInstance에 대한 정보를 저장

• JOB_INSTANCE_ID : JobInstance를 고유하게 식별하는 ID
• JOB_NAME : Job의 이름 (실행된 Job의 이름)
• JOB_KEY : JobParameter 를 직렬화하여 생성된 고유 키

BATCH_JOB_EXECUTION

: JobInstance의 실행(JobExecution) 에 대한 정보를 저장

• Job 이 실행될 때 마다 새로운 JobExecution이 생성됨
• 실행 상태, 시작/종료 시간, 종료 코드 등을 기록함
• JOB_EXECUTION_ID : JobExecution을 고유하게 식별하는 ID
• JOB_INSTANCE_ID : 연결된 JobInstance의 ID
• STATUS : 실행 상태 (STARTED, COMPLETED, FAILED)
• EXIT_CODE : 종료 코드 (성공/실패 여부)
• EXIT_MESSAGE : EXIT_CODE가 ‘FAILED’ 일 때, 에러 메시지
• START_TIME, END_TIME : 실행 시작 및 종료 시간

BATCH_JOB_EXECUTION_PARAMS

: 특정 JobExecution 에 전달된 JobParamter

• 각 파라미터의 이름, 값, 데이터 타입을 기록함

 

BATCH_JOB_EXECUTION_CONTEXT

: JobExecution 중 공유 데이터(ExecutionContext) 를 저장

• 직렬화된 데이터를 저장하고, 작업 중 데이터를 공유하거나 복구할 때 사용함

BATCH_STEP_EXECUTION

: StepExecution, 각 Step의 실행에 대한 정보를 저장

• 각 Step이 실행될 때마다 새로운 StepExecution 이 생성됨
• 읽기/쓰기/커밋/스킵된 데이터 수 등의 세부 통계 기록
• STEP_EXECUTION_ID : StepExecution 을 고유하게 식별하는 ID
• STEP_NAME : Step 이름
• JOB_EXECUTION_ID : 연결된 JobExecution 의 ID
• STATUS : 실행 상태 (STARTED, COMPLETED, FAILED)
• READ_COUNT, WRITE_COUNT, COMMIT_COUNT, SKIP_COUNT : 처리된 데이터 수와 트랜잭션 통계

BATCH_STEP_EXECUTION_CONTEXT

: StepExecution 중 공유 데이터(StepExecutionContext) 저장

• BATCH_JOB_EXECUTION_CONTEXT와 유사하지만, Step 단위로 데이터 관리

 

테이블 자동 생성

Spring Batch 에서는 기본적으로 메타데이터 테이블을 자동으로 생성할 수 있음

* 직접 테이블 정의하려면 Spring Batch에서 제공하는 SQL 스크립트를 사용해 수동으로 생성할 수도 있음

 

➕ Spring Batch의 데이터 처리 방식

: Tasklet, Chunk

 

Tasklet

• 하나의 작업을 수행하는 방식, 단순히 특정 작업을 실행하고 종료함
• 대체로 단순하거나 복잡하지 않은 작업을 수행하는데 적합하며, 전체 데이터를 처리하는 것이 아니라 일부 데이터나 단일 작업을 처리하는 데 주로 사용됨
• Tasklet 인터페이스의 execute() 메서드를 구현하여 사용하고, 이 메서드는 하나의 트랜잭션 범위에서 실행됨
• 반환 값으로 RepeatStatus.FINISHED 를 반환하면 Step 종료됨
• 반환 값으로 RepeatStatus.CONTINUABLE 를 반환하면 Tasklet이 계속 실행되어야 함
• ex) 파일 삭제, 데이터 초기화, 로그 기록 등 반복되지 않는 작업

Chunk

• 데이터를 일정 크기로 나누어서 처리하는 방식, 대용량 데이터를 효과적으로 처리하기 위해 사용
• 데이터를 읽고, 가공하며, 저장하는 작업을 청크 단위로 반복적으로 수행함
• 데이터를 한 번에 모두 처리하는 것이 아닌, 청크 크기만큼 나누어 트랜잭션 단위로 처리함
  • 하나의 청크가 성공적으로 처리되면 커밋되고, 실패하면 해당 청크만 롤백됨

처리 방식	단일 작업을 수행	데이터를 청크 단위로 나누어 처리
트랜잭션 관리	트랜잭션 필요 시 수동 설정	청크 단위로 자동 관리
구성 요소	Tasklet 인터페이스	Reader → Processor → Writer
적합한 작업 유형	간단한 반복 없는 작업 (예: 로그 기록)	대량 데이터 처리 (예: ETL 프로세스)
실패 시 롤백 범위	전체 작업	실패한 청크만 롤백
복잡도	낮음	상대적으로 높음
사용 사례	파일 삭제, 초기화 작업	데이터베이스에서 대량 데이터 읽기 및 저장

 

 

Spring Scheduler

Spring Scheduler 스프링 스케쥴러 : Spring Framework에서 제공하는 작업 스케줄링 기능, 특정 시간 간격이나 특정 시점에 작업을 자동으로 실행할 수 있도록 지원함

 

Spring Scheduler 특징

• 특정 시간 간격/특정 시점에 작업을 실행함
• 별도의 스레드에서 비동기 실행
  • 기본적으로는 단일 스레드를 사용하여 순차적으로 실행지만, 스레드 풀을 설정하여 병렬 실행도 가능함
• @EnableScheduling, @Scheduled 어노테이션으로 작업 구현 가능

 

설정 방법

0️⃣ Spring Scheduler 는 Spring Framework에 기본적으로 포함된 기능이기 때문에 의존성 추가 없이 사용할 수 있음

 

1️⃣ 스케줄러 활성화

@EnableScheduling // SpringBoot Schedule 사용
@SpringBootApplication
public class BatchApplication {

	public static void main(String[] args) {
		SpringApplication.run(BatchApplication.class, args);
	}

}

@EnableScheduling 어노테이션을 추가하여 스케줄링 기능 활성화한다.

 

2️⃣ 스케줄링 작업 정의

@Slf4j
@Component
public class TestScheduler
{

	@Scheduled(fixedRate = 5000) // 5초 마다 작업 실행 
	public void fixedRateTask()
	{
		log.info("Fixed Rate Task Executed !!");
	}

	@Scheduled(fixedDelay = 5000) // 이전 작업 종료 후 5초 뒤 실행 
	public void fixedDelayTask()
	{
		log.info("Fixed Delay Task Executed !! ");
	}

	@Scheduled(cron = "0 0 12 * * ?") // 매일 정오 12시에 실행 
	public void cronTask()
	{
		log.info("Cron Task Executed !! ");
	}
}

• fixedRateTask : 이전 작업의 시작 시점부터 지정된 시간 간격(ms) 마다 작업을 실행
• fixedDelayTask : 이전 작업이 종료된 시점부터 지정된 시간 간격(ms) 마다 작업을 실행
• cron : Cron 표현식 사용해서 스케줄링
  • “0 0 12 * * ?”→ 매일 정오에 실행
  • “0 0/15 * * * ?”→ 매 15분 마다 실행
  • “0 0 9-17 * * MON-FRI”→ 월 ~ 금 오전 9시부터 17시까지 매시간 정각에 실행

❗ @Scheduled 어노테이션은 반환 타입을 반드시 void여야 하고, 매개변수 사용할 수 없음

 

간단한 예제 구현

Spring Batch + Spring Scheduler를 사용하여 간단한 예제 구현하기

• 파일에서 데이터를 읽고, 간단한 변환(가공) 작업 후 DB에 저장해보기 !

1️⃣ 의존성 추가

build.gradle

	implementation 'org.springframework.boot:spring-boot-starter-batch'
	implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
	runtimeOnly 'com.h2database:h2'

2️⃣ CSV 데이터

batch/src/main/resources/people.csv

name,age,phoneNo
Hyejin,28,010-1234-5678
JungHa,28,010-0000-0000
Name1,29,010-1111-1111
Name2,29,010-2222-2222
Name3,30,010-3333-3333
Name4,30,010-4444-4444

 

 

3️⃣ application.yml 설정

spring:
  datasource:
    url: jdbc:h2:mem:testdb
    driver-class-name: org.h2.Driver
    username: sa
    password:
  jpa:
    database-platform: org.hibernate.dialect.H2Dialect
    hibernate:
      ddl-auto: create
    show-sql: true
  batch:
    jdbc:
      initialize-schema: always # DB 스키마 초기화.
    job:
      enabled: false # 시작과 동시에 실행 방지.
  h2:
    console:
      enabled: true
      path: /h2-console

 

 

4️⃣스프링 배치 설정

BatchConfig

: Job, Step 설정

@Configuration
//@EnableBatchProcessing // Spring Batch 5.x 는 설정하지 말기 
@RequiredArgsConstructor
public class BatchConfig
{

	private final JobRepository jobRepository;
	private final PlatformTransactionManager transactionManager; // 트랜잭션 관리 담당 
	private final PersonRepository personRepository;

	/**
	 * csv 파일 데이터 읽어오는 Reader
	 * @return
	 */
	@Bean
	public FlatFileItemReader<Person> reader()
	{
		return new FlatFileItemReaderBuilder<Person>()
				.name("personItemReader")
				.resource(new ClassPathResource("people.csv"))
				.delimited() // CSV 파일의 구분자를 기반으로 데이터 읽도록 설정 
				.names("name", "age", "phoneNo") // CSV 파일의 각 열 이름 지정 
				.linesToSkip(1) // 첫번째 줄 헤더 무시 
				.fieldSetMapper(new BeanWrapperFieldSetMapper<>(){ 
					{
						setTargetType(Person.class); // CSV 파일에서 읽은 데이터를 Person 객체로 매핑 
					}
				})
//				.fieldSetMapper(fieldSet -> new Person(fieldSet.readString("name"), fieldSet.readInt("age"), fieldSet.readString("phoneNo")))
				.build();
	}

	/**
	 * Person phoneNo 데이터 변환 processor
	 * @return
	 */
	@Bean
	public ItemProcessor<Person, Person> processor()
	{
		return person -> {
			person.setPhoneNo(person.getPhoneNo().replaceAll("-", ""));
			return person;
		};
	}

	/**
	 * 변환한 데이터 DB에 저장
	 * @return
	 */
	@Bean
	public ItemWriter<Person> writer()
	{
		return personRepository::saveAll;
	}

	/**
	 * Step 설정 : Reader -> Processor -> Writer
	 * @return
	 */
	@Bean
	public Step step()
	{
		return new StepBuilder("step1", jobRepository)
				.<Person, Person>chunk(10, transactionManager) // 한 번에 10개의 데이터 읽고, 처리한 뒤 커밋 
				.reader(reader())
				.processor(processor())
				.writer(writer())
				.build();
	}

	/**
	 * Job 설정 : Step 실행 설정
	 * @return
	 */
	@Bean
	public Job importPersonJob()
	{
		return new JobBuilder("importPersonJob", jobRepository)
				.start(step())
				.build();
	}
}

• @EnableBatchProcessing : Spring Boot 3.0 이상부터는 이 어노테이션을 사용하지 않음 ! → 사용하면 Spring Batch 기본 설정이 백오프 됨
  • @EnableBatchProcessing 이 어노테이션을 처음에는 붙여서 테스트 했더니, 이 설정이 적용되지 않아서 배치 관련 테이블들이 자동 생성되지 않았음!!
• Chunk 기반 : 데이터를 여러 조각으로 나누어 처리하는 방식 → ItemReader, ItemProcessor, ItemWriter 로 구성

 

6️⃣ 배치 Job 실행 

- BatchRunner 로 실행해보기

: CommandLineRunner를 사용해서 Spring Boot 실행할 때 배치 Job 자동으로 실행하도록 !

BatchRunner

 @Component
@RequiredArgsConstructor
public class BatchRunner implements CommandLineRunner
{
	private final JobLauncher jobLauncher;
	private final Job importPersonJob;

	@Override
	public void run(String... args) throws Exception
	{
		JobParameters jobParameters = new JobParametersBuilder()
				.addLong("time", System.currentTimeMillis())
				.toJobParameters();

		jobLauncher.run(importPersonJob, jobParameters);
	}
}

 

- Spring Scheduler 이용해서 특정 간격으로 실행해보기

PersonSchedule

@Slf4j
@Component
@RequiredArgsConstructor
public class PersonSchedule
{
	private final JobLauncher jobLauncher;
	private final Job importPersonJob;

	@Scheduled(cron = "0 */3 15-16 * * ?")
	public void startJob()
	{
		JobParameters jobParameters = new JobParametersBuilder()
				.addLong("time", System.currentTimeMillis())
				.toJobParameters();

		try
		{
			jobLauncher.run(importPersonJob, jobParameters);
		}
		catch (JobExecutionAlreadyRunningException
				| JobRestartException
				| JobInstanceAlreadyCompleteException
				| JobParametersInvalidException
				e)
		{
			log.error("startJob run error :{}", e.getMessage(), e);
		}
	}
}

• @Scheduled(cron = "0 */3 15-16 * * ?")
  • 0 : (한 번) → 만약 3
  • */3 : 3분마다 실행
  • 15-16 : 오후 15시부터 16시 동안만 실행
  • * : 매일 실행
  • * : 매월 실행
  • ? : 특정 요일 무관