AWS Data Pipeline은 활동의 내결함성 실행을 위해 설계된 고가용성의 분산 인프라에 구축되어 있습니다. 활동 로직 또는 데이터 소스에 장애가 발생하면 AWS Data Pipeline에서 자동으로 해당 활동을 다시 시도합니다. 장애가 지속되면 AWS Data Pipeline가 Amazon Simple Notification Service(Amazon SNS)를 통해 실패 알림을 보냅니다. 실행 성공, 계획된 활동의 지연 또는 실패에 대한 알림을 구성할 수 있습니다.

Amazon의 드래그 앤 드롭 콘솔을 사용하여 쉽고 빠르게 파이프라인을 만들 수 있습니다. 일반적인 사전 조건은 서비스에 내장되어 있으므로, 이를 사용하기 위해 추가 논리를 작성할 필요가 없습니다. 예를 들어 Amazon S3 파일이 있는지 확인하려는 경우, Amazon S3 버킷의 이름 및 파일 경로만 제공하면 나머지는 AWS Data Pipeline에서 알아서 처리합니다. AWS Data Pipeline은 편리한 시각적 Pipeline Creator뿐만 아니라 파이프라인 템플릿 라이브러리를 제공합니다. 이러한 템플릿을 사용하면 정기적으로 로그 파일을 처리하거나, Amazon S3에 데이터를 보관하거나, 주기적으로 SQL 쿼리를 실행하는 등의 더 복잡한 사용 사례에 대한 파이프라인을 매우 간편하게 만들 수 있습니다.

AWS Data Pipeline을 사용하면 일정 예약, 종속성 추적, 오류 처리 등의 다양한 기능을 활용할 수 있습니다. AWS에서 제공하는 활동 및 사전 조건을 사용하거나 사용자 지정 활동 및 사전 조건을 작성할 수 있습니다. 따라서 AWS Data Pipeline에서 Amazon EMR 작업을 실행하거나 데이터베이스에서 직접 SQL 쿼리를 실행하거나 Amazon EC2 또는 자체 데이터센터에서 실행 중인 사용자 지정 애플리케이션을 실행하는 등의 조치를 취하도록 구성할 수 있습니다. 이렇게 하여 안정적으로 애플리케이션 논리를 예약하고 실행하는 등 복잡하게 처리하지 않고도 데이터를 분석하고 처리할 수 있는 강력한 사용자 지정 파이프라인을 만들 수 있습니다