2022_08_07.md

2022.08.07 장애 기록 및 회고

개요

메타데이터 삭제 기능을 추가 후, ECS에 배포 스크립트 명령을 실행하였으나 기능이 추가되지 않는 일이 발생하였습니다.

이후 새로운 기능도 추가로 배포하였으나, 해당 기능도 반영되지 않은 것을 확인했습니다.

해결 과정

몇가지 가정을 세우고 실행해 보았습니다.

1. 도커 이미지가 제대로 만들어지지 않았다.
   1. 그래서 ECR에 저장된 도커 이미지를 다운받아서 로컬에서 실행하였더니, 기능이 잘 추가된 도커 이미지인 것을 확인했습니다.
2. 도커 이미지가 캐싱이 되었거나 새로운 이미지를 다운받지 않았다.
   1. 기존 컨테이너를 끄고, 도커 이미지도 삭제 후 다시 컨테이너를 띄우니 정상적으로 동작하는 것을 확인했습니다.

원인

기존에 컨테이너 배포 속도 향상을 위해, /etc/ecs/ecs.config파일의 ECS_IMAGE_PULL_BEHAVIOR 옵션을 ONCE 로 설정하고 그대로 둔 것

• 그래서 배포한 최신 도커 이미지가 다운받아지지 않고, 기존 도커 이미지 만으로 컨테이너 재시작만 되므로 새로운 기능이 적용되지 않은 것이였습니다.

후기 및 앞으로 유의할 점

• 실험을 위해 변경한 옵션 및 설정값에 대해서는 다시 되돌려 놓을 것
• 도커 이미지만 다시 다운받기만 해도 해결될 문제였으나, 해결하는 과정에서 컨테이너를 강제로 삭제 후 도커 이미지도 삭제하여 ECS에서 컨테이너를 다시 띄우지 못했고 이는 몇분간의 장애로 이어졌습니다. 다음부터는 가정을 좀 더 명확하게 세우고 그에 맞는 대처방안을 실행해야 할 것 같습니다.

참고 문서

• https://docs.aws.amazon.com/ko_kr/AmazonECS/latest/bestpracticesguide/pull-behavior.html