AWS ECS에서 force-new-deployment가 제대로 되지 않을 때
ECS에 배포된 서비스를 재배포하고 싶을 때는 보통 다음과 같은 명령어를 이용합니다.
Recent Posts
Apache Livy에서 Spark job stdout log를 보는 법
저는 Spark cluster에 job을 제출할 때 Apache Livy라는 프레임워크를 사용합니다. Livy는 RESTful API를 이용하여 Spark cluster에 job을 제출할 수 있게 하는 도구입니다. 다만 spark-submit을 이용하여 작업을 제출할 때와 약간의 ...
Airflow 오류 - The CSRF session token is missing
어느 날 Airflow에 접근했더니 갑자기 다음과 같은 오류 메시지가 나오기 시작했습니다.
Airflow에서 superuser 만드는 법
Airflow에서 다음과 같은 설정값을 통해 간단한 계정 기반 인증 시스템을 구현할 수 있습니다.
Airflow 오류 - The session is unavailable because no secret key was set
ECS에 Airflow를 설정하던 도중 다음과 같은 오류 메시지를 만났습니다. RuntimeError: The session is unavailable because no secret key was set. Set the secret_key on the application ...