Recent Posts

Apache Livy에서 Spark job stdout log를 보는 법

less than 1 minute read

저는 Spark cluster에 job을 제출할 때 Apache Livy라는 프레임워크를 사용합니다. Livy는 RESTful API를 이용하여 Spark cluster에 job을 제출할 수 있게 하는 도구입니다. 다만 spark-submit을 이용하여 작업을 제출할 때와 약간의 ...