Recent Posts

[ZEPPELIN-4611] Fetching rows with newline character ( ) breaks entire table

less than 1 minute read

얼마 전 사내에서 데이터 분석가분의 troubleshooting을 도와주다가 Zeppelin의 버그를 발견했습니다. 바로 table content에 개행문자 (\n) 가 있으면 전체 table이 깨져 보이는 버그였습니다. 워낙 원인이 명확해보이는 버그라 망설임없이 Zeppelin ...

Apache Livy에서 Spark job stdout log를 보는 법

less than 1 minute read

저는 Spark cluster에 job을 제출할 때 Apache Livy라는 프레임워크를 사용합니다. Livy는 RESTful API를 이용하여 Spark cluster에 job을 제출할 수 있게 하는 도구입니다. 다만 spark-submit을 이용하여 작업을 제출할 때와 약간의 ...