Spark StandAlone cluster 구축해보기

1. $SPARK_HOME/bin/spark-submit를 사용하여 배포파일(.jar)을 빌드하는 방법
2. master/slave shell을 사용하여 빌드를 하고나서 spark-shell로 접속하는 방법

첫번째 방법은 작성한 코드를 한번에 돌릴수 있는 장점이 있다.
두번째 방법은 작성하고자 하는 코드를 바로 입력하여 확인할 수 있다.

이번 글에서는 두번째에 해당하는 방법으로 스탠드얼론 클러스터를 사용할 것입니다.

http://spark.apache.org/docs/latest/spark-standalone.html

1. 디렉토리: $SPARK_HOME/conf
2. spark-env.sh 파일복사: cp spark-env.sh.template spark-env.sh
3. spark-defaults.conf 파일복사: cp spark-defaults.conf.template spark-defaults.conf

spark-defaults.conf: 드라이버(마스터) 관련한 설정을 하는 파일이다.

1. 파일 열기: vim spark-defaults.conf

spark-env.sh: spark-submit, standAlone, yarn, memos에 관한 각종 설정을 하는 파일이다.


1. 파일열기: vim spark-env.sh
2. export SPARK_MASTER_HOST=호스트네임 (ex. localhost)
3. export SPARK_WORKER_CORES=워커당 코어수 (ex. 2)
4. export SPARK_WORKER_MEMORY=워커당 메모리용량 (ex. 1G)
5. export SPARK_WORKER_INSTANCES=워커 인스턴스 갯수 (ex. 3)
* 2~4번에 해당하는 설정을 실행 시 shell에서 입력할 수도 있다.
   - $SPARK_HOME/sbin/start-master.sh -h 호스트네임
   - $SPARK_HOME/sbin/start-slave.sh -c 코어수 -m 메모리

$SPARK_HOME/sbin/start-master.sh

$SPARK_HOME/sbin/start-slaves.sh spark://localhost:7077

* spark://localhost:7077은 실행중인 master의 URL의 정보이다.