본문 바로가기

오픈소스/spark

맥에서 Spark 설치 및 Scala 통한 Spark 프로그래밍

Home Brew 설치 (http://brew.sh/index_ko.html)

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)


"Hadoop 최신버전 설치 (http://moonlighting.tistory.com/150)

brew install hadoop


Spark 최신버전 설치 (http://hoondongkim.blogspot.kr/2014/10/portable-centos-stand-alone.html)

tar -xvfz spark-1.5.2-bin-hadoop2.6.tar


Spark-Shell 테스트 (http://spark.apache.org/docs/latest/quick-start.html)

bin/spark-shell


SparkPi 예제 테스트

bin/run-example SparkPi 10


SBT 설치

brew install sbt

sbt package

bin/spark-submit --class SimpleApp target/scala-2.11/hello_2.11-1.0.jar


환경설정 변경

맥에서는 쉘 기동 시에 .bashrc 파일을 읽지 않기 때문에 반드시 .profile 에 아래의 라인을 넣어주면 좋다

 if [ -f ~/.bashrc ]; then . ~/.bashrc; fi