Functional programming In Scala 코세라 수업이 끝났다.
강의도 좋지만, 숙제가 TDD기반으로 작성하여 작성한 코드를 코세라에 업로드하면 채점용 TestCase가 돌아서 채점이 된다. 이런 부분들의 준비가 굉장히 잘되어 있다.
정말 어려웠던 수업이기도 했다. =_=
Disco을 잘 모르지만, 이번에 통계관련 계산에 한번 써봤다.
map/reduce map/reduce는 map의 결과가 하나의 reduce에서 같은 key으로 모이는 것 보장한다.로직에 따라 다르겠지만. 전체 갯수을 얻는 것이 아니라면 reduce을 늘리는 것이 성능에 좋다. (당연한 이야기이지만)
combiner Disco 문서에서는 보기 힘든데, Hadoop처럼 combiner을 만들 수 있다. combiner은 일종의 accumulator인데. 각 map마다 map의 결과를 받아서 reduce에 넘기기전에 buffer을 가진 function(combiner)을 만들 수 있는데. 대부분의 경우 combiner을 만드는 것이 속도나 메모리 사용에 좋을 것 같다.
Read more