Apache Spark情報
Apache Sparkとは
Apache Spark(以下、Spark)は、ビッグデータや機械学習など、大規模なデータを扱うクラスターコンピューティング向け分散処理フレームワークです。
Sparkが開発された背景には、当時広く利用されていたMapReduceという分散処理モデルの課題がありました。
MapReduceでは段階的に処理を行うたびに中間データをディスクへ書き出すため、繰り返し計算を伴うデータ分析では処理速度が向上しにくいという課題がありました。
また、処理の流れが「Map」と「Reduce」を中心とした構造に限られるため、複雑な分析処理を実装しづらい面もありました。
Sparkはこうした課題を解決するために開発された分散処理フレームワークです。
単体で利用できる一方、Hadoop環境における処理エンジンとしてHadoop MapReduceの代わりに利用することもできます。
つまり、データを保存するHDFSやリソースを管理するYARNはそのまま利用しつつ、実際のデータ処理だけをSparkに置き換えることができます。
Sparkは2009年にカリフォルニア大学バークレー校のAMPLabで、大量データを分散保存・分散処理するオープンソース基盤であるHadoopのコミッター（主要な開発貢献者）でもある マテイ・ザハリア氏により開発が開始され、2010年初頭にオープンソースとして公開されました。
2013年にApache Software Foundationに移行し、数多くの組織や開発者により継続的に開発されています。
主な特徴
Sparkの大きな特徴として、MapとReduceに限定されない柔軟な処理モデルを構築できること、大規模データに対して従来のMapReduceに比べ遥かに短い時間で処理が行えることが挙げられます。
従来のMapReduceでは、MapとReduceを1セットで行う処理モデルを前提としておりこのスタイルに沿って開発する必要があったため、柔軟に処理を実装することが難しいという問題が存在しました。
さらに、MapReduceでは1回の処理ごとにディスク への書き込みが行われるため、処理速度の向上が難しいという問題が存在しました。
これに対してSparkでは、メモリ上に保持したデータセット（RDD: Resilient Distributed Dataset）に対して複数回の変換処理を連続して実行し、Reduceした結果をディスクへ書き込む事なくインメモリの状態で次のMap処理を行う方法をとっています。
そのためMapReduceに比べ最大で100倍以上の処理速度の向上が見られる場合もあるとされています（従来のMapReduceのように処理結果をディスクへ書き込むことも可能）。
Hadoopとの違い
SparkはしばしばHadoopと比較される分散処理フレームワークですが、両者の最大の違いは「処理方式」と「役割の範囲」にあります。
Hadoopが「分散ストレージ（HDFS）＋分散処理（MapReduce）＋リソース管理（YARN）」を包括するエコシステム全体であるのに対し、Sparkは処理エンジンに特化し、ストレージは外部システム（HDFSやAmazon S3等）に委ねる設計です。
Sparkの主な強みは以下の3点になります。
- インメモリ処理による圧倒的な高速性（MapReduce比 最大100倍）
- バッチ・ストリーミング・SQL・機械学習を統合する汎用性
- Scala/Java/Python/R/SQLによる多言語対応と直感的なAPI
Hadoop MapReduceでは処理のたびにディスク書き込みが必要となるのに対し、Sparkはデータをメモリ上に保持したまま反復処理できるため、特に機械学習や対話型分析のような繰り返し処理を伴うワークロードで圧倒的に有利です。
一方、HadoopはHDFSという信頼性の高い分散ストレージを内包しており、ペタバイト級の長期蓄積データに対するコスト効率の高いバッチ処理には依然として優位性があります。
実際、両者は対立するものではなく、HDFS上のデータをSparkで処理するという併用構成も広く採用されています。
Hadoop との比較
|
比較項目 |
Apache Hadoop (Hadoop MapReduce) |
Apache Spark |
|---|---|---|
|
処理方式 |
ディスクベース（バッチ処理） |
インメモリベース（バッチ＋ストリーミング） |
|
処理速度 |
中間結果をディスクに書込むため低速 |
メモリ上で処理するため高速 |
|
役割の範囲 |
ストレージ(HDFS)＋処理(MapReduce)＋リソース管理(YARN)を包含 |
処理エンジンに特化（ストレージは外部システムに依存） |
|
開発言語 |
主にJava |
Scala / Java / Python / R / SQL |
|
API |
低レベルなHadoop MapReduce API |
RDD（Resilient Distributed Dataset） / DataFrame / Dataset / Spark SQLによる高レベルAPI |
|
機械学習 |
Mahoutを別途利用（MapReduceベース） |
MLlibを標準搭載（高速） |
|
リアルタイム処理 |
非対応（バッチ専用） |
Structured Streamingで対応 |
|
コスト |
ディスクが主のため比較的低コスト |
大量メモリが必要で相対的に高コスト |
|
適したケース |
大容量データに対する低コストなバッチ処理 |
反復処理・リアルタイム処理・機械学習 |
Apache Sparkを構成するコンポーネント
Sparkは基盤となるSpark Coreの上に4つのコンポーネントを統合した分散処理プラットフォームです。
Spark Coreが分散処理の基盤機能を提供し、その上でSpark SQL、Structured Streaming、MLlib、GraphXの4つのコンポーネントが機能します。
|
コンポーネント |
役割 |
|---|---|
|
Spark Core |
Sparkの中核。 |
|
Spark SQL/ DataFrame/Dataset |
SQLおよびDataFrame/Dataset APIによる構造化データ処理。 |
|
Structured Streaming |
リアルタイムストリーミングデータ処理エンジン（旧Spark Streamingの後継API） |
|
MLlib |
分散環境向けの機械学習ライブラリ。 |
|
GraphX |
グラフデータの並列処理API。 |
なお、Sparkはストレージ層を持たず、HDFS / Amazon S3 / Cassandra / HBase / Kafka / MongoDB など、外部のデータソース・ストレージと柔軟に連携できます。
メリット・デメリット
メリット
|
項目 |
内容 |
|---|---|
|
高速な処理性能 |
インメモリ処理により、ディスクI/Oベースの処理（MapReduce等）と比較して最大100倍高速 |
|
多言語対応 |
Java / Scala / Python / R / SQLをネイティブサポートし、データエンジニアとデータサイエンティストの双方が扱いやすい |
|
統合プラットフォーム |
バッチ処理、ストリーミング、SQL、機械学習、グラフ処理を単一エンジンで実行可能 |
|
耐障害性 |
RDDはデータがどのような処理で作られたかというlineage情報を保持しているため、ノード障害時にも自動でデータを再計算可能 |
|
豊富なエコシステム |
HDFS、Amazon S3、Cassandra、Kafka、Delta Lakeなど多数のデータソース・ストレージと連携可能 |
|
クラウド／コンテナ対応 |
YARN、Kubernetes、Standaloneなど多様なクラスタマネージャに対応し、クラウドネイティブ環境への展開も容易 |
デメリット
|
項目 |
内容 |
|---|---|
|
メモリリソースの要求が高い |
インメモリ処理のため、大規模データを扱う際は十分なRAM搭載クラスタが必要となり、Hadoopと比べてインフラコストが高くなりがち |
|
小規模データには過剰 |
数GB程度の小規模データ処理ではオーバーヘッドが大きく、PandasやPolarsなど軽量ツールの方が高速な場合がある |
|
学習コスト |
分散処理特有の概念（パーティショニング、シャッフル、Catalyst Optimizer等）の理解が必要 |
|
チューニングの難しさ |
パフォーマンスを最大化するには、メモリ・パーティション・シリアライザ等の細かなチューニングが必要 |
|
リアルタイム性の限界 |
Structured Streamingはマイクロバッチ方式のため、ミリ秒級の超低レイテンシ要件ではApache Flinkなどが適する場合がある |
ユースケース
Apache Sparkは、その高速性・汎用性・多言語対応の特性から、業界を問わず幅広い分野で活用されています。
以下に実際に多くの企業で採用されている代表的なユースケースをいくつかご紹介します。
- 大規模ETL処理／データパイプラインの基盤
最も普及しているユースケースはデータウェアハウスやデータレイクへの大規模ETL（抽出・変換・ロード）処理です。 複数のデータベース、ログファイル、外部APIなど多様なデータソースから取得したデータをSpark SQLやDataFrame /Dataset APIを用いて変換・加工し、分析基盤へ蓄積する用途で利用されます。 eBayが自社のデータウェアハウスをSparkベースのETLプラットフォームへ移行した事例や、Uberがビッグデータインフラの中核としてSparkを採用している事例が代表的です。
- リアルタイムストリーミング分析
Structured Streamingを利用することで、Apache KafkaやAmazon Kinesisから流れ込むストリーミングデータをリアルタイムに集計・分析できます。 Webサービスのアクセスログをほぼリアルタイムに集計して顧客向けダッシュボードに反映する用途、ECサイトでのリアルタイムなトラフィック監視、SNSのトレンド分析など、「データが生まれた直後に価値を引き出す」用途で広く利用されています。
- 金融機関での不正検知（リアルタイムスコアリング）
クレジットカード取引やオンラインバンキングなどの金融トランザクションをリアルタイムに監視し、不正利用を検知する用途にもSparkは活用されています。 過去の膨大な取引履歴をMLlibや外部MLライブラリで学習させ、リアルタイムに流入する取引データに対してスコアリングを行うことで、ルールベースでは捉えにくい巧妙な不正パターンも検出可能になります。 検知ワークフローの構築事例も公開されています。
- レコメンド・パーソナライゼーション
NetflixやUberなど大規模サービスを支えるレコメンドエンジンや個別最適化（パーソナライゼーション）の領域でもSparkは重要な役割を担っています。 膨大なユーザー行動ログを分散処理し、協調フィルタリングや行列分解（ALS）などの推薦アルゴリズムを高速に学習・更新することで、視聴履歴に基づく動画推薦、ECサイトの商品レコメンド、配車サービスのマッチング最適化などを実現しています。
動作環境
Apache Sparkの最新版（4.2系）は、Windows、Linux、macOSなどのOSで動作します。
対応するJavaが利用できる環境であれば、x86_64およびARM64を含む一般的なJVM環境で実行できます。
ローカル環境で試す場合は、Javaをインストールし、PATHまたはJAVA_HOMEを設定することで利用できます。
- Windows
- LinuxなどのUNIX系OS
- macOS
- x86_64およびARM64のJVM環境
- クラスタ環境ではStandalone、YARN、Kubernetesなどに対応
最新版(2026年7月現在)のApache Spark 4.2系における主なランタイムおよびAPIの対応バージョンは下記です。
- Java 17 / 21 / 25 (但し25系について25.0.3未満は非推奨)
- Scala 2.13（Spark 4.0.0以降、Scala 2.12はサポート対象外）
- Python 3.10以上
- R 4.0以上（R APIは非推奨であり、将来的に廃止される可能性があります）
SparkはHDFSやYARNの利用にHadoopクライアントライブラリを使用します。
配布パッケージにはApache Hadoop 3.4以降向けのビルドや、ユーザー側でHadoopを用意するビルドが提供されています。
また、PySparkはPyPIから、Sparkの公式Dockerイメージはコンテナ環境から利用できます。
Apache Sparkのライセンス
SparkはApache Software Foundationのトップレベルプロジェクトの１つです。
ライセンスは Apache License 2.0 です。
Apache License 2.0 は、商用利用、複製、頒布、改変、派生物の作成を広く認める寛容なオープンソースライセンスです。
ただし、ライセンス本文および著作権表示、NOTICE ファイルなど、所定の表示・条件を守る必要があり、ライセンス条件の範囲内で利用できます。
参考情報
オープンソース年間サポートサービス
OpenStandiaではOSSを安心してご利用いただけるように、オープンソース年間サポートサービスをご提供しております。
サポートしているOSSは下記ページをご参照ください。
