22/08/20 09:48:51.59 7/Uu7qaha.net
HPCクラスターを備えたオンプレミスデータセンターがあり、毎月1週間、何千ものタスクを並行して実行し、PBの写真を処理しています。
写真はネットワークファイルサーバーにアーカイブされ、DR場所に複製されます。オンプレミスのデータセンターが容量に達し、クラスターを最大限に活用するために 1 か月にわたってタスクを分散し始めたため、作業の完了が遅れています。
AWSで費用対効果の高いソリューションを開発するように命じました。これにより、現在の5,000コアと10PBのデータ容量を超えることができます。
ソリューションは、既存の耐久性を維持しながら、可能な限りメンテナンスを少なくする必要があります。
B. Sparkを使用してS3からデータをプルするオンデマンドとリザーブドインスタンスタスク ノードを組み合わせたEMRクラスターを作成します。DynamoDBを使用して、EMRクラスターで処理する必要があるジョブのリストを維持します。
C. 生データをS3に保存し、マネージドコンピューティング環境でAWS Batchを使用してスポットフリートを作成します。ジョブをBatch Job Queuesに送信して、オブジェクトをS3からEBSボリュームにプルダウンして一時ストレージを処理し、結果をS3に書き戻します。
コスト効率と耐久性とメンテナンスの軽減どっちをとる(´・ω・`)？