Amazon Simple Workflow Service (SWF)

Amazon Simple Workflow Service (SWF)

1. 1. Amazon Simple Workflow Service(SWF) AWS Black Belt Tech Webinar 2014 アマゾンデータサービスジャパン株式会社 技術本部 エンタープライズソリューション部 部長/ソリューションアーキテクト 片山暁雄
2. 2. アジェンダ • Amazon SWFのメカニズム • AWS Flow Framework • SWFのさまざまな機能 • まとめ
3. 3. アジェンダ • Amazon SWFのメカニズム • AWS Flow Framework • SWFのさまざまな機能 • まとめ
4. 4. Amazon SWFとは Amazon SWFは「処理のステート管理」と「タスク間の コーディネート」を行うためのフルマネージドサービス Amazon SWFはシステム構築における以下の問題を解消 スケーラビリティ アベイラビリティ 並列処理の制御 ネットワーク/FW越しの連携
5. 5. 例えば：動画の処理 ユーザーが動画 をアップロード サムネイルの 作成 エンコード処理 (スマホ向け） エンコード処理 (PC向け） 不正動画検出 サイト公開 元動画の保存 動画インデック スの更新 メタデータ 埋め込み ユーザー情報 の更新
6. 6. 例えば：動画の処理（アーキテクチャその１） ユーザーが動画 をアップロード サムネイルの 作成 エンコード処理 (スマホ向け） エンコード処理 (PC向け） 不正動画検出 サイト公開 元動画の保存 動画インデック スの更新 メタデータ 埋め込み ユーザー情報 の更新
7. 7. 1つのアプリケーションで逐次処理を実装すれば、システ ムとしての作りは簡単 ただし・・・ • 全体の処理が長くなる • 性能向上はスケールアップしかない • 途中でエラーになった場合にリカバリできない 動画の処理（アーキテクチャその１）
8. 8. 例えば：動画の処理（アーキテクチャその２） ユーザーが動画 をアップロード サムネイルの 作成 エンコード処理 (スマホ向け） エンコード処理 (PC向け） 不正動画検出 サイト公開 元動画の保存 動画インデック スの更新 メタデータ 埋め込み ユーザー情報 の更新 キュー
9. 9. 各タスクをアプリ分割して、キューでつなぐ • 途中でプロセスエラーになっても落ちても、プロセス復帰後は直前 のキューまで戻れる • 各タスクを別のサーバに乗せることが可能 • スケールアウトと冗長化 ただし・・・ • 全体の処理は長いまま • 各タスクが、次のタスクを意識しないといけない エンコード処理 (スマホ向け） エンコード処理 (スマホ向け） 動画の処理（アーキテクチャその2） EC2 EC2
10. 10. 例えば：動画の処理（アーキテクチャその３） ユーザーが動画 をアップロード サムネイルの 作成 エンコード処理 (スマホ向け） エンコード処理 (PC向け） 不正動画検出 サイト公開 元動画の保存 動画インデック スの更新 メタデータ 埋め込み ユーザー情報 の更新 キュー タスクの制御
11. 11. 「タスクの制御」処理を導入 • タスク実行の順序をこの処理に集めることで、タスク間を疎結合に • この処理が状態管理をすることで、タスクの並列実行が可能に • タスクの戻り値で次のタスクを変えたりできる • 処理の履歴を記録できる ただし・・・ • 状態管理や処理履歴記録など、複雑な実装が必要 • 「タスクの制御」処理自体がSPOFで、かつスケーラビリティに欠ける 動画の処理（アーキテクチャその3）
12. 12. 例えば：動画の処理（アーキテクチャその4） ユーザーが動画 をアップロード サムネイルの 作成 エンコード処理 (スマホ向け） エンコード処理 (PC向け） 不正動画検出 サイト公開 元動画の保存 動画インデック スの更新 メタデータ 埋め込み ユーザー情報 の更新 コーディネーター 次のタスクを 決める キュー
13. 13. 「タスクの制御」を分割する • 「タスクの制御」のうちでも、汎用的な処理を、コーディネーターと して切り出す • 状態管理、次タスクへのキューイング、タスク終了の補足、実行履歴の 記録、エラーの補足、etc… • 汎用的でない部分はタスク化して状態を持たないようにする • 毎回キューに入ってくる実行履歴をもとに、次のタスクを決めるとこ ろだけに専念 動画の処理（アーキテクチャその4） コーディネーター ＝ Amazon SWF
14. 14. 次のタスクを 決める エンコード処理 (スマホ向け） エンコード処理 (スマホ向け） 次のタスクを 決める SWFアーキテクチャと用語 ユーザーが動画 をアップロード 次のタスクを 決める エンコード処理 (スマホ向け） ワークフロー スターター デサイダー アクティビティ デシジョン タスクリスト アクティビティ タスクリスト ポーリング ポーリング ドメイン ワークフロー エグゼキューション ワークフロー エグゼキューション ワークフロー エグゼキューション
15. 15. SWF用語 ワークフロースターター • ワークフローをキックするプログラム • キックするたびに「ワークフローエグゼキューション」が作成される ワークフローエグゼキューション • ワークフローのインスタンス • 各ワークフローエグゼキューションごとに以下のような情報を保持 • WorkflowID：ユーザー採番の任意ID – 決済番号や請求書番号などを設定（重複時はエラー） • RunID:自動生成IDされるユニークID • ワークフローヒストリー：入出力情報含むタスクの実行履歴 • 開始時間 • タイムアウト設定
16. 16. SWF用語 ドメイン • この区分ごとに、ワークフローエグゼキューションやタスクリストが管理さ れる • プログラム言語でいう「ネームスペース」のような概念 タスクリスト • デサイダー/アクティビティがポーリングをするためのキュー • デサイダーとアクティビティごとにキューを設定 • タスクリストに入った1つのタスクは、1つのデサイダー/アクティビティし か取得しないことを保証 • タスクリストは、ドメイン内で共有 • 異なるワークフロースターターから始まる処理にも利用可能
17. 17. エンコード処理 画像タスク タスクリストの使い方 ユーザーが動画を アップロード 動画タスク ユーザー認証 ワークフロー エグゼキューション ワークフロー エグゼキューション ユーザーが画像を アップロード エンコード処理エンコード処理エンコード処理エンコード処理 課金ユーザー 無料ユーザー 共通処理
18. 18. SWF用語 デサイダー • 次のタスクを決めるタスク • タスクリストをポーリングして、タスクがあった場合に、 次に実行するアクティビティを指定 アクティビティ • ワークフロー内の個別のタスクの処理 • デサイダーと同様、タスクリストをポーリングするため、 オンプレミスや既存DCでの動作も可能 • 人手を介する処理でもOK
19. 19. ここまでのまとめ Amazon SWFは、デサイダーとアクティビティのコー ディネートと、ステート管理を行うサービス SWFのアーキテクチャでシステムを構築すると、以下の問題 が解決できる スケーラビリティ アベイラビリティ 並列処理の制御 ネットワーク/FW越しの連携
20. 20. 開発 SWF実行までの流れ アプリケーションやワーク フローの設計、必要なアク ティビティの洗い出し ドメインの作成 ワークフローと アクティビティタイプの登録 アクティビティの 実装 デサイダーの実装 ワークフロー スターターの実装 ワークフロースターターの 実行 ワークフロー エグゼキューション デサイダーやアクティビ ティワーカーのデプロイと 実行 設計 実行
21. 21. アジェンダ • Amazon SWFのメカニズム • AWS Flow Framework • SWFのさまざまな機能 • まとめ
22. 22. AWS Flow Framework ワークフロー開始の呼び出し、タスクリストのポーリング、分岐処理 の実行など、SWFの各種APIを隠ぺいしてハイレベルなプログラミン グを提供する、クライアントフレームワーク Java,Rubyで提供。その他言語はAWS SDKを使用 Flow Framework Flow Framework Flow Framework
23. 23. AWS Flow Framework for Ruby AWS Flow Framework for Ruby • アクティビティ、デサイダー実装のための親クラスを提供 • その他有用なユーティリティを提供 • AWS SDK for Rubyを使用 セットアップ • Ruby(1.9以上)をセットアップ • AWS SDK for Rubyをインストール • gem install aws-sdk • http://aws.amazon.com/jp/sdkforruby/ • AWS Flow Framework for Rubyをインストール • gem install aws-flow • http://rubygems.org/gems/aws-flow
24. 24. クラス構成と実装順 HelloWorldActivity HelloWorld ActivityWorker HelloWorld WorkflowWorker HelloWorldflow Starter AWS::Flow:: ActivityWorker AWS::Simple Workflow HelloWorldWorkflow AWS::Flow::Activities 認証情報 実装する部分 生成される部分 SDK提供部分 利用 アクティビティ の実装 デサイダーの実装 ワーカー/ワークフロー スターターの実装 extend AWS::Flow::Workflows extend AWS::Flow:: WorkflowWorker AWS::Flow:: workflow_client
25. 25. アクティビティの実装 Activitiesクラスを継承して、アクティビティを実装 アクティビティオプションの 設定 ビジネスロジックをここに記述
26. 26. デサイダーの実装 Workflowsクラスを継承して、デサイダーを実装 デサイダーの設定 デジションコーディング用 のスタブを生成 処理フローを実装
27. 27. ワーカー/ワークフロースターターの実装 AWS::Flow::ActivityWorker.new(SWFのクライアント, ドメイン, “activity_tasklist”, HelloWorldActivity).start AWS::Flow::workflow_client( SWFのクライアント, ドメイン,{from_class: "HelloWorldWorkflow“}) .start_execution(“World") ワーカーを実装 AWS::Flow::WorkflowWorker.new(SWFのクライアント, ドメイン, “workflow_tasklist”, HelloWorldWorkflow).start ワークフロースターターを実装 ※サンプルではHelloWorldActivity,HelloWorldWorkflowに内包
28. 28. デサイダーの実装方法 • デサイダーはワークフローのフローロジックの要 – 逐次処理、並列処理、フォーク/ジョインはデサイダーで実装 • 並列処理やフォーク/ジョインは、用意されたメソッドを用いて実装 – send_async、wait_for_any, wait_for_allなどのメソッドで並列処理や処 理待ちを実装
29. 29. デサイダーの実装例 client.activity1 client.activity2 client.activity3 client.activity1 client.send_async(:activity2) client.send_async(:activity3) first_future = client.send_async(:activity1) second_future = client.send_async(:activity2) wait_for_all(first_future, second_future) client.activity3 逐次処理 結果による分岐 並列処理を待つ並列処理 decision_value = client.activity1 if (predicate_function(decision_value)) client.activity2 else client.activity3 end first_future = client.send_async(:activity1) second_future = client.send_async(:activity2) wait_for_any(first_future, second_future) client.activity3 １つが実行済みなら続行 http://docs.aws.amazon.com/amazonswf/latest/awsrbflowguide/programming-workflow-patterns.html
30. 30. さらに詳しいデサイダーの実装例 Recipes • http://docs.aws.amazon.com/amazonswf/latest/awsrbflowguide/r ecipes.html 以下のレシピを実装付きで公開 • 単一アクティビティの繰り返し実行 • 複数アクティビティの繰り返し実行 • 条件によるワークフローロジックの実行 • 手動操作によるアクティビティタスクの完了 • 非同期コードからスローされた例外のハンドリング方法 • 非同期コード実行失敗時のリトライ • 子ワークフローの呼び出し • ワークフローへのシグナル
31. 31. Flow Frameworkの実装サンプル 各種サンプル実装 • https://github.com/awslabs/aws-flow-ruby-samples Hello Worldや、ファイル処理、デプロイメント、cron処理など有 用なサンプルが多数 • このサンプルに先出のレシピの実装ファイルも同梱
32. 32. AWS Flow Framework AWS Flow Framework for Java • アクティビティのロジック実装から、SWF固有処理を分離 • デサイダーのロジック実装から、非同期処理の実装を分離 • JavaのAPT機能を使用して、各種スタブコードを生成 • JUnitを使用したテストのサポート機能 • AWS SDK for Javaを使用 セットアップ • JDKをセットアップ • Eclipseの場合、下記URLを参照 • http://docs.aws.amazon.com/amazonswf/latest/awsflowguide/setup.html • その他IDEの場合 • AWS SDK for Javaを入手（Flow Frameworkも内包） • 上記URLを参考に、プロジェクトのAPTと、JREのAspectJ設定を実施
33. 33. クラス構成と実装順 MyActivityImpl MyActivity MyActivity ClientImpl MyActivityClient APT MyWorkflowClient External MyWorkflowClien tExternalImpl MyWorkflowClient ExternalFactory MyWorkflowClient ExternalFactory Impl APT APT MyActivityWorker MyWorkflowWorker MyWorkflow Starter ActivityWorker AmazonSimple Workflow MyWorkflowImpl MyWorkflow WorkflowWorker 認証情報 実装する部分 生成される部分 SDK提供部分 利用 アクティビティ の実装 デサイダーの実装 ワーカー/ワークフロー スターターの実装
34. 34. アクティビティの実装 @Activities(version = "1.0") @ActivityRegistrationOptions( defaultTaskList = “MyActivityTaskList”, defaultTaskScheduleToStartTimeoutSeconds = 30, defaultTaskStartToCloseTimeoutSeconds = 30) public interface MyActivity { String activity1(); } インターフェースを実装 public class MyActivityImpl implements MyActivity { @Override public String activity1() { return “a1”; } } アクティビティのインターフェースを定義 ビジネスロジックを記述 アクティビティの設定
35. 35. デサイダーの実装 @Workflow @WorkflowRegistrationOptions( defaultTaskList = Constants.DECIDER_TASK_LIST, defaultExecutionStartToCloseTimeoutSeconds = 300, defaultTaskStartToCloseTimeoutSeconds = 100) public interface MyWorkflow{ @Execute(version = "1.0") void execute(); } インターフェースを実装 public class MyWorkflowImpl implements MyWorkflow { private MyActivityClient client = new MyActivityClientImpl();//生成されたアクティビティのスタブ @Override public void execute() { client.activity1(); } } デサイダーのインターフェースを実装 デサイダーの設定 処理フローを実装
36. 36. ワーカー/ワークフロースターターの実装 public class MyActivityWorker { public static void main(String[] args) throws Exception { AmazonSimpleWorkflow swfClient = Helper.createClient(); String domain = CreateDomain.DOMAIN; ActivityWorker worker = new ActivityWorker(swfClient, domain,”ACTIVITY_TASK_LIST”); MyActivityImpl ac = new MyActivityImpl(); worker.addActivitiesImplementation(ac); worker.start(); } } public class MyWorkflowWorker { public static void main(String[] args) throws Exception { AmazonSimpleWorkflow swfClient = Helper.createClient(); String domain = CreateDomain.DOMAIN; WorkflowWorker worker = new WorkflowWorker(swfClient, “DECIDER_TASKLIST”); worker.addWorkflowImplementationType(MyWorkflowImpl.class); worker.start(); } } ワーカーを実装 フレームワーク 提供のクラス アクティビティクラスの インスタンスを登録 フレームワーク 提供のクラス デサイダークラスを登録 ポーリング を開始 ポーリング を開始
37. 37. ワーカー/ワークフロースターターの実装 ワークフロースターターを実装 public class MyWorkflowStarter { public static void main(String[] args) throws Exception { AmazonSimpleWorkflow swfClient = Helper.createClient(); String domain = CreateDomain.DOMAIN; MyDeciderClientExternalFactory factory = new MyDeciderClientExternalFactoryImpl(swfClient, domain); String workflowId = “DEMO” + new SimpleDateFormat("yyyy-MM-dd-hh-mm-ss").format(new Date()); MyDeciderClientExternal client = factory.getClient(workflowId); StartWorkflowOptions options = new StartWorkflowOptions(); options.setTaskList(Constants.DECIDER_TASK_LIST); client.execute(); } } フレームワークで 生成されるクラス IDを生成 ワークフロー開始
38. 38. デサイダーの実装方法 • デサイダーはワークフローのフローロジックの要 – 逐次処理、並列処理、フォーク/ジョインはデサイダーで実装 • Promise<>と@Asynchronusが処理フロー実装の基本 – ActivityClientのメソッド、もしくは@Asynchronousのついたメソッドに Promise<>を渡すと、そのPromise<>の状態がReadyになるまで処理が実 行されない – 逐次処理をしたい場合は、直前の処理の戻り値(Promise<>)を、次の処理 の引数にする。並行処理の場合は、戻り値を渡さない MyWorkflowImpl MyWorkflow MyActivity ClientImpl MyActivityClient
39. 39. サンプルワークフロー processStart fileTransfer dataProcessingA combinResult showReport dataProcessingB dataProcessingC dataProcessingD
40. 40. public void processStart(final String srcImagePath) { Promise<String> s3ImagePath = jpl.fileTransfer(srcImagePath); //3分岐の処理 Promise<ProcessingResultA> resultA = aws.dataProcessingA(s3ImagePath); Promise<ProcessingResultB> resultB = aws.dataProcessingB(s3ImagePath); Promise<ProcessingResultC> resultC = aws.dataProcessingC(s3ImagePath); //dataProcessingCの終了後にDを実行 Promise<ProcessingResultD> resultD = aws.dataProcessingD(resultC); //全てのdataProcessiongを待つ Promise<CombineResult> combineResult = jpl.combineResult(resultA, resultB, resultD); Promise<Void> endResult = jpl.showResult(combineResult); } Jpl, awsは生成されたActivetyClientデサイダー実装例
41. 41. デサイダーの実装例 • AWS Flow Framework Recipes – http://aws.amazon.com/code/2535278400103493 • 以下のレシピを実装付きで公開 – 単一アクティビティの繰り返し実行 – 複数アクティビティの繰り返し実行 – 条件によるワークフローロジックの実行 – 手動操作によるアクティビティタスクの完了 – 非同期コードからスローされた例外のハンドリング方法 – 非同期コード実行失敗時のリトライ – ワークフローへのシグナル
42. 42. 実装サンプル 各種サンプル実装は、AWS SDK for Javaに同梱 • http://aws.amazon.com/jp/sdkforjava/ • Samplesフォルダ内のAwsFlowFramework Hello Worldや、ファイル処理、デプロイメント、cron処理など有 用なサンプルが多数
43. 43. デサイダーの実装Tips • 分岐処理を実装するためのクラスやアノテーションを活用 – AndPromise<>,OrPromise<>クラス – @Wait,@NoWait – Settable<>クラス – @Asynchronous、Taskクラス – TryCatch、TryFinally、TryCatchFinallyクラス – @Signal
44. 44. Flow Framework利用のTips 処理の細分化を検討 • 処理を細分化しておき、処理同士を疎結合にすることで、処理の再利用 やワークフロー間での共通利用が可能 • 細分化することで、特定のタスクだけサーバ台数を増やして、パフォー マンスを向上させることが可能 ステートレスを心がける • デサイダーやアクティビティを作る際、データをローカルに持たないよ うに設計する • 例えば画像処理の場合、画像データはS3などに入れ、各アクティビ ティが処理時にS3から取得するようにしておく
45. 45. デサイダー、アクティビティの実行場所 デサイダー、アクティビティはEC2でもオンプレでもどこでもよい EC2であれば、認証情報はIAMロールを利用 ステートレスに作ることで、インスタンスごと生成/破棄できる • AutoScaling, BeanstalkやOpsWorksと相性がよい
46. 46. Flow Frameworkのまとめ Flow Frameworkを利用することで、最小/平易な実装で複雑な ワークフロー処理の記述が可能 Flow Frameworkを利用しないと使えない（使うのが難しい）機 能もあるため、まずは利用を検討
47. 47. アジェンダ • Amazon SWFのメカニズム • AWS Flow Framework • SWFのさまざまな機能 • まとめ
48. 48. Amazon SWFの機能 デサイダー/アクティビティへのタスクルーティング • デサイダー/アクティビティ間のデータ受け渡し ワークフローエグゼキューションの実行履歴保持 • どのようなアクティビティが呼ばれたかの履歴を保持 • 渡された値や戻り値の情報も保持 統計情報の取得 • 実行中のタスク数、終了タスク数、実行履歴 マニュアル実行のアクティビティのサポート • メールでの承認作業や、発送処理などの手作業が入る場合
49. 49. Amazon SWFの機能（cont） 実行時間の長いアクティビティのサポート • 定期的なハートビートの実行 子プロセスサポート • ワークフロー実行中にサブワークフローを実行 シグナル • ワークフロー処理への割り込み 実行中のワークフローのキャンセル マーカー • デサイダー実行時、任意の情報を履歴に入れることができる タグ • ワークフローエグゼキューションにタグを付与（５つまで）
50. 50. さまざまなタイムアウト設定 • http://docs.aws.amazon.com/amazonswf/latest/developerguide/swf- timeout-types.html デサイダー/アクティビティ共通 アクティビティで利用（ハートビート用）
51. 51. Amazon SWFの利用料金(東京リージョン) １ワークフローエグゼキューションごとに$0.00011429 • 初回1,000回は無料 １ワークフローエグゼキューションの実行時間、24時間ごとに$0.00000571 • ただし最初の30,000回、24時間までは無料 完了した１ワークフローの実行履歴を残すのに、1日当たり$0.00000571 • ただし最初の30,000回、24時間までは無料 1タスク、マーカー、タイマー、シグナルごとに$0.00002857 • 最初の10,000回は無料金
52. 52. 各種Limit http://docs.aws.amazon.com/amazonswf/la test/developerguide/swf-dg-limits.html 特にAPI Call数については要チェック 上限解除申請フォーム http://www.amazon.com/gp/html-forms-controller/AmazonSWF_Limit_Increase_Form 数が多い場合は解除申請もしくはサポート/ADSJまでご連絡を！
53. 53. アジェンダ • Amazon SWFのメカニズム • AWS Flow Framework • SWFのさまざまな機能 • まとめ
54. 54. まとめ Amazon SWFは、デサイダーとアクティビティの コーディネートと、ステート管理を行うサービス Flow Frameworkを使うことで、実装が容易に 「ワークフロー」と考えるよりも、「ステートレス 処理をつなげるインフラ」と考えて、幅広い範囲で の利用を！
55. 55. Appendix 参考資料 • Amazon Simple Workflow Service • http://aws.amazon.com/jp/swf/ • AWS Flow Framework • http://aws.amazon.com/jp/swf/details/flow/ • AWS Flow Framework Recipes • http://aws.amazon.com/code/2535278400103493 • AWS Flow Framework samples for Amazon SWF • http://aws.amazon.com/code/3015904745387737 • Getting Started with AWS Flow Framework for Ruby • https://www.youtube.com/watch?v=Z_dvXy4AVEE