亚马逊云服务推出简化Apache Airflow部署与使用的托管服务

(全球TMT2020年11月30日讯)日前,亚马逊云服务(AWS)宣布面向Apache Airflow的Amazon Managed Workflows(MWAA)正式可用。这项全新服务让数据工程师可以更轻松地在云端运行数据处理工作流。Apache Airflow是一款流行的开源工具,可以帮助客户编写、调度和监控工作流。通过Amazon MWAA,客户可以使用熟悉的Airflow平台来管理工作流,而不改变现有的操作方式,同时改善可伸缩性、可用性和安全性,又无需承担构建、扩展和管理底层基础设施。Amazon MWAA可根据客户需求,扩展工作流执行能力,并与AWS安全服务集成,提供安全访问客户数据的入口。使用Amazon MWAA无需前期投入,客户只需为使用的资源付费。

Amazon MWAA使得客户可以很方便地在AWS中构建和执行Apache Airflow工作流。Amazon MWAA负责管理Apache Airflow的配置和日常维护,客户不再需要操心补丁、扩展,不需要保护自管理的Apache Airflow部署。使用Amazon MWAA,执行任务的计算资源可以按需伸缩,为用户提供一致的性能。客户数据默认是安全的,因为工作负载使用Amazon VPC虚拟私有云,运行在客户自己隔离的安全云环境中,存储的数据使用AWS KMS 密钥管理服务加密。

Amazon MWAA使得客户可以很容易地使用任何Apache Airflow的集成来组合数据,可以使用AWS服务,也可使用Apache Hadoop、Presto、Hive和Spark等流行的第三方工具,从而实现数据处理、机器学习管道以及软件开发与运营的自动化。客户可以通过AWS IAM身份与访问管理服务,轻松安全地实现基于角色访问Apache Airflow用户界面,为调度和查看工作流执行提供用户单点登录(SSO)的访问。Amazon MWAA自动向AWS监控服务Amazon CloudWatch发送Apache Airflow系统指标和日志,客户无需第三方工具,即可轻松查看跨一个或多个环境的任务执行延迟和工作流出错情况。通过使用Amazon MWAA,数据工程师可以获得Apache Airflow可扩展性、可用性和AWS的安全性。