为大数据与各种工作负载设计的解决方案

现今的数据格式不仅相当多元，更会以实时串流的形式提供，同时散布于世界各地许多不同的数据中心和云端环境中。从数据分析、数据工程、人工智能与机器学习，到数据导向应用程序，运用及分享数据的方式仍在持续增加。数据的影响力不再仅限于分析师，现已扩及所有员工、客户和合作伙伴。

由于数据、工作负载和用户的数量与类型急剧成长，因此目前正处于一个临界点上，即便将传统数据架构部署于云端，也无法完整发挥数据的潜在价值，导致数据越来越难以转化为实际价值。

为克服这些难题，我们正式发表多项数据云端的创新技术，协助大家处理各种工作负载中无穷无尽的数据，并让所有人都能使用。这次发表的项目中包含 BigLake和Spanner变更串流，这些技术可以进一步整合客户数据，同时确保数据能够实时传递。

另外，Vertex AI Workbench和Model Registry则能让大家轻松将资料转化为 AI方面的价值。为了让所有人都能使用数据，我们将发表经过统合的商业智能 （BI）服务，当中包含全新的Workspace整合方案，以及进一步支持Google数据云端合作伙伴生态系的新计划。

突破所有数据限制
我们发表的Beta版BigLake，这个数据湖泊储存引擎可以整合不同的资料湖泊与仓储，进而打破其中的界线。如果分开管理不同的数据仓储与湖泊，会造成资料孤岛的情形发生，并导致额外的风险和费用，这样的问题在需要迁移数据时会特别明显。

有了BigLake，企业就能整合数据仓储和数据湖泊，并进行分析，且不必担心基础的储存空间格式或系统，这样就不需要复制或迁移来源中的数据，进而降低成本并提高效率。

在BigLake的协助下，客户可以采用更细致的存取权控管机制，并透过API接口使用Google Cloud和Parquet等开放原始码文件格式，进而运用Apache Spark等开放原始码处理引擎。这些功能将BigQuery十年的革新成果拓展至 Google Cloud Storage中的数据湖泊，实现了具备弹性并符合成本效益的开放式资料湖仓架构。

Twitter已开始采用BigQuery的储存空间功能来打破数据限制，以便进一步掌握其用户使用Twitter平台的方式，以及会感到兴趣的内容类型。因此，Twitter 能透过每秒可执行超过 300 万次聚合作业的广告管道，每天为数兆个事件提供内容。

另一项重大创新技术是Spanner变更串流。这项即将推出的新产品会进一步协助大家打破数据限制，并实时追踪Spanner数据库中的变更，以便创造全新价值。Spanner变更串流可以追踪Spanner的植入、更新和删除作业，并在整个 Spanner数据库中实时串流异动内容。这样一来，客户就能随时存取最新数据，同时轻松将Spanner中的变更复制到BigQuery来进行实时分析、透过 Pub/Sub触发下游应用程序行动，或是将变更储存至Google Cloud Storage （GCS）来遵守法规要求。Spanner目前每秒最多可处理超过20亿项要求，同时维持99.999%的可用性。而在增加变更串流之后，Spanner现在可以让客户在处理数据时享有无限可能。

消除数据工作负载的限制
我们的AI产品组合是以Vertex AI来驱动，这个代管平台提供建立、部署及扩充模型所需的各项机器学习工具，并经过优化的处理，可以顺畅处理 BigQuery 等服务中的数据工作负载。Vertex AI创新技术提供更加流畅的体验，让客户在更短时间内将AI模型部署至实际工作环境，并进一步简化维护作业。

Vertex AI Workbench现已正式推出，能够将数据和机器学习系统整合至单一接口，这样一来无论是执行数据分析、数据科学或机器学习等工作，团队都能使用相同的工具组来完成。Vertex AI Workbench与BigQuery、无服务器 Spark和Dataproc整合后，可让团队快速建立、训练及部署机器学习模型，速度是传统笔记本电脑的5倍。事实上，一间跨国零售公司采用了Vertex AI Workbench之后，销售额增加了数百万美元，产品上市速度也加快了15%。

有了Vertex AI，就可以定期更新模型，不过要管理大量的构件并非易事，情况可能会在短时间内失控。为了能够更轻松地管理模型的维护作业，我们发布全新的机器学习运作功能Vertex AI Model Registry。目前Vertex AI Model Registry为Beta版，提供中央存放区，可供探索、使用及管理机器学习模型，BigQuery ML中的模型也包含在内。如此，数据数据学家就能轻松分享模型，以方便应用程序开发人员使用，进而让团队能依据数据实时制定决策，在面对持续变化的市场环境时能保持更高弹性。

扩大数据触及范围
我们也推出Looker链接电子表格，以及在Data Studio中存取Looker数据模型的功能。无论是透过Looker探索（Looker Explore）、Google电子表格或是数据分析（Data Studio）的拖曳式接口，大家现在都能按照自己选取的方式与数据行互动。

如此一来，所有人都能运用这个经过整合的全新Google Cloud商业智慧 （BI）平台，更轻松地存取资料、并从中撷取出深入分析的结果，藉此推动革新，并依据资料来制定决策。有了这项整合式商业智慧服务，使用者就能轻松取得受管理且值得信赖的企业数据、采用新的数据集和计算功能，并与同事协同合作。

Mercado Libre是拉丁美洲最大的在线商务与支付服务系统，同时也是Looker链接电子表格的初期采用者。借助这项整合服务，他们已能透过原先惯用的电子表格接口将数据存取权分享给更多员工。藉由降低入门门坎，他们已经营造出数据导向文化，所有人都能依据数据制定决策。

强化支持资料云端合作伙伴生态系
如果没有出色的合作伙伴生态系，我们即使拥有这些数据创新技术，也不可能让用户轻松发挥数据的价值。目前已有超过700个软件合作伙伴使用 Google的数据云来驱动自家的应用程序。Bloomreach、Equifax、Exabeam、Quantum Metric和ZoomInfo等许多合作伙伴均已开始采用我们的数据云功能，并参加Built with BigQuery计划，来享有专属工程团队、协同营销和市场开发的支持。

我们的用户希望合作伙伴解决方案不仅能够与BigQuery等产品紧密整合，并可以进一步优化。因此Google Cloud Ready - BigQuery这项全新的验证机制，能够识别一系列符合功能性和互操作性核心需求的合作伙伴解决方案，例如 Fivetran、Informatica和Tableau所提供的服务。目前在「Google Cloud Ready - BigQuery」计划中收录了超过25个合作伙伴。这项崭新的计划可协助客户减少评估新工具所需的成本，同时支持新的应用情境。

另外，我们也宣布一项新的数据库迁移计划，希望能够协助大家在短时间内顺畅且迅速地迈开迁移的脚步，将地端部署环境和其他云端中的数据迁移至 Google的全代管数据库服务上。除了由Deloitte等合作伙伴提供的工具、资源和专业知识之外，我们也提供奖励来协助客户节省迁移数据库的费用。

我们会继续与客户挹注资源的数据与数据分析公司合作，持续推动革新。Databricks、Fivetran、MongoDB、Neo4j和Redis也都已经向Google Cloud 的用户公布重大新功能。

（本文作者Gerrit Kazmaier为Google Cloud数据库、数据分析及Looker商业智能平台总经理暨副总裁）