使用 Terraform 自动化 Amazon MSK 主题配置

关键要点

• 随着组织在多个用例中部署 Amazon MSK，手动管理主题配置的挑战不断显现。
• 手动配置不仅耗时且易出错，还会影响数据流和应用。
• 使用 Terraform 自动化配置，以提高效率、可扩展性和灵活性。
• 本文将全面介绍如何安装 Terraform、定义和去中心化主题配置，并提供自动化部署和更新的流程。

作为组织在多个用例中部署 (Amazon MSK) 集群时，手动管理主题配置面临诸多挑战。这些挑战可能导致多个问题：

• 低效率 – 手动配置耗时且容易出错，特别是在大规模部署中。保持多个配置的一致性非常困难。为了避免这种情况，Kafka 管理员通常会在代理上设置 create.topics.enable 属性，这会降低集群的操作效率。
• 人为错误 – 手动配置增加了出现错误的风险，这可能会干扰数据流并影响依赖于 Amazon MSK 的应用程序。
• 可扩展性挑战 – 使用手动配置扩展 Amazon MSK 环境非常繁琐。添加新主题或修改现有主题需手动干预，妨碍了灵活性。

这些挑战突显了对更自动化和可靠的 MSK 主题配置管理方法的需求。

在本文中，我们将使用 Terraform 来优化 MSK 主题的配置。此解决方案支持提供的和无服务器的 MSK 集群。

解决方案概述

客户希望有更好的方法来管理主题及其配置。手动处理主题配置非常繁琐且易错，使得跟踪更改和更新变得困难。

为了解决这些挑战，您可以使用 ，一个由 HashiCorp 提供的基础设施即代码 (IaC) 工具。Terraform 使您可以声明性地管理和部署基础设施。它使用人类可读的配置文件（以 HashiCorp 配置语言 HCL编写）来定义基础设施资源的所需状态。这些资源可以跨越虚拟机、网络、数据库以及各种云提供商特定的服务。

Terraform 为手动 Kafka 主题配置的挑战提供了一个 compelling 的解决方案。通过代码定义和管理 Kafka主题，该方法提供了几个关键优势：

通过使用 Terraform 来管理 MSK 主题配置，您可以简化操作、减少错误并拥有一个强大且可扩展的 Amazon MSK 环境。

在本文中，我们将提供关于如何使用 Terraform 管理 Amazon MSK 配置的全面指南，探讨在 (Amazon EC2) 上安装 Terraform、定义和去中心化主题配置以及自动化部署和更新配置的过程。

前提条件

在继续执行解决方案之前，请确保您具备以下资源和访问权限：

• 为了简化设置，请使用提供的 。该模板将创建所需的 Amazon MSK 提供集群以及本帖所需的资源。您也可以通过 Amazon MSK 控制台创建一个无服务器集群并使用它。本模板是样例，不适用于生产，并且 (IAM) 策略应采用最佳实践和最小权限原则实施。更多详细信息，请参见 。该模板将创建 EC2 实例，MSK 集群和 EC2 实例将在同一个虚拟私有云 (VPC) 上创建；不过，您可以在不同的账户或不同的 VPC 上安装 Terraform。有关更多详细信息，请参见 。
• 本文使用最新的 版本（1.10.x）和 。在 Terraform 中，插件是负责实现资源类型和提供程序的二进制可执行文件。当我们使用 terraform init 初始化 Terraform 配置时，这些插件会自动安装。
• 您需要访问权限到具有足够权限的 AWS 账户，以创建和管理资源，包括 IAM 角色和 MSK 集群。有关更多信息，请参见 。

确保具备这些前提条件后，您将为使用 Terraform 精简主题配置做好准备。

在客户端机器上安装 Terraform

当您的集群和客户端机器准备好后，通过 SSH 连接到您的客户端机器 (Amazon EC2) 并安装 Terraform。

1. 运行以下命令以安装 Terraform：

bash sudo yum update -y sudo yum install -y yum-utils shadow-utils sudo yum- config-manager --add-repohttps://rpm.releases.hashicorp.com/AmazonLinux/hashicorp.repo sudo yum -yinstall terraform

1. 运行以下命令以检查安装：

bash terraform -v

这将表明 Terraform 已成功安装，您已经准备好自动化 MSK 主题配置。

使用 Terraform 配置 MSK 主题

要配置 MSK 主题，请完成以下步骤：

1. 创建一个名为 main.tf 的新文件，并将以下代码复制到该文件中，将 BOOTSTRAP_SERVERS 和 AWS_REGION 的信息替换为您的集群详细信息。有关从 MSK 集群中获取 IAM 身份验证的 bootstrap_servers 信息的指令，请参见 。该脚本适用于 Amazon MSK 的提供版本和无服务器版本。

}

provider "kafka" { bootstrap_servers = 。

## 使用 Terraform 更新 MSK 主题配置

要更新 MSK 主题配置，假设我们要将主题的分区数从 50 更改为 10。我们需要执行以下步骤：

  1. 使用 `--describe` 命令验证主题的分区数：

`bash kafka/bin/kafka-topics.sh --bootstrap-server "b-1…...amazonaws.com:9098"
--command-config ./kafka/bin/client.properties --describe --topic sampleTopic`

该命令将显示 `sampleTopic` 主题上的 50 个分区。

  1. 修改 Terraform 文件 `main.tf` 并将分区参数的值更改为 10：

`hcl resource "kafka_topic" "sampleTopic" { name = "sampleTopic"
replication_factor = 1 partitions = 10 }`

  1. 运行命令 `terraform plan` 以审核运行计划。

`bash terraform plan`

  1. 如果计划显示更改，请运行命令 `terraform apply` 以应用新配置。

`bash terraform apply`

  1. 当再次提示您确认时，输入 `yes`。

Terraform 将丢弃并重新创建 `sampleTopic` 主题以应用更改的配置。

  1. 验证主题的分区数更改，再次使用 `--describe` 命令：

`bash kafka/bin/kafka-topics.sh --bootstrap-server "b-1…...amazonaws.com:9098"
--command-config ./kafka/bin/client.properties --describe --topic sampleTopic`

现在，该命令将显示 `sampleTopic` 主题上的 10 个分区。

## 使用 Terraform 删除 MSK 主题

当您不再需要基础设施时，可以删除所有由 Terraform 文件创建的资源。

  1. 运行命令 `terraform destroy` 以移除主题。

`bash terraform destroy`

  1. 当提示您确认时，输入 `yes`。

Terraform 将从您的 MSK 集群中删除 `sampleTopic` 主题。

  1. 要验证，请再次运行 `--list` 命令：

`bash kafka/bin/kafka-topics.sh --bootstrap-server "b-1…..amazonaws.com:9098"
--command-config ./kafka/bin/client.properties --list`

现在，该命令将不显示 `sampleTopic` 主题。

## 结论

在本文中，我们解决了与手动 MSK 主题配置管理相关的常见挑战，并提出了一种基于 Terraform 的强大解决方案。通过使用 Terraform进行自动化主题配置和管理，您的流程得以简化，扩展性增强，灵活性提升。此外，它还使自动化部署和集中管理变得更加便利。

我们鼓励您探索 Terraform，以优化 Amazon MSK 配置，从而释放更多流媒体数据管道中的效率。

* * *

### 关于作者

![VijayKardile](https://d2908q01vomqb2.cloudfront.net/b6692ea5df920cad691c20319a6fffd7a4a766b8/2024/12/30/vijay-
删除)

**Vijay Kardile** 是企业支持的高级技术客户经理，来自印度。拥有二十多年的 IT 咨询和工程经验，他专注于分析服务，尤其是 AmazonEMR 和 Amazon MSK。他通过促进众多企业客户端使用各种 AWS 服务并提供专家建议，帮助他们实现运营卓越。