tidb-in-action

1.2.5 使用 BR 工具备份恢复 TiDB 集群

本文详细描述了如何将 TiDB 集群数据备份到 AWS 的 S3 存储上以及从 AWS S3 上拉取数据恢复集群。本文档中的“备份”，均是指全量备份（Ad-hoc 全量备份和定时全量备份）。底层通过使用 BR 获取集群的逻辑备份，然后再将备份数据上传到 AWS 的存储上。

本文使用的备份、恢复方式基于 TiDB Operator v1.1 及以上版本的 Custom Resource Definition(CRD) 实现。

AWS 账号权限授予的三种方式

本文测试了以下三种权限授予方式:

(1) 通过传入 AWS 账号的 AccessKey 和 SecretKey 进行授权:

AWS 的客户端支持读取进程环境变量中的 AWS_ACCESS_KEY_ID 以及 AWS_SECRET_ACCESS_KEY 来获取与之相关联的用户或者角色的权限。

(2) 通过将 IAM 绑定 Pod 进行授权: 通过将用户的 IAM 角色与所运行的 Pod 资源进行绑定，使 Pod 中运行的进程获得角色所拥有的权限，这种授权方式是由 kube2iam 提供。

注意：

• 使用该授权模式时，可以参考kube2iam 文档 在 Kubernetes 集群中创建 kube2iam 环境， 并且部署 TiDB Operator 以及 TiDB 集群。
• 该模式不适用于 hostNetwork 网络模式，请确保参数 spec.tikv.hostNetwork 的值为 false。

(3) 通过将 IAM 绑定 ServiceAccount 进行授权:

通过将用户的 IAM 角色与 Kubeneters 中的 serviceAccount 资源进行绑定， 从而使得使用该 ServiceAccount 账号的 Pod 都拥有该角色所拥有的权限，这种授权方式由 EKS Pod Identity Webhook 服务提供。

• 使用该授权模式时，可以参考 AWS 官方文档 创建 EKS 集群， 并且部署 TiDB Operator 以及 TiDB 集群。

Ad-hoc 全量备份

Ad-hoc 全量备份通过创建一个自定义的 Backup Custom Resource (CR) 对象来描述一次备份。TiDB Operator 根据这个 Backup 对象来完成具体的备份过程。如果备份过程中出现错误，程序不会自动重试，此时需要手动处理。

目前 Ad-hoc 全量备份已经兼容以上三种授权模式，本文档提供如下备份示例。示例假设对部署在 Kubernetes test1 这个 namespace 中的 TiDB 集群 demo1 进行数据备份，下面是具体操作过程。

Ad-hoc 全量备份环境准备

通过 AccessKey 和 SecretKey 授权

(1) 下载文件 backup-rbac.yaml，并执行以下命令在 test1 这个 namespace 中创建备份需要的 RBAC 相关资源：

kubectl apply -f backup-rbac.yaml -n test1

(2) 创建 s3-secret secret。该 secret 存放用于访问 S3 兼容存储的凭证。

kubectl create secret generic s3-secret --from-literal=access_key=xxx --from-literal=secret_key=yyy --namespace=test1

(3) 创建 backup-demo1-tidb-secret secret。该 secret 存放用于访问 TiDB 集群的用户所对应的密码。

kubectl create secret generic backup-demo1-tidb-secret --from-literal=password=<password> --namespace=test1

通过 IAM 绑定 Pod 授权

(1) 下载文件 backup-rbac.yaml，并执行以下命令在 test1 这个 namespace 中创建备份需要的 RBAC 相关资源：

kubectl apply -f backup-rbac.yaml -n test1

(2) 创建 backup-demo1-tidb-secret secret。该 secret 存放用于访问 TiDB 集群的用户所对应的密码：

kubectl create secret generic backup-demo1-tidb-secret --from-literal=password=<password> --namespace=test1

(3) 创建 IAM 角色：

可以参考 AWS 官方文档来为账号创建一个 IAM 角色，并且通过 AWS 官方文档 为 IAM 角色赋予需要的权限。由于 Backup 需要访问 AWS 的 S3 存储，所以这里给 IAM 赋予了 AmazonS3FullAccess 的权限。

(4) 绑定 IAM 到 TiKV Pod：

在使用 BR 备份的过程中，TiKV Pod 和 BR Pod 一样需要对 S3 存储进行读写操作，所以这里需要给 TiKV Pod 打上 annotation 来绑定 IAM 角色。

kubectl edit tc demo1 -n test1

找到 spec.tikv.annotations，增加 annotation arn:aws:iam::123456789012:role/user，然后退出编辑，等到 TiKV Pod 重启后，查看 Pod 是否加上了这个 annotation。

注意：

arn:aws:iam::123456789012:role/user 为步骤 (3) 中创建的 IAM 角色。

通过 IAM 绑定 ServiceAccount 授权

(1) 下载文件 backup-rbac.yaml，并执行以下命令在 test1 这个 namespace 中创建备份需要的 RBAC 相关资源：

kubectl apply -f backup-rbac.yaml -n test2

(2) 创建 backup-demo1-tidb-secret secret。该 secret 存放用于访问 TiDB 集群的 root 账号和密钥：

kubectl create secret generic backup-demo1-tidb-secret --from-literal=password=<password> --namespace=test1

(3) 在集群上为服务帐户启用 IAM 角色：

可以参考 AWS 官方文档 开启所在的 EKS 集群的 IAM 角色授权。

(4) 创建 IAM 角色：

可以参考 AWS 官方文档创建一个 IAM 角色，为角色赋予 AmazonS3FullAccess 的权限，并且编辑角色的 Trust relationships。

(5) 绑定 IAM 到 ServiceAccount 资源上：

kubectl annotate sa tidb-backup-manager -n eks.amazonaws.com/role-arn=arn:aws:iam::123456789012:role/user --namespace=test1

注意：

arn:aws:iam::123456789012:role/user 为步骤 (4) 中创建的 IAM 角色。

(6) 将 ServiceAccount 绑定到 TiKV Pod：

kubectl edit tc demo1 -n test1

将 spec.tikv.serviceAccount 修改为 tidb-backup-manager，等到 TiKV Pod 重启后，查看 Pod 的 serviceAccountName 是否有变化。

使用 BR 备份数据到 Amazon S3 的存储

• 创建 Backup CR，通过 accessKey 和 secretKey 授权的方式备份集群:

kubectl apply -f backup-aws-s3.yaml

backup-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-backup-s3
  namespace: test1
spec:
  backupType: full
  br:
    cluster: demo1
    clusterNamespace: test1
    # enableTLSClient: false
    # logLevel: info
    # statusAddr: <status-addr>
    # concurrency: 4
    # rateLimit: 0
    # timeAgo: <time>
    # checksum: true
    # sendCredToTikv: true
  from:
    host: <tidb-host-ip>
    port: <tidb-port>
    user: <tidb-user>
    secretName: backup-demo1-tidb-secret
  s3:
    provider: aws
    secretName: s3-secret
    region: us-west-1
    bucket: my-bucket
    prefix: my-folder

• 创建 Backup CR，通过 IAM 绑定 Pod 授权的方式备份集群:

kubectl apply -f backup-aws-s3.yaml

backup-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-backup-s3
  namespace: test1
  annotations:
    iam.amazonaws.com/role: arn:aws:iam::123456789012:role/user
spec:
  backupType: full
  br:
    cluster: demo1
    sendCredToTikv: false
    clusterNamespace: test1
    # enableTLSClient: false
    # logLevel: info
    # statusAddr: <status-addr>
    # concurrency: 4
    # rateLimit: 0
    # timeAgo: <time>
    # checksum: true
  from:
    host: <tidb-host-ip>
    port: <tidb-port>
    user: <tidb-user>
    secretName: backup-demo1-tidb-secret
  s3:
    provider: aws
    region: us-west-1
    bucket: my-bucket
    prefix: my-folder
    ```

+ 创建 `Backup` CR，通过 IAM 绑定 ServiceAccount 授权的方式备份集群:

```shell
kubectl apply -f backup-aws-s3.yaml

backup-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-backup-s3
  namespace: test1
spec:
  backupType: full
  serviceAccount: tidb-backup-manager
  br:
    cluster: demo1
    sendCredToTikv: false
    clusterNamespace: test1
    # enableTLSClient: false
    # logLevel: info
    # statusAddr: <status-addr>
    # concurrency: 4
    # rateLimit: 0
    # timeAgo: <time>
    # checksum: true
  from:
    host: <tidb-host-ip>
    port: <tidb-port>
    user: <tidb-user>
    secretName: backup-demo1-tidb-secret
  s3:
    provider: aws
    region: us-west-1
    bucket: my-bucket
    prefix: my-folder

以上三个示例分别使用三种授权模式将数据导出到 Amazon S3 存储上。Amazon S3 的 acl、endpoint、storageClass 配置项均可以省略。

Amazon S3 支持以下几种 access-control list (ACL) 策略：

• private
• public-read
• public-read-write
• authenticated-read
• bucket-owner-read
• bucket-owner-full-control

如果不设置 ACL 策略，则默认使用 private 策略。这几种访问控制策略的详细介绍参考 AWS 官方文档。

Amazon S3 支持以下几种 storageClass 类型：

• STANDARD
• REDUCED_REDUNDANCY
• STANDARD_IA
• ONEZONE_IA
• GLACIER
• DEEP_ARCHIVE

如果不设置 storageClass，则默认使用 STANDARD_IA。这几种存储类型的详细介绍参考 AWS 官方文档。

创建好 Backup CR 后，可通过如下命令查看备份状态：

kubectl get bk -n test1 -o wide

更多 Backup CR 字段的详细解释:

• .spec.metadata.namespace：Backup CR 所在的 namespace。
• .spec.from.host：待备份 TiDB 集群的访问地址。
• .spec.from.port：待备份 TiDB 集群的访问端口。
• .spec.from.user：待备份 TiDB 集群的访问用户。
• .spec.from.tidbSecretName：待备份 TiDB 集群 .spec.from.user 用户的密码所对应的 secret。

更多支持的兼容 S3 的 provider 如下：

• alibaba：Alibaba Cloud Object Storage System (OSS) formerly Aliyun
• digitalocean：Digital Ocean Spaces
• dreamhost：Dreamhost DreamObjects
• ibmcos：IBM COS S3
• minio：Minio Object Storage
• netease：Netease Object Storage (NOS)
• wasabi：Wasabi Object Storage
• other：Any other S3 compatible provider

定时全量备份

用户通过设置备份策略来对 TiDB 集群进行定时备份，同时设置备份的保留策略以避免产生过多的备份。定时全量备份通过自定义的 BackupSchedule CR 对象来描述。每到备份时间点会触发一次全量备份，定时全量备份底层通过 Ad-hoc 全量备份来实现。下面是创建定时全量备份的具体步骤：

定时全量备份环境准备

同 Ad-hoc 全量备份环境准备。

使用 BR 定时备份数据到 Amazon S3 的存储

• 创建 BackupSchedule CR，开启 TiDB 集群定时全量备份，通过 accessKey 和 secretKey 授权的方式备份集群：

kubectl apply -f backup-scheduler-aws-s3.yaml

backup-scheduler-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: BackupSchedule
metadata:
  name: demo1-backup-schedule-s3
  namespace: test1
spec:
  #maxBackups: 5
  #pause: true
  maxReservedTime: "3h"
  schedule: "*/2 * * * *"
  backupTemplate:
    backupType: full
    br:
      cluster: demo1
      clusterNamespace: test1
      # enableTLSClient: false
      # logLevel: info
      # statusAddr: <status-addr>
      # concurrency: 4
      # rateLimit: 0
      # timeAgo: <time>
      # checksum: true
      # sendCredToTikv: true
    from:
      host: <tidb-host-ip>
      port: <tidb-port>
      user: <tidb-user>
      secretName: backup-demo1-tidb-secret
    s3:
      provider: aws
      secretName: s3-secret
      region: us-west-1
      bucket: my-bucket
      prefix: my-folder

• 创建 BackupSchedule CR，开启 TiDB 集群定时全量备份，通过 IAM 绑定 Pod 授权的方式备份集群：

kubectl apply -f backup-scheduler-aws-s3.yaml

backup-scheduler-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: BackupSchedule
metadata:
  name: demo1-backup-schedule-s3
  namespace: test1
  annotations:
    iam.amazonaws.com/role: arn:aws:iam::123456789012:role/user
spec:
  #maxBackups: 5
  #pause: true
  maxReservedTime: "3h"
  schedule: "*/2 * * * *"
  backupTemplate:
    backupType: full
    br:
      cluster: demo1
      sendCredToTikv: false
      clusterNamespace: test1
      # enableTLSClient: false
      # logLevel: info
      # statusAddr: <status-addr>
      # concurrency: 4
      # rateLimit: 0
      # timeAgo: <time>
      # checksum: true
    from:
      host: <tidb-host-ip>
      port: <tidb-port>
      user: <tidb-user>
      secretName: backup-demo1-tidb-secret
    s3:
      provider: aws
      region: us-west-1
      bucket: my-bucket
      prefix: my-folder

• 创建 BackupSchedule CR，开启 TiDB 集群定时全量备份， 通过 IAM 绑定 ServiceAccount 授权的方式备份集群：

kubectl apply -f backup-scheduler-aws-s3.yaml

backup-scheduler-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: BackupSchedule
metadata:
  name: demo1-backup-schedule-s3
  namespace: test1
spec:
  #maxBackups: 5
  #pause: true
  maxReservedTime: "3h"
  schedule: "*/2 * * * *"
  serviceAccount: tidb-backup-manager
  backupTemplate:
    backupType: full
    br:
      cluster: demo1
      sendCredToTikv: false
      clusterNamespace: test1
      # enableTLSClient: false
      # logLevel: info
      # statusAddr: <status-addr>
      # concurrency: 4
      # rateLimit: 0
      # timeAgo: <time>
      # checksum: true
    from:
      host: <tidb-host-ip>
      port: <tidb-port>
      user: <tidb-user>
      secretName: backup-demo1-tidb-secret
    s3:
      provider: aws
      region: us-west-1
      bucket: my-bucket
      prefix: my-folder

定时全量备份创建完成后，可以通过以下命令查看定时全量备份的状态：

kubectl get bks -n test1 -o wide

查看定时全量备份下面所有的备份条目：

kubectl get bk -l tidb.pingcap.com/backup-schedule=demo1-backup-schedule-s3 -n test1

从以上两个示例可知，backupSchedule 的配置由两部分组成。一部分是 backupSchedule 独有的配置，另一部分是 backupTemplate。backupTemplate 指定 S3 兼容存储相关的配置，该配置与 Ad-hoc 全量备份到兼容 S3 的存储配置完全一样，可参考使用 BR 备份数据到 Amazon S3 的存储。下面介绍 backupSchedule 独有的配置项：

• .spec.maxBackups：一种备份保留策略，决定定时备份最多可保留的备份个数。超过该数目，就会将过时的备份删除。如果将该项设置为 0，则表示保留所有备份。
• .spec.maxReservedTime：一种备份保留策略，按时间保留备份。例如将该参数设置为 24h，表示只保留最近 24 小时内的备份条目。超过这个时间的备份都会被清除。时间设置格式参考 func ParseDuration。如果同时设置最大备份保留个数和最长备份保留时间，则以最长备份保留时间为准。
• .spec.schedule：Cron 的时间调度格式。具体格式可参考 Cron。
• .spec.pause：该值默认为 false。如果将该值设置为 true，表示暂停定时调度。此时即使到了调度时间点，也不会进行备份。在定时备份暂停期间，备份 Garbage Collection (GC) 仍然正常进行。将 true 改为 false 则重新开启定时全量备份。

使用 BR 工具恢复 AWS 上的备份数据

本节详细描述了如何将存储在 Amazon S3 存储的备份数据恢复到 TiDB 集群。

环境准备

从以下三种授权方式中选择一种。

通过 AccessKey 和 SecretKey 授权

(1) 下载文件 backup-rbac.yaml，并执行以下命令在 test2 这个 namespace 中创建备份需要的 RBAC 相关资源：

kubectl apply -f backup-rbac.yaml -n test2

(2) 创建 s3-secret secret。该 secret 存放用于访问 S3 兼容存储的凭证。

kubectl create secret generic s3-secret --from-literal=access_key=xxx --from-literal=secret_key=yyy --namespace=test2

(3) 创建 restore-demo2-tidb-secret secret。该 secret 存放用于访问 TiDB 集群的 root 账号和密钥。

kubectl create secret generic restore-demo2-tidb-secret --from-literal=password=<password> --namespace=test2

通过 IAM 绑定 Pod 授权

(1) 下载文件 backup-rbac.yaml，并执行以下命令在 test2 这个 namespace 中创建备份需要的 RBAC 相关资源：

kubectl apply -f backup-rbac.yaml -n test2

(2) 创建 restore-demo2-tidb-secret secret。该 secret 存放用于访问 TiDB 集群的 root 账号和密钥：

kubectl create secret generic restore-demo2-tidb-secret --from-literal=password=<password> --namespace=test2

(3) 创建 IAM 角色：

可以参考 AWS 官方文档 来为账号创建一个 IAM 角色，并且通过 AWS 官方文档为 IAM 角色赋予需要的权限。由于 Restore 需要访问 AWS 的 S3 存储，所以这里给 IAM 赋予了 AmazonS3FullAccess 的权限。

(4) 绑定 IAM 到 TiKV Pod:

在使用 BR 备份的过程中，TiKV Pod 和 BR Pod 一样需要对 S3 存储进行读写操作，所以这里需要给 TiKV Pod 打上 annotation 来绑定 IAM 角色。

kubectl edit tc demo2 -n test2

找到 spec.tikv.annotations, 增加 annotation arn:aws:iam::123456789012:role/user, 然后退出编辑, 等到 TiKV Pod 重启后，查看 Pod 是否加上了这个 annotation。

注意：

arn:aws:iam::123456789012:role/user 为步骤 (3) 中创建的 IAM 角色。

通过 IAM 绑定 ServiceAccount 授权

(1) 下载文件 backup-rbac.yaml，并执行以下命令在 test2 这个 namespace 中创建备份需要的 RBAC 相关资源：

kubectl apply -f backup-rbac.yaml -n test2

(2) 创建 restore-demo2-tidb-secret secret。该 secret 存放用于访问 TiDB 集群的 root 账号和密钥:

kubectl create secret generic restore-demo2-tidb-secret --from-literal=password=<password> --namespace=test2

(3) 在集群上为服务帐户启用 IAM 角色：

可以参考 AWS 官方文档开启所在的 EKS 集群的 IAM 角色授权。

(4) 创建 IAM 角色:

可以参考 AWS 官方文档 创建一个 IAM 角色，为角色赋予 AmazonS3FullAccess 的权限，并且编辑角色的 Trust relationships。

(5) 绑定 IAM 到 ServiceAccount 资源上：

kubectl annotate sa tidb-backup-manager -n eks.amazonaws.com/role-arn=arn:aws:iam::123456789012:role/user --namespace=test2

(6) 将 ServiceAccount 绑定到 TiKV Pod：

kubectl edit tc demo2 -n test2

将 spec.tikv.serviceAccount 修改为 tidb-backup-manager , 等到 TiKV Pod 重启后，查看 Pod 的 serviceAccountName 是否有变化。

注意：

arn:aws:iam::123456789012:role/user 为步骤 (4) 中创建的 IAM 角色。

将指定备份数据恢复到 TiDB 集群

• 创建 Restore CR，通过 accessKey 和 secretKey 授权的方式恢复集群：

kubectl apply -f resotre-aws-s3.yaml

restore-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: Restore
metadata:
  name: demo2-restore-s3
  namespace: test2
spec:
  br:
    cluster: demo2
    clusterNamespace: test2
    # enableTLSClient: false
    # logLevel: info
    # statusAddr: <status-addr>
    # concurrency: 4
    # rateLimit: 0
    # timeAgo: <time>
    # checksum: true
    # sendCredToTikv: true
  to:
    host: <tidb-host-ip>
    port: <tidb-port>
    user: <tidb-user>
    secretName: restore-demo2-tidb-secret
  s3:
    provider: aws
    secretName: s3-secret
    region: us-west-1
    bucket: my-bucket
    prefix: my-folder

• 创建 Restore CR，通过 IAM 绑定 Pod 授权的方式备份集群：

kubectl apply -f restore-aws-s3.yaml

restore-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: Restore
metadata:
  name: demo2-restore-s3
  namespace: test2
  annotations:
    iam.amazonaws.com/role: arn:aws:iam::123456789012:role/user
spec:
  br:
    cluster: demo2
    sendCredToTikv: false
    clusterNamespace: test2
    # enableTLSClient: false
    # logLevel: info
    # statusAddr: <status-addr>
    # concurrency: 4
    # rateLimit: 0
    # timeAgo: <time>
    # checksum: true
  to:
    host: <tidb-host-ip>
    port: <tidb-port>
    user: <tidb-user>
    secretName: restore-demo2-tidb-secret
  s3:
    provider: aws
    region: us-west-1
    bucket: my-bucket
    prefix: my-folder

• 创建 Restore CR，通过 IAM 绑定 ServiceAccount 授权的方式备份集群：

kubectl apply -f restore-aws-s3.yaml

restore-aws-s3.yaml 文件内容如下：

---
apiVersion: pingcap.com/v1alpha1
kind: Restore
metadata:
  name: demo2-restore-s3
  namespace: test2
spec:
  serviceAccount: tidb-backup-manager
  br:
    cluster: demo2
    sendCredToTikv: false
    clusterNamespace: test2
    # enableTLSClient: false
    # logLevel: info
    # statusAddr: <status-addr>
    # concurrency: 4
    # rateLimit: 0
    # timeAgo: <time>
    # checksum: true
  to:
    host: <tidb-host-ip>
    port: <tidb-port>
    user: <tidb-user>
    secretName: restore-demo2-tidb-secret
  s3:
    provider: aws
    region: us-west-1
    bucket: my-bucket
    prefix: my-folder

创建好 Restore CR 后，可通过以下命令查看恢复的状态：

kubectl get rt -n test2 -o wide

更多 Restore CR 字段的详细解释：

• .spec.metadata.namespace：Restore CR 所在的 namespace。
• .spec.to.host：待恢复 TiDB 集群的访问地址。
• .spec.to.port：待恢复 TiDB 集群的访问端口。
• .spec.to.user：待恢复 TiDB 集群的访问用户。
• .spec.to.tidbSecretName：待恢复 TiDB 集群 .spec.to.user 用户的密码所对应的 secret。

This site is open source. Improve this page.