配置 Recycler 部署
Recyler 是 Doris 存算分离组件,作为清理过期元数据。DorisDisaggregatedMetaService
中配置字段为 recyler。
Recyler 服务属于无状态服务,通常采用主备模式部署。最简单配置如下:
spec:
recycler:
image: {recylerImage}
replicas: 2
其中 {recylerImage}
为部署 Recyler 服务的 image,Recyler 和 MS 是元数据管理服务同一程序的不同启动方式。Recycler 没有单独的 image 名称,请填写 MS 的 image。
将修改好的配置更新到需要部署的[存算分离元数据管理资源中](../install-quickstart#部署 DorisDisaggregatedMetaService 资源)。
配置资源
为 Recycler 服务添加资源使用限制。以 4c 4Gi 配置为例:
spec:
recyler:
requests:
cpu: 4
memory: 4Gi
limits:
cpu: 4
memory: 4Gi
将修改好的配置更新到需要部署的[存算分离元数据管理资源中](../install-quickstart#部署 DorisDisaggregatedMetaService 资源)。
定制化配置文件
K8s 上通过 ConfigMap 挂载配置文件。Doris-Operator 对于存算分离组件之间相互感知的配置进行了自动化处理,在部署 MS 服务使用定制化配置文件时,FDB 的相关的配置请不要配置。
使用 ConfigMap 挂载配置文件部署 Recycler 服务:
ConfigMap:
apiVersion: v1
data:
doris_cloud.conf: |
brpc_listen_port = 5000
brpc_num_threads = -1
brpc_idle_timeout_sec = 30
http_token = greedisgood9999
# // doris txn config
label_keep_max_second = 259200
expired_txn_scan_key_nums = 1000
# // logging
log_dir = ./log/
# info warn error
log_level = info
log_size_mb = 1024
log_filenum_quota = 10
log_immediate_flush = false
# log_verbose_modules = *
# // recycler config
recycle_interval_seconds = 3600
retention_seconds = 259200
recycle_concurrency = 16
kind: ConfigMap
metadata:
name: doris-metaservice
使用上述 ConfigMap 的 Recycler 配置如下:
spec:
recyler:
image: {recylerImage}
configMaps:
- name: doris-metaservice
mountPath: /etc/doris
实际部署中,按照需要配置 ConfigMap 的名称以及命名空间,并将配置信息按照上述样例格式配置到需要部署的[存算分离元数据管理资源](../install-quickstart#部署 DorisDisaggregatedMetaService 资源)中。Recycler 服务使用的启动配置文件名称 doris_cloud.conf
, 因此挂载启动配置的 ConfigMap 的 key 也必须是 doris_cloud.conf
。启动配置必须挂载到 /etc/doris
目录下,即 mountPath 为 /etc/doris
。
Recyler 服务需要使用 FDB 作为后端元数据存储,部署 Recyler 服务必须部署 FDB 服务。