publ
2568c0380b
MySQL：
- 新增 use_ssl 选项；MariaDB 11.x 默认强制 SSL 且默认 verify cert，
故启用 SSL 时同时加 --skip-ssl-verify-server-cert 以兼容自签名证书。
任务编辑回显：
- 后端 JobOut 新增 source_config_safe 字段，解密后敏感字段（password/token/
secret_key/access_key）脱敏为 "***"。
- 更新端点接收 source_config；若密码字段为 "***" 则保留原值不变，
支持"不改密码只改其它字段"的常见场景。
- 前端 JobForm 完整回显所有数据源字段，type='edit' 时去掉 disabled。
InfluxDB 备份（新增类型）：
- 后端 core/backup/influxdb.py：
- v2.x：调用 influx CLI（influxdb2-client-2.7.5 二进制直接安装）执行 influx backup
生成目录后 tar.gz 流式打包上传。
- v1.x：通过 HTTP API 调用 /query?db=...&q=SELECT * FROM /.*/ 拉取全量数据
导出为 CSV + META.txt。
- Dockerfile：直接下载 influx CLI 二进制（绕开 apt 签名问题）。
- 前端 JobForm：根据 version 动态显示 v1/v2 表单字段。
- schemas/job.py：新增 InfluxDBSourceConfigV1 / V2。
- 类型字面量扩展：'mysql' | 'directory' | 'influxdb'。
Co-Authored-By: Claude <noreply@anthropic.com>
106 lines
3.8 KiB
Python
106 lines
3.8 KiB
Python
"""MySQL 备份：通过 mysqldump 子进程流式输出。"""
|
|
import asyncio
|
|
import gzip
|
|
import shlex
|
|
from datetime import datetime
|
|
from typing import AsyncIterator
|
|
|
|
from app.core.backup.base import BackupMetadata, BaseBackup
|
|
from app.utils.logging import get_logger
|
|
|
|
log = get_logger(__name__)
|
|
|
|
CHUNK_SIZE = 64 * 1024
|
|
|
|
|
|
class MySQLBackup(BaseBackup):
|
|
def __init__(self, source_config: dict, job_name: str):
|
|
super().__init__(source_config, job_name)
|
|
self.host: str = source_config["host"]
|
|
self.port: int = int(source_config.get("port", 3306))
|
|
self.user: str = source_config["user"]
|
|
self.password: str = source_config.get("password", "")
|
|
self.database: str = source_config["database"]
|
|
self.use_ssl: bool = bool(source_config.get("use_ssl", False))
|
|
self.extra_args: str = source_config.get("extra_args", "")
|
|
|
|
def metadata(self) -> BackupMetadata:
|
|
ts = datetime.now().strftime("%Y%m%d-%H%M%S")
|
|
safe_db = "".join(c if c.isalnum() or c in ("_", "-") else "_" for c in self.database)
|
|
return BackupMetadata(
|
|
suggested_filename=f"{self.job_name}-{safe_db}-{ts}.sql.gz",
|
|
content_type="application/gzip",
|
|
extra={"database": self.database, "host": self.host, "port": self.port},
|
|
)
|
|
|
|
async def produce(self) -> AsyncIterator[bytes]:
|
|
args = [
|
|
"mysqldump",
|
|
"-h", self.host,
|
|
"-P", str(self.port),
|
|
"-u", self.user,
|
|
"--single-transaction",
|
|
"--quick",
|
|
"--routines",
|
|
"--triggers",
|
|
"--events",
|
|
"--default-character-set=utf8mb4",
|
|
]
|
|
# SSL 控制：
|
|
# MariaDB 11.x 中 --ssl 和 --ssl-verify-server-cert 都默认开启，
|
|
# 与自签名证书的服务器连接会失败。这里 use_ssl=True 时强制开启 SSL
|
|
# 但跳过服务端证书校验（兼容自签名证书场景）。
|
|
if self.use_ssl:
|
|
args.append("--ssl")
|
|
args.append("--skip-ssl-verify-server-cert")
|
|
if self.extra_args:
|
|
args.extend(shlex.split(self.extra_args))
|
|
args.append(self.database)
|
|
|
|
log.info("Executing mysqldump for db=%s host=%s", self.database, self.host)
|
|
|
|
# mysqldump 直接写 stdout，我们 pipe 给 gzip 再 yield
|
|
# 用 -p 紧贴密码避免出现在 ps 里（空密码时 mysqldump 会要求交互输入）
|
|
if self.password:
|
|
args_with_pwd = args.copy()
|
|
# 找到 -u 后插入 -pXXX
|
|
u_idx = args_with_pwd.index("-u")
|
|
args_with_pwd.insert(u_idx + 2, f"-p{self.password}")
|
|
else:
|
|
args_with_pwd = args
|
|
|
|
proc = await asyncio.create_subprocess_exec(
|
|
*args_with_pwd,
|
|
stdout=asyncio.subprocess.PIPE,
|
|
stderr=asyncio.subprocess.PIPE,
|
|
)
|
|
|
|
assert proc.stdout is not None
|
|
|
|
# 在线程里跑 gzip.compress，因为它是阻塞的
|
|
loop = asyncio.get_event_loop()
|
|
|
|
async def gzip_stream() -> AsyncIterator[bytes]:
|
|
chunk_buf = bytearray()
|
|
async for chunk in proc.stdout: # type: ignore[union-attr]
|
|
# gzip 接受 bytes，返回 bytes
|
|
compressed = await loop.run_in_executor(None, gzip.compress, chunk)
|
|
if compressed:
|
|
yield compressed
|
|
|
|
try:
|
|
async for piece in gzip_stream():
|
|
yield piece
|
|
finally:
|
|
try:
|
|
await proc.wait()
|
|
except Exception:
|
|
proc.kill()
|
|
await proc.wait()
|
|
|
|
if proc.returncode != 0:
|
|
stderr = (await proc.stderr.read()).decode(errors="replace") if proc.stderr else ""
|
|
raise RuntimeError(
|
|
f"mysqldump failed (exit={proc.returncode}): {stderr.strip()[:2000]}"
|
|
)
|