CI / verify (push) Canceled after 0s
备份、隧道生命周期、日志、会话与设置项存在一批「静默失效」问题,本次一并收敛。 正确性: - 备份归档补上 session_secret 与 frp 配置。缺密钥时换机恢复后库里所有凭据都解不开, 界面表现为「配置都在、一执行就报解密失败」;同时支持口令加密(scrypt + AES-256-GCM)。 - 修复「立即备份」必失败:tar 头用的是遍历时的文件尺寸,而 logs、frpc 配置在打包期间 还在增长,读出的字节多于声明值导致 archive/tar 报错、整份备份作废。改为打开后重新 取尺寸并用 LimitReader 兜住,被截短时补零保持条目结构完整。 - 数据库改用 VACUUM INTO 生成一致性快照。直接打包正在写入的 SQLite 文件可能得到 结构完整但内容自相矛盾的副本,恢复后才暴露。 - Cloudflare 启动改用 StartAuto,Shutdown 显式 StopAll,子进程绑定应用 ctx。此前 重启会把用户手动停掉的隧道重新拉起,退出也可能留下孤儿进程。 - Nginx 访问/错误日志加轮转(200MB 阈值、gzip 归档、USR1 重开),读取改为从文件尾 分块倒读,并跨当日归档统计。此前日志只增不减,读接口每次全量扫描。 - 过期会话改由日任务清理;删除反代规则时同步清掉流量累计,避免同名规则重建继承旧读数。 - 启动加就绪门:Nginx bootstrap 完成后再放行 FRP 对账、Agent 隧道与 Cloudflare 自启。 设置项: - 新增设置项注册表(internal/settings/registry.go),白名单与默认值从它派生, 并记录每个键的消费者,防止再出现「界面能改、后端没人读」的黑洞设置。 - 接上三个此前不生效的设置项:timezone(启动与保存时应用到 time.Local)、 theme(后端为权威源,挂载时覆盖本地偏好、顶栏切换回写)、log_retention_days (控制日志归档保留天数)。 工程质量: - gofmt 全量格式化 23 个历史文件,CI 增加格式化门禁。 - 前端引入 ESLint(flat config)与 lint 脚本,CI 增加 lint 步骤;顺带修掉 logDisplay 的 let→const 与 LogsView 模板内直接改 prop 两处问题。 - 删除无引用的 pnpm-lock.yaml,prototype/ 加入忽略列表。 - 打包版本对齐:Docker manifest 同步到 2.0.0,CI 校验 VERSION 与 package.json 一致。 验证:gofmt 0 文件、go vet、go test ./...、npm run lint/typecheck/test/build 全绿。 Generated with [Devin](https://devin.ai) Co-Authored-By: Devin <158243242+devin-ai-integration[bot]@users.noreply.github.com>
152 lines
4.0 KiB
Go
152 lines
4.0 KiB
Go
package backup
|
|
|
|
import (
|
|
"archive/tar"
|
|
"compress/gzip"
|
|
"context"
|
|
"database/sql"
|
|
"io"
|
|
"os"
|
|
"path/filepath"
|
|
"testing"
|
|
"time"
|
|
|
|
"github.com/havline/havline/internal/db"
|
|
)
|
|
|
|
// openTestDB 建一个跑过迁移的临时库,用于验证快照路径。
|
|
func openTestDB(t *testing.T) (*sql.DB, error) {
|
|
t.Helper()
|
|
conn, err := db.Open(filepath.Join(t.TempDir(), "source.db"))
|
|
if err != nil {
|
|
return nil, err
|
|
}
|
|
if err := db.Migrate(context.Background(), conn, filepath.Join("..", "..", "migrations")); err != nil {
|
|
conn.Close()
|
|
return nil, err
|
|
}
|
|
return conn, nil
|
|
}
|
|
|
|
// TestExportSurvivesGrowingFiles 复现「立即备份」报 archive/tar: write too long 的现场。
|
|
//
|
|
// 成因:addFile 用 WalkDir 那一刻拿到的 FileInfo.Size() 写 tar 头,随后才去读文件内容。
|
|
// 而 logs、frpc 配置这些文件在打包期间还在长,读到的字节多于头部声明,tar 直接报错、
|
|
// 整份备份作废。这里的做法是让一个「边打包边追加」的写入者持续往文件里写。
|
|
func TestExportSurvivesGrowingFiles(t *testing.T) {
|
|
dataDir := t.TempDir()
|
|
if err := os.WriteFile(filepath.Join(dataDir, "havline.db"), []byte("db"), 0o600); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
|
|
// 造一个会持续增长的文件,放在会被归档的目录下
|
|
frpDir := filepath.Join(dataDir, "frp")
|
|
if err := os.MkdirAll(frpDir, 0o750); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
growing := filepath.Join(frpDir, "frpc-server-1.toml")
|
|
if err := os.WriteFile(growing, []byte("token = \"x\"\n"), 0o600); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
|
|
stop := make(chan struct{})
|
|
done := make(chan struct{})
|
|
go func() {
|
|
defer close(done)
|
|
chunk := []byte("padding = \"" + "0123456789abcdef" + "\"\n")
|
|
for {
|
|
select {
|
|
case <-stop:
|
|
return
|
|
default:
|
|
}
|
|
f, err := os.OpenFile(growing, os.O_APPEND|os.O_WRONLY, 0o600)
|
|
if err != nil {
|
|
return
|
|
}
|
|
_, _ = f.Write(chunk)
|
|
_ = f.Close()
|
|
time.Sleep(time.Millisecond)
|
|
}
|
|
}()
|
|
|
|
path, err := New(dataDir).Export(context.Background())
|
|
close(stop)
|
|
<-done
|
|
|
|
if err != nil {
|
|
t.Fatalf("文件在打包期间增长时导出不应失败:%v", err)
|
|
}
|
|
if _, err := New(dataDir).Verify(context.Background(), path); err != nil {
|
|
t.Fatalf("导出的归档应可校验:%v", err)
|
|
}
|
|
}
|
|
|
|
// TestExportUsesDatabaseSnapshot:注入数据库后,归档里的 havline.db 必须来自快照,
|
|
// 而不是直接读主文件——主文件在写入时并不自洽。
|
|
func TestExportUsesDatabaseSnapshot(t *testing.T) {
|
|
dataDir := t.TempDir()
|
|
// 故意在主文件里放一段「不是有效 SQLite」的内容:
|
|
// 若实现退回直接打包文件,归档里就会是这串字节。
|
|
if err := os.WriteFile(filepath.Join(dataDir, "havline.db"), []byte("not-a-valid-db"), 0o600); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
if err := os.WriteFile(filepath.Join(dataDir, "session_secret"), []byte("secret"), 0o600); err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
|
|
conn, err := openTestDB(t)
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
defer conn.Close()
|
|
|
|
svc := New(dataDir)
|
|
svc.SetDB(conn)
|
|
path, err := svc.Export(context.Background())
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
|
|
content := readArchiveEntry(t, path, "havline.db")
|
|
if string(content) == "not-a-valid-db" {
|
|
t.Fatal("归档里的数据库应来自 VACUUM INTO 快照,而不是直接读取主文件")
|
|
}
|
|
// SQLite 文件头是 "SQLite format 3\x00"
|
|
if len(content) < 16 || string(content[:15]) != "SQLite format 3" {
|
|
t.Fatalf("快照应是有效 SQLite 文件,实际头部:%q", content[:min(16, len(content))])
|
|
}
|
|
}
|
|
|
|
func readArchiveEntry(t *testing.T, path, want string) []byte {
|
|
t.Helper()
|
|
file, err := os.Open(path)
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
defer file.Close()
|
|
gr, err := gzip.NewReader(file)
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
defer gr.Close()
|
|
tr := tar.NewReader(gr)
|
|
for {
|
|
header, err := tr.Next()
|
|
if err == io.EOF {
|
|
return nil
|
|
}
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
if header.Name != want {
|
|
continue
|
|
}
|
|
data, err := io.ReadAll(tr)
|
|
if err != nil {
|
|
t.Fatal(err)
|
|
}
|
|
return data
|
|
}
|
|
}
|