搭建博客后端过程中的笔记

博客

数据库:主从配置，读写分离搜索：es

`git commit feat-[content]

配置初始化#

使用yaml进行配置保存

1
system:
2
  ip:
3
  port: 8080
4
  env: dev # 一般用于gin的日志输出
5
log:
6
  app: blogx_server
7
  dir: logs

日志初始化#

为什么用日志库而不是标准日志

功能更强大
显示更清晰

日志格式

logs/Date/App

连接数据库#

==读写分离== 插件:https://github.com/go-gorm/dbresolver 能自动识别读写操作,进行操作分发

settings.yaml

1
db:
2
  user: root
3
  password: root
4
  host: 127.0.0.1
5
  port: 5432
6
  database: gvb_db
7
  debug: false
8
  source: postgres
9
# 数据库配置一样，模拟多个数据库读写分离
10
db1:
11
  user: root
12
  password: root
13
  host: 127.0.0.1
14
  port: 5432
15
  database: gvb_db
16
  debug: false
17
  source: postgres

⚠️如果连接不上远程数据库 查看🛜网络的代理设置，看是否设置了sock代理，可能连接被代理拦截了，增加白名单即可

路由初始化#

将api从路由里剥离出来，避免耦合

根据ip获取地理位置#

经常用于社交平台通过ip地址去定位在网上冲浪都是走公网ip 哪些是内网？

1
192.168.0.0
2
172.16-32
3
10.。。
4
127.0.0.1

ip2region: “github.com/lionsoul2014/ip2region/binding/golang/xdb”

离线数据库查询，效率高，精度低或利用现有网站去发请求
精准度高，效率低

初始化ip2region

1
func InitIPDB() {
2
    var dbPath = "init/ip2region.xdb"
3
    _searcher, err := xdb.NewWithFileOnly(dbPath)
4
    if err != nil {
5
       logrus.Fatalf("ip地址数据库加载失败: %s\n", err)
6
       return
7
    }
8
    //不关闭因为后面还需要用
9
    //defer searcher.Close()
10
    searcher = _searcher
11
}

通过区间判断是否是内网

1
func HasLocalIPAddr(ip string) bool {
2
    return HasLocalIP(net.ParseIP(ip))
3
}
4

5
// HasLocalIP 通过ip判断内网
6
func HasLocalIP(ip net.IP) bool {
7
    if ip.IsLoopback() {
8
       return true
9
    }
10
    ip4 := ip.To4()
11
    if ip4 == nil {
12
       return false
13
    }
14
    return ip4[0] == 10 ||
15
       (ip4[0] == 172 && ip4[1] >= 16 && ip[4] <= 31) ||
16
       (ip4[0] == 192 && ip4[1] == 168) ||
17
       (ip4[0] == 169 && ip4[1] == 254)
18
}

如果不是内网，再进行查表

1
var searcher *xdb.Searcher
2
const LOCFOMMAT = 5
3
func GetIPLoc(ip string) (location string) {
4
    //利用区间先快速判断是否是内网
5
    if ipUtils.HasLocalIPAddr(ip) {
6
       return "内网"
7
    }
8
    region, err := searcher.SearchByStr(ip)
9
    if err != nil {
10
       logrus.Warnf("错误的ip地址:[%s]", ip)
11
       return "异常地址"
12
    }
13
    //处理addrList
14
    _addrList := strings.Split(region, "|")
15
    if len(_addrList) != LOCFOMMAT {
16
       //出现概率目前极低
17
       logrus.Warnf("异常的ip地址:[%s]", ip)
18
       return "未知地址"
19
    }
20
 //...
21
 //处理格式
22
 //...
23
    return region
24
}

表结构搭建#

优先核心表
表的设计尽量保证后期表结构不变化
要考虑冗余字段：==字段可以多但是不能少==

日志系统#

登录日志
操作日志
- 获取请求体->可以放在请求中间件里
静态路由
- r.static(),路径映射URL

JWT#

jwt库 “github.com/dgrijalva/jwt-go”

定义 Claims 结构 自定义 Claims，包含用户的基本信息（如 UserID、Username、Role），并组合 jwt.StandardClaims 形成 MyClaims。

1
type Claims struct {
2
    UserID   uint   `json:"userID"`
3
    Username string `json:"username"`
4
    Role     uint8  `json:"role"`
5
}
6

7
type MyClaims struct {
8
    Claims
9
    jwt.StandardClaims
10
}

生成token

1
// GetToken 转换 token
2
func GetToken(claims Claims) (string, error) {
3
    cla := MyClaims{
4
       Claims: claims,
5
       StandardClaims: jwt.StandardClaims{
6
          ExpiresAt: time.Now().Add(time.Duration(global.Config.Jwt.Expire) * time.Hour).Unix(), // 过期时间
7
          Issuer:    global.Config.Jwt.Issuer,                                                   // 签发人
8
       },
9
    }
10
    //设置签名算法
11
    token := jwt.NewWithClaims(jwt.SigningMethodHS256, cla)
12
    return token.SignedString([]byte(global.Config.Jwt.Secret)) // 进行签名生成对应的token
13
}

解析 Token 通过 ParseToken(tokenString) 解析 JWT：

校验签名是否合法
判断是否过期、是否非法或无效
成功后返回自定义的 MyClaims

1
func ParseToken(tokenString string) (*MyClaims, error) {
2
    if tokenString == "" {
3
       //如果未登录，直接返回
4
       return nil, errors.New("请登录")
5
    }
6
    token, err := jwt.ParseWithClaims(tokenString, &MyClaims{}, func(token *jwt.Token) (interface{}, error) {
7
       return []byte(global.Config.Jwt.Secret), nil
8
    })
9
    if err != nil {
10
       //如果出错,判断出错类型
11
       if strings.Contains(err.Error(), "token is expired") {
12
          return nil, errors.New("token过期")
13
       }
14
       if strings.Contains(err.Error(), "signature is invalid") {
15
          return nil, errors.New("token无效")
16
       }
17
       if strings.Contains(err.Error(), "token contains an invalid") {
18
          return nil, errors.New("token非法")
19
       }
20
       return nil, err
21
    }
22
    //断言确定token有效
23
    if claims, ok := token.Claims.(*MyClaims); ok && token.Valid {
24
       return claims, nil
25
    }
26
    return nil, errors.New("invalid token")
27
}

拓展：双token

单token 过期时间长，安全程度低

双token包括access_token用来鉴权，refresh_token用来获取新access_token，时间可以设置为较长

jwt缺点：

不能主动失效 Redis添加黑名单

图片管理#

图片上传的文件名重复问题

直接存hash

七牛云#

TODO

用户管理#

图片验证码库:“github.com/mojocn/base64Captcha”#

存储器设置

1
// 根据自己需求更改验证码存储上限和过期时间
2
var result = base64Captcha.NewMemoryStore(10240, 3*time.Minute)
3
//或者使用默认配置 10240,10min
4
var result = base64Captcha.DefaultMemStore

生成器配置

1
// digitConfig 生成图形化数字验证码配置
2
func digitConfig() *base64Captcha.DriverDigit {
3
    digitType := &base64Captcha.DriverDigit{
4
       Height:   50,
5
       Width:    100,
6
       Length:   5,
7
       MaxSkew:  0.45,
8
       DotCount: 80,
9
    }
10
    return digitType
11
}

生成

1
// CreateCode
2
// @Result id 验证码id
3
// @Result bse64s 图片base64编码
4
// @Result err 错误
5
func CreateCode() (string, string, string, error) {
6
    var driver base64Captcha.Driver
7
    //纯数字验证码
8
    driver = digitConfig()
9
    if driver == nil {
10
       logrus.Errorf("图形化数字验证码配置失败")
11
    }
12
    // 创建验证码并传入创建的类型的配置，以及存储的对象
13
    c := base64Captcha.NewCaptcha(driver, result)
14
    id, b64s, answer, err := c.Generate()
15
    return id, b64s, answer, err
16
}

发邮件#

1
import (
2
    "log"
3
    "net/smtp"
4

5
    "github.com/jordan-wright/email"
6
)
7

8
func main() {
9
    e := email.NewEmail()
10
    //设置发送方的邮箱
11
    e.From = "dj <XXX@qq.com>"
12
    // 设置接收方的邮箱
13
    e.To = []string{"XXX@qq.com"}
14
    //设置抄送如果抄送多人逗号隔开
15
    e.Cc = []string{"XXX@qq.com",XXX@qq.com}
16
    //设置秘密抄送
17
    e.Bcc = []string{"XXX@qq.com"}
18
    //设置主题
19
    e.Subject = "这是主题"
20
    //设置文件发送的内容
21
    e.Text = []byte("www.topgoer.com是个不错的go语言中文文档")
22
    //设置服务器相关的配置
23
    err := e.Send("smtp.qq.com:25", smtp.PlainAuth("", "你的邮箱账号", "这块是你的授权码", "smtp.qq.com"))
24
    if err != nil {
25
        log.Fatal(err)
26
    }
27
}

setting.yaml配置

1
email:
2
  domain: ""  # 邮件服务器
3
  port: 0   # 465 开ssl 587 没有开ssl
4
  sendEmail: ""
5
  authCode: ""
6
  sendNickname: ""
7
  ssl: false
8
  tls: false

用户密码一定不能明文存储在数据库里

QQ登录#

TODO

随便做个页面：有qq登录就行
审核

用户名+密码登录#

命令行创建用户#

包:“golang.org/x/crypto/ssh/terminal”

实现了密码的加密显示(” * “)

1
terminal.ReadPassword(int(os.Stdin.Fd()))

邮箱绑定#

PostgreSQL主从配置 #

es配置#

🔍 1. 强大的全文搜索能力#

支持模糊查询、分词、匹配度排序。
能处理拼写错误、同义词等复杂搜索需求。

⚡ 2. 高性能#

数据检索速度快，尤其适合处理大规模数据。
查询和写入都具备良好的延迟控制

docker-compose#

1
  es:
2
    image: "elasticsearch:7.12.0"
3
    restart: always
4
    privileged: true
5
    environment:
6
      discovery.type: single-node
7
      ES_JAVA_OPTS: "-Xms512m -Xmx512m"
8
    volumes:
9
      - ./es/data:/usr/share/elasticsearch/data
10
    networks:
11
      blogx_network:
12
        ipv4_address: 10.2.0.5

修改data目录的权限##

chmod -R 0777 ./es/data

es v9笔记

Mysql同步数据到es的方式#

同步双写
异步双写
数据抽取
数据订阅
canal( 选用)

PG同步es#

TODO

防Xss注入#

go Markdown 解析#

md->html->text rune? rune 是一个内置的数据类型，用于表示 Unicode 字符（Unicode code point）。它的本质是 int32 的别名（占 4 个字节），用来处理 UTF-8 编码的字符

文章引入缓存#

避免频繁访问数据库引入缓存：浏览量，点赞数等

如:点赞的时候，在缓存里面记录一个key,value，key 就是文章id，value 就是点赞数

查询文章的时候，从缓存里面查点赞数，响应的时候，实际点赞数=数据库中点赞数＋缓存中的点赞数在每天的0点进行数据同步

文章删除#

管理员可以删任意的文章，如果删的是用户的，应该给用户发一个系统消息
用户只能删自己发布的文章

删文章如果是物理删除，就需要删除对应的关晚记录文章点赞，文章收藏，文章置顶，文章评论，文章浏览

定时任务#

库用于在非高峰期同步缓存数据到数据库

全局通知#

方案:

管理员创建一条全局通知就给所有用户发一条系统消息(只适用于人少的情况)
用户在系统消息界面主动查询

WebSocket#

websocket是socket连接和http协议的结合体，可以实现网页和服务端的长连接

不要在中间件加任何认证,认证通过查请求头去认证

1
go get github.com/gorilla/websocket

https://www.fengfengzhidao.com/article/htkS14sBEG4v2tWkYG4A#websocket

建立连接的时机？维护用户在线表

如果目的方在线，就建立ws连接否则直接入库

文章查询#

es,降级(db)

分数->相关度

获取服务器资源占用量#

包：github.com/shirou/gopsutil

配置初始化#

日志初始化#

连接数据库#

路由初始化#

根据ip获取地理位置#

表结构搭建#

日志系统#

JWT#

图片管理#

七牛云#

用户管理#

图片验证码库:“github.com/mojocn/base64Captcha”#

发邮件#

QQ登录#

用户名+密码登录#

命令行创建用户#

邮箱绑定#

PostgreSQL主从配置#

es配置#

🔍 1. 强大的全文搜索能力#

⚡ 2. 高性能#

docker-compose#

修改data目录的权限##

Mysql同步数据到es的方式#

PG同步es#

防Xss注入#

go Markdown 解析#

文章引入缓存#

文章删除#

定时任务#

全局通知#

WebSocket#

文章查询#

获取服务器资源占用量#

PostgreSQL主从配置 #