普通视图

Received before yesterday

SQL解析工具JSQLParser

2025年2月1日 00:00

本文未完待续…

一、引言

JSQLParser(GitHub:https://github.com/JSQLParser/JSqlParser)是一个Java语言的SQL语句解析工具,功能十分强大,它可以将SQL语句解析成为Java类的层次结构,还支持改写SQL,常见的持久层框架MyBatis-Plus就采用它作为SQL解析工具来实现某些功能。

二、JSQLParser常见类

2.1 Class Diagram

2.2 Statement

可以理解为能够表示任意一种SQL语句的对象,Select、Update、Delete、Insert都是它的子类,例如以下用法:

Statement statement = JsqlParserGlobal.parse(sql);if (statement instanceof Insert) {    this.processInsert((Insert) statement, index, sql, obj);} else if (statement instanceof Select) {    this.processSelect((Select) statement, index, sql, obj);} else if (statement instanceof Update) {    this.processUpdate((Update) statement, index, sql, obj);} else if (statement instanceof Delete) {    this.processDelete((Delete) statement, index, sql, obj);}

2.3 Expression

是JSqlParser库中的一个核心接口,是用于表示SQL语句中的各种表达式的基类接口,通过调用对象的.toString()方法,就能看到具体的语句结构。

例如:

  1. 基本值
    • LongValue(整数值)、StringValue(字符串值)、DoubleValue(浮点数值)等。
  2. 列引用
    • Column(表示列名,如 column_nametable.column)。
  3. 运算符
    • Addition+)、Subtraction-)、Multiplication*)、Division/)等。
  4. 函数调用
    • Function(如 COUNT(*)SUBSTRING(str, 1, 2))。
  5. 条件表达式
    • EqualsTo=)、NotEqualsTo<>!=)、GreaterThan>)、LikeExpressionLIKE)等。
  6. 逻辑表达式(BinaryExpression)
    • AndExpressionAND)、OrExpressionOR)、NotExpressionNOT)。
  7. 子查询
    • SubSelect(如 (SELECT ...))。
  8. Case 表达式
    • CaseExpressionCASE WHEN ... THEN ... END)。
  9. 其他复杂表达式
    • CastExpressionCAST(... AS ...))、IntervalExpression(时间间隔)等。

2.4 Select

用于表示查询SQL语句,有三个常见子类:PlainSelect,ParenthesedSelect,SetOperationList

2.5 Update

用于表示更新的SQL语句

获得对应表

Table table = update.getTable();

获得要更新的值

List<UpdateSet> sets = update.getUpdateSets();

获取where条件

Expression expression = update.getWhere()

2.6 Delete

用于表示删除的SQL语句

获得对应表

Table table = delete.getTable();

获取where条件

Expression expression = delete.getWhere()

2.7 Insert

用于表示添加SQL语句,有以下几种常见方法

获取添加的列

List<Column> columns = insert.getColumns();

获取添加的值

Values values = insert.getValues();

获取添加时冲突进行更新的结构

INSERT INTO ... VALUES ...ON DUPLICATE KEY UPDATE ...
List<UpdateSet> duplicateUpdateColumns = insert.getDuplicateUpdateSets();

insert select的结构,获取select

INSERT ... SELECT ...
Select select = insert.getSelect();

2.8 PlainSelect

用于表示最常规的那种查询结构,例如:

select...from...join...where...

获取select后面的结构

List<SelectItem<?>> selectItems = plainSelect.getSelectItems();

获取select语句的where结构

Expression where = plainSelect.getWhere();

获取查询的from后的结构(表,子查询等)

FromItem fromItem = plainSelect.getFromItem();

存在连接查询时,获取连接查询(left/right/inner)join后的结构

List<Join> joins = plainSelect.getJoins();

2.9 SetOperationList

用于表示多个select语句通过unionunion all连接在一起的联合查询SQL对象

select...from...union allselect...from...union allselect...from...

将语句拆分,获取构成它的若干select

SetOperationList operationList = (SetOperationList) selectBody;List<Select> selectBodyList = operationList.getSelects();

2.10 ParenthesedSelect

用于表示子查询,被小括号包裹的一个查询结构,例如:

(select....from...) as t

“去括号”,得到一个PlainSelect

ParenthesedSelect parenthesedSelect = (ParenthesedSelect) selectBody;Select select = parenthesedSelect.getSelect();

2.11 FromItem

接口,from后面的SQL结构,ParenthesedSelect,ParenthesedFromItem,Table都是它的实现

FromItem fromItem = plainSelect.getFromItem();if (fromItem instanceof Table) {    }else if (fromItem instanceof ParenthesedSelect) {    }else if (fromItem instanceof ParenthesedFromItem) {    }

2.12 Table

用于表示SQL中的表

2.13 ParenthesedFromItem

小括号包裹的可被查询的结构,但不是子查询,不常用,例如小括号包裹的join:

(tab1 join tab2)

2.14 SelectItem

用于表示select语句中,select和from之间的部分,例如:

select    fun(1, 2) as a,    (select x from ...) as b,    name as c,    exists (...) AS dfrom t
List<SelectItem<?>> selectItems = plainSelect.getSelectItems();selectItems.forEach(selectItem -> {    Expression expression = selectItem.getExpression();    if (expression instanceof Select) {            }    else if (expression instanceof Function) {    }    else if (expression instanceof ExistsExpression) {    }});

2.15 BinaryExpression

泛指比较符号:and or = >= =<,这种结构左右连接着其他结构。EqualsTo,OrExpression,AndExpression都是它的子类。

获取左右两侧的结构:

BinaryExpression expression = (BinaryExpression) obj;Expression left = expression.getLeftExpression();Expression right = expression.getRightExpression();

2.16 InExpression

x in (...)

获取右侧的结构,可能是子查询或(*,*,*...)

InExpression expression = (InExpression) obk;Expression inExpression = expression.getRightExpression();

2.17 ExistsExpression

exists (...)

获取右侧结构

ExistsExpression expression = (ExistsExpression) obj;Expression e = expression.getRightExpression() ;

2.18 NotExpression

not,与其他的配合使用,例如:

not in (...)not exists (...)

获取not后面的结构,会提取出in exists等结构

NotExpression expression = (NotExpression) obj;Expression e = expression.getExpression();

2.19 Parenthesis

代表小括号()括起来的结构

(...)

去括号,拿到括号中的结构:

Parenthesis expression = (Parenthesis) obj;Expression e = expression.getExpression();

2.20 Function

函数结构,通常会获取参数,对参数进行操作

fun()
ExpressionList<?> parameters = function.getParameters();if (parameters != null) {    parameters.forEach(expression -> {        if (expression instanceof Select) {                    }         else if (expression instanceof Function) {                    }     });}

2.21 EqualsTo

=

2.22 OrExpression

or

2.23 AndExpression

and

2.24 Join

SQL中连接查询的join结构,从Select中获得。

获取join后的结构,一般可能是表也可能是子查询

FromItem joinItem = join.getRightItem();

判断是否为隐式内连接

join.isSimple();

判断是内/左/右连接

join.isRight();join.isInner();join.isLeft();

获取join的on条件

Collection<Expression> originOnExpressions = join.getOnExpressions();

改写join的on条件

join.setOnExpressions(onExpressions);

2.25 Column

用于表示SQL中的字段对象,例如从一个Insert对象获取SQL要添加的全部字段:name,age,tenant_id

INSERT INTO t_user (name, age, tenant_id) VALUES ('liming', 15), ('zhaoying', 16)
List<Column> columns = insert.getColumns();

2.26 UpdateSet

UpdateSet是一种类似xx = xx, ...的结构,出现在update的set后面

update user set username = 5 where id = 1 
List<UpdateSet> sets = update.getUpdateSets();

也能在insert语句处理添加的数据冲突的情况时,出现在ON DUPLICATE KEY UPDATE后面

INSERT INTO table_name (col1, col2) VALUES (val1, val2)ON DUPLICATE KEY UPDATE col1 = val3, col2 = col4 + 1;
List<UpdateSet> duplicateUpdateColumns = insert.getDuplicateUpdateSets();

2.27 ExpressionList

Expression列表,本质上是List<Expression>,当insert语句values后面批量跟了多组值,就能得到这种结构。

('liming', 15), ('zhaoying', 16)
Values values = insert.getValues();ExpressionList<Expression> expressions = (ExpressionList<Expression>) values.getExpressions();

2.28 ParenthesedExpressionList

继承自ExpressionList,本质上也是List<Expression>,一种带着括号的Expression结构,例如获取insert语句values后面的值就能得到这种结构

('liming', 15)
Values values = insert.getValues();ExpressionList<Expression> expressions = (ExpressionList<Expression>) values.getExpressions();if (expressions instanceof ParenthesedExpressionList) {    // ParenthesedExpressionList} else {    // ExpressionList}

附:类路径

net.sf.jsqlparser.statement.Statement
net.sf.jsqlparser.statement.select.Select
net.sf.jsqlparser.statement.update.Update
net.sf.jsqlparser.statement.delete.Delete
net.sf.jsqlparser.statement.insert.Insert
net.sf.jsqlparser.schema.Table
net.sf.jsqlparser.expression.Expression
net.sf.jsqlparser.statement.select.ParenthesedSelect
net.sf.jsqlparser.statement.select.SetOperationList
net.sf.jsqlparser.statement.select.SelectItem
net.sf.jsqlparser.expression.BinaryExpression
net.sf.jsqlparser.expression.operators.relational.InExpression
net.sf.jsqlparser.expression.operators.relational.ExistsExpression
net.sf.jsqlparser.expression.NotExpression
net.sf.jsqlparser.expression.Parenthesis
net.sf.jsqlparser.statement.select.ParenthesedFromItem
net.sf.jsqlparser.statement.select.FromItem
net.sf.jsqlparser.expression.Function
net.sf.jsqlparser.expression.operators.relational.EqualsTo
net.sf.jsqlparser.expression.operators.conditional.OrExpression
net.sf.jsqlparser.expression.operators.conditional.AndExpression
net.sf.jsqlparser.statement.select.Join
net.sf.jsqlparser.schema.Column
net.sf.jsqlparser.expression.operators.relational.ExpressionList
net.sf.jsqlparser.expression.operators.relational.ParenthesedExpressionList

Git

2024年9月24日 15:00

Git基本操作

1. 设置签名

  • 形式:用户名 + 邮箱地址

  • 级别

    • 系统用户:当前操作系统的用户内有效
    • 仓库级别:仅在本地仓库内有效
  • 作用范围:就近原则

    • 设置了仓库级别,就不使用系统级别
    • 只有系统级别存在时,才使用系统用户级别
  • 至少设置一个级别,否则无法正常工作

配置命令

  • 仓库级别

    git config user.name 用户名git config user.email 邮箱
  • 系统级别

    git config --global user.name 用户名git config --global user.email 邮箱

配置保存位置

  • 系统级别{home}\.gitconfig
  • 仓库级别{repo}\.git\config

2. 暂存文件

git add "文件名"  # 存放文件到暂存区

3. 撤回暂存区文件

git rm --cached <file>  # 将文件由暂存区撤回

4. 提交文件

git commit -m "提交信息"  # 提交一个文件

5. 移除版本控制

git rm -r --cached  # 移除版本控制,提交后生效

新建文件提交

  • 对于新建的文件,必须 git add 进入暂存区。
  • 如果之前已经添加进去了,修改后既可以先添加暂存区再提交,也可以直接:
    git commit -a -m "message"  # 直接提交

6. 查看版本历史

git log  # 查看版本历史纪录git log --oneline  # 简略显示git log --pretty=oneline  # 显示在一行,可读性强git reflog  # 显示切换到哪个版本的记录

日志多屏显示

  • 空格:向下翻页
  • b:向上翻页
  • q:退出

7. 版本回退

git reset --hard 索引值  # 强制回退到指定版本

使用符号回退

  • ^:只能回退
    git reset --hard HEAD^  # 当前版本前退一步
  • 波浪线:表示后退步数
    git reset --hard HEAD~3  # 前退三步

reset 的区别

  • soft:仅在本地库移动 HEAD 指针,不触碰暂存区和工作区
  • mixed:本地库移动指针,重置暂存区
  • hard:本地库移动指针,暂存区和工作区均会被操作

8. 文件差异

git diff 文件名  # 比较工作区与暂存区的差异git diff HEAD 文件名  # 比较工作区与本地库中的历史版本差异
  • 不带文件名会比较多个文件。

9. 分支管理

  • 查看所有分支

    git branch -a  # 查看所有分支git branch -r  # 查看远程分支git branch  # 查看本地分支
  • 删除分支

    git branch -D 分支名
  • 新建分支

    git branch 分支名
  • 切换分支

    git checkout 分支名
  • 创建并切换到新分支

    git checkout -b 分支名
  • 分支合并

    1. 先切换到接受修改的目标分支
    2. 执行:
      git merge 要合并的分支
    3. 如果有冲突,打开文件进行编辑
    4. 解决冲突后:
      git add 文件git commit  # 进行标记解决冲突

10. 远程库

  • 查看所有远程库别名

    git remote -v
  • 添加远程库别名

    git remote add 别名 地址
  • 推送到远程库

    git push 远程库别名 分支名
  • 拉取远程库内容

    git fetch gitlab master  # 拉取到本地,不修改工作区
  • 合并远程库修改

    git pull 远程库别名 分支名  # 拉取并合并

11. Git 原理

  • 哈希算法:使用不可逆算法(如 SHA-1),同一算法得到的长度相同。
  • Git 基于快照进行版本管理,而不是增量式管理。未修改的文件会指向前一个版本。

12. 标签管理

  • 删除标签

    git tag -d test_tag
  • 远端删除标签

    git push origin --tags

MinIO

2024年8月15日 00:00

未完待续

1.概述

MinIO是一个对象存储解决方案,它基于GO语言编写,提供了与Amazon S3兼容的API,并支持部署在服务器,Docker或K8s。

2.服务端

2.1 二进制文件部署服务端

minio server 命令启动MinIO服务器. 这个路径参数/opt/miniodata确定服务器操作的文件夹。

nohup ./minio server   /opt/miniodata  \--config-dir /opt/minioconfig  \--console-address ":13399" \-address ":13487"   > minio.log &

2.2 Docker部署服务端

docker run -d \-p 3399:3399 \-p 3487:3487 \--name minio \-e "MINIO_ACCESS_KEY=12345678" \-e "MINIO_SECRET_KEY=12345678" \-v /opt/minio/data:/data \-v /opt/minio/config:/root/.minio \minio/minio server /data --console-address ":3399" -address ":3487"

3.客户端

MinIO客户端mc命令行工具提供了一个现代化的替代方案, 支持文件系统和与Amazon S3兼容的云存储服务,适用于UNIX命令如 ls 、 cat 、 cp 、 mirror 和 diff 。

客户端命令的基本格式:

mc [GLOBALFLAGS] COMMAND --help

3.1 下载

3.2 管理客户端 admin

测试连接,myminio为之前通过alias命令设置好的某个服务端的别名

[root@QNXGXUUAOAW012 opt]# ./mc admin info myminio●  127.0.0.1:13487   Uptime: 10 months    Version: 2024-07-31T05:46:26Z   Network: 1/1 OK    Drives: 1/1 OK    Pool: 1┌──────┬───────────────────────┬─────────────────────┬──────────────┐│ Pool │ Drives Usage          │ Erasure stripe size │ Erasure sets ││ 1st  │ 16.0% (total: 91 GiB) │ 1                   │ 1            │└──────┴───────────────────────┴─────────────────────┴──────────────┘773 MiB Used, 1 Bucket, 656 Objects1 drive online, 0 drives offline, EC:0

3.3 别名 alias

alias set将目标服务端http://127.0.0.1:13487设置为本地的别名myminio

[root@QNXGXUUAOAW012 opt]# ./mc alias set myminio http://127.0.0.1:13487  19j**********5UmjZW   zl0Fnit****************J8ANektAdded `myminio` successfully.[root@QNXGXUUAOAW012 opt]# 

3.4 拷贝文件 cp

递归拷贝服务端的uni******siaBucket(桶)下/2025/10/16路径下的所有文件到本地/opt/backup目录

[root@QNXGXUUAOAW012 opt]# ./mc cp myminio/uni******sia/2025/10/16 /opt/backup --recursive...e865ea0bb3c698e394b85ab3.png: 61.36 KiB / 61.36 KiB ┃▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓┃ 4.63 MiB/s 0s[root@QNXGXUUAOAW012 opt]#

常用的正则表达式

2022年4月1日 15:00
正则表达式用法
\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,“n”匹配字符“n”。“\n”匹配一个换行符。串行“\”匹配“\”而“(”则匹配“(”。
^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配“\n”或“\r”之后的位置。
$匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配“\n”或“\r”之前的位置。
*匹配前面的子表达式零次或多次。例如,zo能匹配“z”以及“zoo”。等价于{0,}。
+匹配前面的子表达式一次或多次。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等价于{1,}。
?匹配前面的子表达式零次或一次。例如,“do(es)?”可以匹配“does”或“does”中的“do”。?等价于{0,1}。
{n}n是一个非负整数。匹配确定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的两个o。
{n,}n是一个非负整数。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
{n,m}m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
?当该字符紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo”,“o+?”将匹配单个“o”,而“o+”将匹配所有“o”。
.匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符,请使用像“(.|\n)”的模式。
(pattern)匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括号字符,请使用“(”或“)”。
(?:pattern)匹配pattern但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。这在使用或字符“(|)”来组合一个模式 的各个部分是很有用。例如“industr(?:y|ies)”就是一个比“industry|industries”更简略的表达式。
(?=pattern)正向肯定预查,在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”,但不能匹配“Windows3.1”中的“Windows”。预查不消耗字符,也就 是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。
(?!pattern)正向否定预查,在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”,但不能匹配“Windows2000”中的“Windows”。预查不消耗字符,也就 是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始
(?<=pattern)反向肯定预查,与正向肯定预查类拟,只是方向相反。例如,“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”,但不能匹配“3.1Windows”中的“Windows”。
(?<!pattern)反向否定预查,与正向否定预查类拟,只是方向相反。例如“(?”能匹配“3.1Windows”中的“Windows”,但不能匹配“2000Windows” 中的“Windows”。
x|y匹配x或y。例如,“z|food”能匹配“z”或“food”。“(z|f)ood”则匹配“zood”或“food”。
[xyz]字符集合。匹配所包含的任意一个字符。例如,“[abc]”可以匹配“plain”中的“a”。
[^xyz]负值字符集合。匹配未包含的任意字符。例如,“[^abc]”可以匹配“plain”中的“p”。
[a-z]字符范围。匹配指定范围内的任意字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。
[^a-z]负值字符范围。匹配任何不在指定范围内的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。
\b匹配一个单词边界,也就是指单词和空格间的位置。例如,“er\b”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。
\B匹配非单词边界。“er\B”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。
\cx匹配由x指明的控制字符。例如,\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的“c”字 符。
\d匹配一个数字字符。等价于[0-9]。
\D匹配一个非数字字符。等价于[^0-9]。
\f匹配一个换页符。等价于\x0c和\cL。
\n匹配一个换行符。等价于\x0a和\cJ。
\r匹配一个回车符。等价于\x0d和\cM。
\s匹配任何空白字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。
\S匹配任何非空白字符。等价于[^ \f\n\r\t\v]。
\t匹配一个制表符。等价于\x09和\cI。
\v匹配一个垂直制表符。等价于\x0b和\cK。
\w匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_]”。
\W匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。
\xn匹配n,其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如,“\x41”匹配“A”。“\x041”则等价于“\x04&1” 。正则表达式中可以使用ASCII编码。.
\num匹配num,其中num是一个正整数。对所获取的匹配的引用。例如,“(.)\1”匹配两个连续的相同字符。
\n标识一个八进制转义值或一个向后引用。如果\n之前至少n个获取的子表达式,则n为向后引用。否则,如果n为八进制数字(0-7 ),则n为一个八进制转义值。
\nm标识一个八进制转义值或一个向后引用。如果\nm之前至少有nm个获得子表达式,则nm为向后引用。如果\nm之前至少有n个获取,则n为一个后跟文字m的向后引用。如果前面的条件都不满足,若n和m均为八进制数字(0-7),则\nm将匹配八进制转义值nm。
\nml如果n为八进制数字(0-3),且m和l均为八进制数字(0-7),则匹配八进制转义值nml。
\un匹配n,其中n是一个用四个十六进制数字表示的Unicode字符。例如,\u00A9匹配版权符号(©)。
❌