32 篇博文 含有标签「pawsql」

💡 简介​

PawSQL for VSCode 是一款强大的 VSCode 插件，它将 PawSQL 引擎的智能 SQL 优化能力无缝集成到您的开发环境中，支持智能索引推荐、查询重写和自动化性能验证。通过与PawSQL Cloud(https://pawsql.com) 或企业私域部署的 PawSQL 优化平台配合使用，为开发者提供全方位的 SQL 性能优化解决方案。

🎯 在VSCode里一键优化SQL​

方法1. 点击 SQL 语句上方的 "Optimize" 按钮,使用默认工作空间进行优化

方法2. 点击 "Optimize..." 按钮，从下拉菜单选择目标工作空间开始优化分析

✨ 核心特性​

• 🚀 一键优化 - 智能分析并优化 SQL 查询性能
• 📊 索引优化 - 智能推荐最优索引组合，全面提升查询效率
• 🔄 查询重写 - 自动生成性能更优的等价 SQL 语句
• 📈 性能验证 - 精确量化优化效果，提供详实的性能提升数据

🔧 安装指南​

1. 启动 Visual Studio Code
2. 使用快捷键打开扩展市场：

• Windows: Ctrl+Shift+X
• macOS: Cmd+Shift+X
• 搜索 "PawSQL" 并安装

⚙️ 首次配置​

1. 点击 VS Code 左侧活动栏中的 PawSQL 图标
2. 在配置界面填写以下信息：

• PawSQL Server 地址（如：https://pawsql.com）

• 账号信息

• 密码

3. 点击保存完成配置

🌐 关于PawSQL​

PawSQL专注于数据库性能优化自动化和智能化，提供的解决方案覆盖SQL开发、测试、运维的整个流程，广泛支持包括KingbaseES 在内的多种主流商用和开源数据库，为开发者和企业提供一站式的创新SQL优化解决方案。有效解决了数据库SQL性能及质量问题，提升了数据库系统的稳定性、应用性能和基础设施利用率，为企业节省了大量的运维成本和时间投入。

0. 概述​

在国内信创的大背景下，金仓数据库KingbaseES和达梦数据库作为国内领先的自主可控数据库管理系统，在政府、金融、电信等关键领域扮演着举足轻重的角色。随着数据量的激增和业务复杂度的提升，国产数据库的SQL查询成为了确保业务流畅运行的关键。PawSQL，作为一款专业的数据库性能优化工具，覆盖SQL开发、测试、运维的整个流程，为金仓KingbaseES和达梦数据库提供了全面的优化支持，助力用户充分释放数据库的性能潜力。

1. 纳管数据库​

工作空间是SQL优化的工作环境，PawSQL支持两种方式为金仓KES/达梦数据库创建SQL优化任务的工作空间：

离线 - DDL解析：通过解析数据库的DDL文件，构建工作空间。

在线 - 元数据获取：直接从KingbaseES 数据库中获取元数据，快速建立工作空间。

2. 可配置的SQL审查​

PawSQL为金仓KES/达梦数据库的应用开发人员提供智能SQL审核功能，确保代码的准确性、效率、可读性、可维护性和安全性。

3. 丰富的查询重写优化​

PawSQL提供基于启发式规则和基于代价的SQL重写优化算法，为KingbaseES 推荐语义上等价但性能更优的SQL。同时，提供重写前后的SQL文本对比，并高亮显示重写部分。

4. 智能索引推荐​

PawSQL的智能索引推荐引擎为KingbaseES 上的应用查询提供最优索引策略，以适应各种SQL语法需求，显著提升查询效率。

5. 执行计划可视化（PPV）​

PawSQL的执行计划可视化工具（PawSQL Plan Visualizer）支持对KingbaseES 的执行计划进行图示化展示和分析，帮助用户轻松理解查询的执行过程，快速定位性能瓶颈。

6. 性能验证​

PawSQL自动采集SQL优化前后的KingbaseES 数据库的执行计划，获取优化前后的执行代价，确保推荐的优化建议能够真实提升数据库性能。

7. 慢查询自动采集和管理​

PawSQL性能巡检平台支持对KingbaseES 的慢查询进行采集和管理，支持基于crontab的定时采集和手工采集。

8. 数据库对象巡检​

PawSQL性能巡检平台支持对KingbaseES V8的数据库对象进行定时或手动巡检，覆盖表、列、字符集、索引、约束等各种数据库对象，以识别潜在的安全、性能等潜在问题，并给出警示。

🌟 总结​

PawSQL for KingbaseES，金仓数据库的全方位SQL优化解决方案，无论是日常查询还是复杂数据处理，PawSQL都以专业、高效的解决方案，助力您的数据库性能提升。

🌐 关于PawSQL​

PawSQL专注于数据库性能优化自动化和智能化，提供的解决方案覆盖SQL开发、测试、运维的整个流程，广泛支持包括KingbaseES 在内的多种主流商用和开源数据库，为开发者和企业提供一站式的创新SQL优化解决方案。有效解决了数据库SQL性能及质量问题，提升了数据库系统的稳定性、应用性能和基础设施利用率，为企业节省了大量的运维成本和时间投入。

引言​

PawSQL对TPC-H基准的Query 9进行的自动性能优化后，Query9的性能提升了1195.14%。本文将根据PawSQL的优化过程，探讨其优化 SQL 性能的有效策略与实际效果。通过对比优化前后的查询结构、索引设计及执行计划，阐述如何实现显著的性能提升。

本文的案例可在线查看：https://pawsql.com/statement/1837384704875499522

TPC-H Query 9介绍：TPC-H 的第9个查询统计每个国家每年所有被订购零件的总利润。其查询特性如下：

• 包含分组、排序、聚集操作
• 存在多表连接和子查询
• 使用了全匹配的LIKE 操作符

1️⃣ 查询重写优化​

原始查询

SELECT profit.nation, profit.o_year, SUM(profit.amount) AS sum_profit
FROM (
    SELECT nation.n_name AS nation, EXTRACT(YEAR FROM orders.o_orderdate) AS o_year,
           lineitem.l_extendedprice * (1 - lineitem.l_discount) - partsupp.ps_supplycost * lineitem.l_quantity AS amount
    FROM part, supplier, lineitem, partsupp, orders, nation
    WHERE supplier.s_suppkey = lineitem.l_suppkey
      AND partsupp.ps_suppkey = lineitem.l_suppkey
      AND partsupp.ps_partkey = lineitem.l_partkey
      AND part.p_partkey = lineitem.l_partkey
      AND orders.o_orderkey = lineitem.l_orderkey
      AND supplier.s_nationkey = nation.n_nationkey
      AND part.p_name LIKE '%dim%'
) AS profit
GROUP BY profit.nation, profit.o_year
ORDER BY profit.nation, profit.o_year DESC;

优化后的查询：‍

SELECT profit_nation.n_name AS nation, EXTRACT(YEAR FROM profit_orders.o_orderdate) AS o_year,
       SUM(profit_lineitem.l_extendedprice * (1 - profit_lineitem.l_discount) - profit_partsupp.ps_supplycost * profit_lineitem.l_quantity) AS sum_profit
FROM part AS profit_part, supplier AS profit_supplier,
     lineitem AS profit_lineitem, partsupp AS profit_partsupp,
     orders AS profit_orders, nation AS profit_nation
WHERE profit_supplier.s_suppkey = profit_lineitem.l_suppkey
  AND profit_partsupp.ps_suppkey = profit_lineitem.l_suppkey
  AND profit_partsupp.ps_partkey = profit_lineitem.l_partkey
  AND profit_part.p_partkey = profit_lineitem.l_partkey
  AND profit_orders.o_orderkey = profit_lineitem.l_orderkey
  AND profit_supplier.s_nationkey = profit_nation.n_nationkey
  AND profit_part.p_name LIKE '%dim%'
GROUP BY profit_nation.n_name, o_year
ORDER BY profit_nation.n_name, o_year DESC;

重写优化要点：

• 消除子查询：将子查询的逻辑提升到主查询中，简化结构。
• 表别名重命名：提高查询的可读性与可维护性。
• 保持计算逻辑：确保查询的业务逻辑未发生变化。

2️⃣ 🔍索引优化策略​

PawSQL 提出的索引优化方案：

CREATE INDEX PAWSQL_IDX0485218972 ON tpch.lineitem(L_PARTKEY, L_SUPPKEY, L_SHIPDATE);
CREATE INDEX PAWSQL_IDX0214365528 ON tpch.supplier(S_NATIONKEY, S_SUPPKEY, S_NAME, S_ADDRESS);
CREATE INDEX PAWSQL_IDX0327029402 ON tpch.part(P_NAME);

索引优化分析：

• lineitem 表索引：针对连接条件和日期过滤的字段，减少 I/O 操作。
• supplier 表索引：覆盖连接和查询字段，避免回表，提高检索效率。
• part 表索引：通过 LIKE 操作符优化 p_name 的模糊匹配。

3️⃣ 执行计划对比​

优化前的执行计划：

• 嵌套循环连接：广泛使用 Nested loop 连接，效率较低。
• 全表扫描：对 lineitem 表进行全表扫描，涉及 60,175 行数据。
• 依赖主键索引：主要依赖主键索引连接各表。

优化后的执行计划：

• 连接顺序优化：仍使用嵌套循环，但连接顺序优化。
• 索引扫描：利用新创建的 PAWSQL_IDX0327029402 索引，扫描 part 表时，处理行数从 60,175 减少至 114。
• lineitem 表精确查找：避免全表扫描，使用PAWSQL_IDX0485218972 进行精准匹配，进一步降低处理行数。

最终，处理的总行数从 60,175 降低到 3,513 行。

4️⃣ 性能提升分析​

• 执行时间：从 260 毫秒减少到 20 毫秒。
• 性能提升：达到 1195.14% 的提升。
• 主要因素：索引优化显著改善了数据访问方式，减少了处理的行数。

🌐 关于PawSQL​

PawSQL专注于数据库性能优化自动化和智能化，提供的解决方案覆盖SQL开发、测试、运维的整个流程，广泛支持包括KingbaseES 在内的多种主流商用和开源数据库，为开发者和企业提供一站式的创新SQL优化解决方案。有效解决了数据库SQL性能及质量问题，提升了数据库系统的稳定性、应用性能和基础设施利用率，为企业节省了大量的运维成本和时间投入。

在数据分析领域里，相关标量子查询（Correlated Scalar Subquery）无疑是一把双刃剑：它功能强大，能解决许多复杂问题，同时又因其复杂性给数据库优化器带来了不小的挑战。目前，只有像Oracle这样的商业数据库巨头在这方面做得相对出色。在国产数据库领域，也只有PolarDB对相关性子查询提供了一定的支持。本文不仅会介绍PawSQL如何对相关标量子查询进行基于代价的重写优化，还会展示PawSQL如何识别并合并查询中的多个类似标量子查询，从而进一步提升标量子查询优化的性能。通过PawSQL，您可以在MySQL/PostgreSQL等数据库上，体验Oracle般的重写优化能力。

🌟 相关标量子查询简介​

在SQL的世界里，相关标量子查询（Correlated Scalar Subquery）是一种强大的工具，它允许子查询依赖于外部查询的列值。这与那些独立于外部查询的非相关标量子查询形成鲜明对比。相关标量子查询通过引用外部查询中的列，为每一行数据计算子查询的结果。

示例：

SELECT employee_name
FROM employees e
WHERE salary > (SELECT AVG(salary)
                 FROM employees
                 WHERE department_id = e.department_id);

在这个例子中，子查询计算每个部门的平均薪资，并与主查询中的salary进行比较，展示了相关标量子查询的强大功能。

🏎️ 挑战与机遇：数据库优化器的视角​

相关标量子查询虽然强大，但也给数据库优化器带来了不小的挑战：

• 重复计算：在大数据集上，子查询可能会被重复计算，影响性能。
• 高计算开销：复杂的计算，如聚合函数，可能导致查询性能下降。
• 查询重写难题：将标量子查询转换为连接操作或其他形式并不总是容易的。
• 数据依赖性：优化效果依赖于数据分布和表结构，需要优化器灵活应对。

对于相关标量子查询，虽然解关联后的性能并不总是优于关联子查询，但基于代价的重写优化策略提供了新的视角。目前，只有少数数据库如Oracle和PolarDB实现了这些高级优化技术。

🚀PawSQL：相关标量子查询优化的新境界​

PawSQL通过以下方式优化相关标量子查询：

1. 基于代价的重写：支持条件和选择列中的标量子查询解关联。
2. 合并重写：优化多个结构相似的标量子查询。

🎯 案例​

原始查询：原查询使用了两个相关子查询（correlated subqueries），分别计算每个客户在特定日期的订单总价和订单数量。这种结构通常效率较低，因为需要为每个客户重复执行两个子查询。

SELECT c_custkey, 
  (SELECT SUM(o_totalprice)
    FROM ORDERS
    WHERE o_custkey = c_custkey AND o_orderdate = '2020-04-16') AS total,
  (SELECT COUNT(*)
    FROM ORDERS
    WHERE o_custkey = c_custkey AND o_orderdate = '2020-04-16') AS cnt
FROM CUSTOMER

重写后的查询：PawSQL优化引擎将两个相关子查询合并为一个派生表（derived table），然后通过外连接（left outer join）与主查询关联。

SELECT c_custkey, SUM_ AS total, count_ AS cnt
FROM CUSTOMER LEFT OUTER JOIN (
    SELECT o_custkey, SUM(o_totalprice) AS SUM_, COUNT(*) AS count_
    FROM ORDERS
    WHERE o_orderdate = '2020-04-16'
    GROUP BY o_custkey) AS SQ ON o_custkey = c_custkey

性能提升：优化后，预计性能提升了1131.26%，这是一个显著的改进！

执行计划改进:

• 通过预先聚合 orders 表的数据，大大减少了需要处理的数据量
• 消除了重复的子查询执行，将两个子查询合并为一个
• 使用哈希连接来高效地关联 customer 和聚合后的 orders 数据

这个优化案例展示了PawSQL对于相关标量子查询重写技术的有效性。通过将多个相关子查询合并为一个派生表，并使用外连接，优化器能够显著减少重复计算和数据访问。

🌐关于PawSQL​

PawSQL专注于数据库性能优化自动化和智能化，提供的解决方案覆盖SQL开发、测试、运维的整个流程，广泛支持MySQL、PostgreSQL、OpenGauss、Oracle等主流商用和开源数据库，以及openGauss，人大金仓、达梦等国产数据库，为开发者和企业提供一站式的创新SQL优化解决方案；有效解决了数据库SQL性能及质量问题，提升了数据库系统的稳定性、应用性能和基础设施利用率，为企业节省了大量的运维成本和时间投入。

🌟 引言​

在数据驱动的现代世界，SQL查询的速度是应用程序快速响应的关键。尤其是那些涉及窗口函数的复杂查询，若缺乏恰当的索引支持，性能瓶颈可能会成为阻碍。本文将带您一探究竟，看看PawSQL是如何通过智能索引推荐，显著提高包含窗口函数的SQL查询性能的。

🔍 案例分析​

通过一个实际案例，我们将展示PawSQL如何优化一个包含窗口函数的查询。

📝 原始查询​

SELECT *
FROM (
    SELECT o.o_custkey, o.o_totalprice,
           RANK() OVER (PARTITION BY o.o_custkey ORDER BY o.o_totalprice) AS rn
    FROM orders AS o
    WHERE o.o_orderdate = '1996-06-20'
) AS A
WHERE A.rn = 1

此查询旨在找出1996年6月20日这一天，每个客户的最低订单金额。

🎩 PawSQL的优化秘籍​

PawSQL对查询进行了深入分析，并提出了以下优化建议：

🌈 性能提升的秘诀​

优化详情的页面可以看到，PawSQL推荐的索引能够将查询性能提升约5181.55%。这是如何做到的呢？

1. 精确的索引匹配​

新索引PAWSQL_IDX1878194728完美契合查询需求：

• o_orderdate作为首列，支持快速数据过滤。
• o_custkey和o_totalprice的组合，为窗口函数的分区和排序提供支持。

2. 避免排序操作​

由于索引已经根据o_custkey和o_totalprice进行了排序，数据库可以直接利用索引顺序，省去了额外的排序步骤。

3. 覆盖索引的威力​

新索引包含了查询所需的所有列，实现了“覆盖索引”。这意味着数据库可以直接从索引中获取所有数据，无需访问实际的数据页，大幅减少了I/O操作。

4. 执行计划的变化​

优化前：

• 使用Bitmap索引扫描和堆扫描。
• 需要额外的排序操作。
• 执行时间：22.926 ms

优化后：

• 使用索引专用扫描（Index Only Scan）。
• 无需额外排序。
• 执行时间降至0.452 ms

📚 最佳实践与注意事项​

1. 定期分析：利用PawSQL定期分析您的查询，尤其是那些包含窗口函数的复杂查询。
2. 平衡取舍：虽然新索引提升了查询性能，但也会增加存储开销和影响写入性能。在实际应用中需要权衡。
3. 删除冗余：及时清理被新索引覆盖的旧索引，如本例中的odtidx。
4. 全局视角：考虑整个应用的查询模式，不要为了优化单个查询而忽视了整体性能。

📈 结论​

PawSQL通过智能索引推荐，展示了如何大幅提升包含窗口函数的SQL查询性能。通过创建精确匹配查询需求的索引，我们可以显著减少执行时间，提高应用响应速度。在大数据时代，这种优化不仅提升了效率，还能节省宝贵的计算资源。

记住，数据库优化是一个持续的过程。定期使用像PawSQL这样的工具进行分析和优化，将帮助您的应用始终保持最佳性能状态。

🌐关于PawSQL​

PawSQL专注于数据库性能优化自动化和智能化，提供的解决方案覆盖SQL开发、测试、运维的整个流程，广泛支持MySQL、PostgreSQL、OpenGauss、Oracle等主流商用和开源数据库，以及openGauss，人大金仓、达梦等国产数据库，为开发者和企业提供一站式的创新SQL优化解决方案；有效解决了数据库SQL性能及质量问题，提升了数据库系统的稳定性、应用性能和基础设施利用率，为企业节省了大量的运维成本和时间投入。