SUBPLAN FILTER · k8s原理与实践

[TOC] # SUBPLAN FILTER SUBPLAN FILTER 算子用于驱动表达式中的子查询执行。 OceanBase 数据库以 NESTED-LOOP 算法执行 SUBPLAN FILTER 算子，执行时左边取一行数据，然后执行右边的子计划。SUBPLAN FILTER 算子可以驱动相关子查询和非相关子查询计算，并且两种执行方式不同。 ## 驱动非相关子查询计算示例 1：SUBPLAN FILTER 算子驱动非相关子查询计算 ~~~ obclient>CREATE TABLE t1(c1 INT, c2 INT); Query OK, 0 rows affected (0.09 sec) obclient>CREATE TABLE t2(c1 INT, c2 INT); Query OK, 0 rows affected (0.09 sec) obclient>EXPLAIN SELECT /*+NO_REWRITE*/c1 FROM t1 WHERE c2 > (SELECT MAX(c2) FROM t2)\G; *************************** 1. row *************************** Query Plan: | =========================================== |ID|OPERATOR |NAME|EST. ROWS|COST | ------------------------------------------- |0 |SUBPLAN FILTER | |33334 |167652| |1 | TABLE SCAN |T1 |100000 |68478 | |2 | SCALAR GROUP BY| |1 |85373 | |3 | TABLE SCAN |T2 |100000 |66272 | =========================================== Outputs & filters: ------------------------------------- 0 - output([T1.C1]), filter(nil), exec_params_(nil), onetime_exprs_([subquery(1)]), init_plan_idxs_(nil) 1 - output([T1.C1]), filter([T1.C2 > ?]), access([T1.C2], [T1.C1]), partitions(p0) 2 - output([T_FUN_MAX(T2.C2)]), filter(nil), group(nil), agg_func([T_FUN_MAX(T2.C2)]) 3 - output([T2.C2]), filter(nil), access([T2.C2]), partitions(p0) ~~~ 上述示例中，执行计划展示中 0 号算子 SUBPLAN FILTER 驱动右边 SCALAR GROUP BY 子计划执行，outputs & filters 详细列出了 SUBPLAN FILTER 算子的输出信息如下： <table data-tag="table" id="table-2x0-tto-ywc" class="table"><colgroup span="1" width="139" data-tag="col" id="col-2pa-ef6-tad" colwidth="1*" colnum="1" colname="col1" style="width:50%" class="col"></colgroup><colgroup span="1" width="609" data-tag="col" id="col-and-9y1-7v2" colwidth="1*" colnum="2" colname="col2" style="width:50%" class="col"></colgroup><thead id="thead-tzr-i88-tbe" class="thead"><tr id="tr-nzn-bge-atb"><th id="td-x65-n14-u82">信息名称</th><th id="td-m7o-fg3-c3x">含义</th></tr></thead><tbody data-tag="tbody" id="tbody-80a-495-03b" class="tbody"><tr data-tag="tr" id="tr-fdl-eo3-2an" class="tr"><td data-tag="td" id="td-ol0-hid-aq8" class="td">output</td><td data-tag="td" id="td-1j7-o24-aqc" class="td">该算子输出的列。</td></tr><tr data-tag="tr" id="tr-y0j-862-9ju" class="tr"><td data-tag="td" id="td-diw-fhy-knx" class="td">filter</td><td data-tag="td" id="td-4th-3t4-6zs" class="td">该算子上的过滤条件。由于示例中的 SUBPLAN FILTER 算子没有设置 filter，所以为 nil。</td></tr><tr data-tag="tr" id="tr-8ss-3qx-na9" class="tr"><td data-tag="td" id="td-g89-cle-a2n" class="td">exec_params_</td><td data-tag="td" id="td-osy-g29-fy4" class="td">右子计划依赖左子计划的参数，执行期由SUBPLAN FILTER 从左子计划中获取，传递给右子计划执行。由于示例中 SUBPLAN FILTER 算子驱动非相关子查询没有涉及该参数，所以为 nil。</td></tr><tr data-tag="tr" id="tr-fzg-dyd-9jx" class="tr"><td data-tag="td" id="td-hku-wy7-b4u" class="td">onetime_exprs_</td><td data-tag="td" id="td-etw-pvx-2nn" class="td">计划中只计算一次的表达式，如果右子计划是非相关子查询，每次重复执行的结果都是一样的，所以执行一次后保存在参数集合中。每次执行 SUBPLAN FILTER 时，可以直接从参数集获取右子计划的执行结果。参数 subquery(1) 表示 SUBPLAN FILTER 右边第一个子计划是 onetime expr。</td></tr><tr data-tag="tr" id="tr-z09-m8v-ylw" class="tr"><td id="td-f09-knz-q4j">init_plan_ids_</td><td id="td-74k-b2n-kk6">该算子中只需要执行一次的子计划。它与 onetime_exprs_ 的区别是，init_plan_返回多行多列，onetime_expr_ 返回单行单列。由于示例中的 SQL 查询未设置此项，所以为 nil。</td></tr></tbody></table> SUBPLAN FILTER 算子驱动非相关子查询计算的一般执行流程如下： 1. SUBPLAN FILTER 在启动时会执行 onetime\_exprs\_。 2. 从参数中拿到右边非相关子查询的结果，下推 filter 到左边计划，执行左边的查询。 3. 输出左边查询的行。 ## 驱动相关子查询计算示例 2：SUBPLAN FILTER 算子驱动相关子查询计算 ~~~ obclient>EXPLAIN SELECT /*+NO_REWRITE*/c1 FROM t1 WHERE c2 > (SELECT MAX(c2) FROM t2 WHERE t1.c1=t2.c1)\G; *************************** 1. row *************************** Query Plan: | =============================================== |ID|OPERATOR |NAME|EST. ROWS|COST | ----------------------------------------------- |0 |SUBPLAN FILTER | |33334 |8541203533| |1 | TABLE SCAN |T1 |100000 |68478 | |2 | SCALAR GROUP BY| |1 |85412 | |3 | TABLE SCAN |T2 |990 |85222 | =============================================== Outputs & filters: ------------------------------------- 0 - output([T1.C1]), filter([T1.C2 > subquery(1)]), exec_params_([T1.C1]), onetime_exprs_(nil), init_plan_idxs_(nil) 1 - output([T1.C1], [T1.C2]), filter(nil), access([T1.C1], [T1.C2]), partitions(p0) 2 - output([T_FUN_MAX(T2.C2)]), filter(nil), group(nil), agg_func([T_FUN_MAX(T2.C2)]) 3 - output([T2.C2]), filter([? = T2.C1]), access([T2.C1], [T2.C2]), partitions(p0) ~~~ 上述示例中，执行计划展示中 0 号算子 SUBPLAN FILTER 驱动右边 SCALAR GROUP BY 子计划执行，outputs & filters 详细列出了 SUBPLAN FILTER 算子的输出信息如下： <table data-tag="table" id="table-m3j-rrx-csb" class="table"><colgroup span="1" width="139" data-tag="col" id="col-6gt-dgp-f7c" colwidth="1*" colnum="1" colname="col1" style="width:50%" class="col"></colgroup><colgroup span="1" width="609" data-tag="col" id="col-er4-cln-q2g" colwidth="1*" colnum="2" colname="col2" style="width:50%" class="col"></colgroup><thead id="thead-vhv-cw4-de7" class="thead"><tr id="tr-552-0wl-etc"><th id="td-ss3-yek-rdc">信息名称</th><th id="td-avf-698-q06">含义</th></tr></thead><tbody data-tag="tbody" id="tbody-otp-wp5-kq7" class="tbody"><tr data-tag="tr" id="tr-grc-899-1si" class="tr"><td data-tag="td" id="td-cto-0ca-9js" class="td">output</td><td data-tag="td" id="td-lnv-3vl-xx6" class="td">该算子输出的列。</td></tr><tr data-tag="tr" id="tr-v4f-91r-caf" class="tr"><td data-tag="td" id="td-qna-j55-if5" class="td">filter</td><td data-tag="td" id="td-m0d-rjf-vd6" class="td">该算子上的过滤条件。例如，示例 2 中的 SQL 查询过滤条件为 <code data-tag="code" class="code">t1.c2 > subquery(1)</code>。</td></tr><tr data-tag="tr" id="tr-0z0-0z1-1nr" class="tr"><td data-tag="td" id="td-xmf-kgo-8kq" class="td">exec_params_</td><td data-tag="td" id="td-2eo-isg-ft8" class="td">右子计划依赖左子计划的参数，执行期由SUBPLAN FILTER 从左子计划中获取，传递给右子计划执行。左边输出一行数据后需要下推的参数，在非相关子查询中一般没有下推的参数。</td></tr><tr data-tag="tr" id="tr-6wu-fv9-uh6" class="tr"><td data-tag="td" id="td-zjf-ixk-2lc" class="td">onetime_exprs_</td><td data-tag="td" id="td-bpf-9xc-mw1" class="td">计划中只计算一次的表达式，如果右子计划是非相关子查询，每次重复执行的结果都是一样的，所以执行一次后保存在参数集合中。每次执行 SUBPLAN FILTER 时，可以直接从参数集获取右子计划的执行结果。参数 subquery(1) 表示 SUBPLAN FILTER 右边第一个子计划是 onetime expr。由于示例中的 SQL 查询未设置此项，所以为 nil。</td></tr><tr data-tag="tr" id="tr-lrl-12n-dfu" class="tr"><td id="td-7tl-s6q-dkp">init_plan_idxs_</td><td id="td-prz-tyh-n41">该算子中只需要执行一次的子计划。与 onetime_exprs_ 的区别是，init_plan_返回多行多列，onetime_expr_ 返回单行单列。由于示例中的 SQL 查询未设置此项，所以为 nil。</td></tr></tbody></table> SUBPLAN FILTER 算子驱动相关子查询计算的一般执行流程如下： 1. SUBPLAN FILTER 在启动时会执行`onetime_exprs_`。 2. 执行左边的查询，输出一行后，计算相关参数，下推到右边，执行右边的子查询。 3. 执行 filter，输出符合条件的数据行。