Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Improvement](docs) refine query acceleration doc #1561

Open
wants to merge 10 commits into
base: master
Choose a base branch
from

Conversation

xzj7019
Copy link
Contributor

@xzj7019 xzj7019 commented Dec 23, 2024

Versions

  • dev
  • 3.0
  • 2.1
  • 2.0

Languages

  • Chinese
  • English

Docs Checklist

  • Checked by AI
  • Test Cases Built




:::tip
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

:::tip 提示


在建表时,需使用关键词 `__global__` 作为 Group 名称的前缀。如:

```
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

add sql


- BackendIds:分桶中数据分片所在的 BE 节点 id 列表。

:::note
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

:::info 备注


Doris 会尽力将 Colocation 表的分片均匀分布在所有 BE 节点上。对于普通表的副本均衡,是以单副本为粒度的,即单独为每一个副本寻找负载较低的 BE 节点即可。而 Colocation 表的均衡是 Bucket 级别的,即一个 Bucket 内的所有副本都会一起迁移。我们采用一个简单的均衡算法,即在不考虑副本实际大小,而只根据副本数量,将 BucketsSequence 均匀的分布在所有 BE 上。具体算法可以参阅 `ColocateTableBalancer.java` 中的代码注释。

:::caution
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

:::caution 注意


Doris Manager 的日志模块提供了慢 SQL 筛选功能。用户可以通过选择特定 FE 节点上的 `fe.audit.log` 来查看慢 SQL。只需在搜索框中输入“slow_query”,即可在页面上展示出当前系统的历史慢 SQL 信息,如下图所示:

![](static/EbJobMOIso1vIgx5mYgcXTRrnYc.png)
Copy link
Collaborator

@KassieZ KassieZ Dec 23, 2024

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

src - static - images. link should be ![](/images/XX.png


关于 SQL Cache 详细实现原理,请参考 [查询缓存(SQL Cache)](../../../query-acceleration/sql-cache-manual)
关于 SQL Cache 详细实现原理,请参考 [查询缓存(SQL Cache)](https://selectdb.feishu.cn/wiki/GhRhwLOXNi5muzkb5PacLR4Wn6e)
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

(../query-acceleration/sql-cache-manual)


Doris 支持使用 Hint 来调整 Join 操作中数据 Shuffle 的类型,从而优化查询性能。本节将详细介绍如何在 Doris 中利用 Hint 来指定 Join Shuffle 的类型。

目前,Doris 仅限于指定 Join 右表的 Distribute Type,并且仅提供两种类型供选择:`[shuffle] `和 `[broadcast]`。Distribute Type 需置于 Join 右表之前,可采用中括号 `[]`的方式。
目前,Doris 支持两种独立的 [DistributeHint](https://selectdb.feishu.cn/wiki/BpBxwpu07iL4jjkeai1cfs24nrn?open_in_browser=true),`[shuffle] ` 和 `[broadcast]`,用来指定 Join 右表的 Distribute Type。Distribute Type 需置于 Join 右表之前,采用中括号 `[]` 的方式。同时,Doris 也可以通过 LeadingHint 配合 DistributeHint 的方式,指定 shuffle 方式(详见“使用 Leading Hint 控制 Join 顺序”章节相关介绍)
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

(../../query-acceleration/hint/sql-cache-manual)

Doris 支持从多种数据源导入数据,灵活运用 Doris 提供的多种导入功能,可以高效地将各种来源的数据导入到 Doris 中进行分析。最佳实践详情请参考[导入概览](https://doris.apache.org/zh-CN/docs/dev/data-operate/import/load-manual/)。
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

../../data-operate/import/load-manual


:::info 备注
目前,Doris 支持两种独立的 [DistributeHint](https://selectdb.feishu.cn/wiki/BpBxwpu07iL4jjkeai1cfs24nrn?open_in_browser=true),`[shuffle] ` 和 `[broadcast]`,用来指定 Join 右表的 Distribute Type。Distribute Type 需置于 Join 右表之前,采用中括号 `[]` 的方式。同时,Doris 也可以通过 LeadingHint 配合 DistributeHint 的方式,指定 shuffle 方式(详见“使用 Leading Hint 控制 Join 顺序”章节相关介绍)。
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

../../query-acceleration/hints/distribute-hint


单表物化视图 (Materialized View) 是一种特殊的表,它预先根据定义好的 SELECT 语句计算并存储数据。其主要目的是满足用户对原始明细数据的任意维度分析需求,同时也能快速地进行固定维度的分析查询。
[单表物化视图](https://selectdb.feishu.cn/wiki/KOOYwALDdiu5ACk1UdMcKS9Tn1c?open_in_browser=true) (Materialized View 是一种特殊的表,它预先根据定义好的 SELECT 语句计算并存储数据。其主要目的是满足用户对原始明细数据的任意维度分析需求,同时也能快速地进行固定维度的分析查询。
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

../../query-acceleration/materialized-view/sync-materialized-view

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants