前面
一篇文章
寫到如何通過gp_segment_id來判斷表的DK值設置有數據,下面是通過查看占用空間的量來檢查分配不平衡的表,并重新調整著DK值。我的一臺greenplum機器,其中的一個節點的數據量比其它的節點多很多,說明數據分布的不平衡,如下所示:
以sdw16為例:
$du -sh /gpdata{1,2}/data/gp*
347G??? /gpdata1/data/gp30
412G??? /gpdata1/data/gp62
357G??? /gpdata1/data/gp63
336G??? /gpdata2/data/gp31
338G??? /gpdata2/data/gp94
343G??? /gpdata2/data/gp95
$cd /gpdata1/data/gp62/base/516096
$ll|awk? '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出單文件超過200MB的,且統計了超過1GB的文件出現的次數(因為PG設置單文件大小不超過1GB,超過1GB的文件,會分成xxx.1,xxx.2的形式存在)。腳本里面的最后一列就是文件名,也即pg_class里面的relfilenode。gp_distribution_policy里面存儲的是DK值的策略分布,pg_attribute里面存放著表的具體列的信息。下面的SQL就是找出文件所對應的表以及DK的定義。
$du -sh /gpdata{1,2}/data/gp*
347G??? /gpdata1/data/gp30
412G??? /gpdata1/data/gp62
357G??? /gpdata1/data/gp63
336G??? /gpdata2/data/gp31
338G??? /gpdata2/data/gp94
343G??? /gpdata2/data/gp95
$cd /gpdata1/data/gp62/base/516096
$ll|awk? '{if($5>=209715200)print $9}'|awk -F. '{FILE[$1]++;count++;}END{for(a in FILE)print FILE[a]" "FILE[a]/count*100 "% " a}'|column -c3 -s " " -t|sort -nr|head -n10
找出單文件超過200MB的,且統計了超過1GB的文件出現的次數(因為PG設置單文件大小不超過1GB,超過1GB的文件,會分成xxx.1,xxx.2的形式存在)。腳本里面的最后一列就是文件名,也即pg_class里面的relfilenode。gp_distribution_policy里面存儲的是DK值的策略分布,pg_attribute里面存放著表的具體列的信息。下面的SQL就是找出文件所對應的表以及DK的定義。
select
a.oid,a.relname,b.nspname,c.attrnums,d.attname
from
pg_class a
inner
join
pg_namespace b
on
a.relnamespace
=
b.oid
inner
join
gp_distribution_policy c
on
a.oid
=
c.localoid
inner
join
pg_attribute d
on
a.oid
=
d.attrelid
where
a.relfilenode
=
[
filename
]
and
d.attnum
=any
(c.attrnums)
接著,查看表的數據大致的情況,重新設置DK值;然后通過gp_segment_id分布的情況進行檢驗,最終vacuum full+analyze,把該表調整到最佳狀態。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
