spark distinct 优化 SQL distinct 优化

? ? ?在大数据查询的时候,或者查询字段比较多的时候,应该尽量少用distinct , 特别是在最外层不要试使用。因为distinct 会对查询的结果进行排序,致使查询比较慢。这时候应该选用group by的方式,通过对指定字段进行分组,然后在进行count()统计就可以了。

例如:

? ? 我要统计统计期末的数据:数据大概有几百万的数据。

? ? sql :

? ? ? ? select count(distinct lc.grpcontno) from lcpol lc?

????????where lc.grpcontno in( **********);

? ? ? ? 这个语句我查询数据将近一天,都没有查询出结果。

? ? ? ? 这时候选用

? ? ? ? select count(1) from (?select lc.grpcontno from lcpol lc?? ? ? ? where lc.grpcontno in( **********) group by lc.grpcontno)

? ? ? ? 查询时间不到30秒就出来结果了。

spark distinct 优化 SQL distinct 优化

当然适当的时候选用distinct 也会起到优化的效果。这个要根据自己的实际需求来判断。

  

爱华网本文地址 » http://www.413yy.cn/a/8104320103/241880.html

更多阅读

windows7优化 windows7优化教程

Win7已经很好用了,我们只需要再做些简单优化足矣。1、开启Administrator账号(说明:默认状态下,Windows 7屏蔽了Administrator账号,据说是为了提高系统安全性,同时新建账号还受限于UAC(用户账号控制),稍微进行点深入一点儿的操作,动不动就灰屏

Win7怎么开机加速优化Win7开机时间 win7优化加速

Win7怎么开机加速优化Win7开机时间——简介Win7系统已经取代XP系统成为如今最主流的系统,不少朋友反馈Win7电脑开机速度太慢,多数都在40s以上,甚至不少朋友电脑开机时间需要一两分钟。对于这种情况我们一般需要Win7加速来加快系统启动,

win7系统优化教程,低配置也有高速度 系统优化大师

win7系统优化教程,低配置也有高速度——简介win7即Windows 7的简称,是由微软公司(Microsoft)开发的操作系统,核心版本号为Windows NT 6.1。Win7可供家庭及商业工作环境、笔记本电脑、平板电脑、多媒体中心等使用。在性能和效果上有了不

360游戏优化器在哪操作在哪 360游戏优化器

360游戏优化器在哪操作在哪——简介在使用360的时候,360会有一个非常有意思的功能,就是360游戏优化器在哪操作,可以优化游戏运行的速度,那么360游戏优化器在那呢?下面简单介绍。360游戏优化器在哪操作在哪——方法/步骤360游戏优化器在

声明:《spark distinct 优化 SQL distinct 优化》为网友长青诗分享!如侵犯到您的合法权益请联系我们删除