Oracle数据库查询优化方案（处理上百万级记录如何提高处理查询速度）

2023-11-10 来源：画鸵萌宠网

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id from t where num=03.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。4.应尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num=10 or num=20可以这样查询：select id from t where num=10union allselect id from t where num=205.in 和 not in 也要慎用，否则会导致全表扫描，如：select id from t where num in(1,2,3)对于连续的数值，能用 between 就不要用 in 了：select id from t where num between 1 and 36.下面的查询也将导致全表扫描：select id from t where name like ‘%abc%‘若要提高效率，可以考虑全文检索。7. 如果在 where 子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描：select id from t where num=@num可以改为强制查询使用索引：select id from t with(index(索引名)) where num=@num8.应尽量避免在 where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如：select id from t where num/2=100应改为: select id from t where num=100*29.应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：select id from t where substring(name,1,3)=‘abc‘--name以abc开头的idselect id from t where datediff(day,createdate,‘2005-11-30‘)=0--‘2005-11-30’生成的id应改为:select id from t where name like ‘abc%‘select id from t where createdate>=‘2005-11-30‘ and createdate<‘2005-12-1‘10.不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。11.在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。12.不要写一些没有意义的查询，如需要生成一个空表结构：select col1,col2 into #t from t where 1=0这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样：create table #t(...)13.很多时候用 exists 代替 in 是一个好的选择：select num from a where num in(select num from b)用下面的语句替换：select num from a where exists(select 1 from b where num=a.num)14.并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。15. 索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或 update 时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。一个表的索引数最好不要超过6个，若太多则应考虑一些不常使用到的列上建的索引是否有必要。16.应尽可能的避免更新 clustered 索引数据列，因为 clustered 索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将导致整个表记录的顺序的调整，会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列，那么需要考虑是否应将该索引建为 clustered 索引。17.尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。18.尽可能的使用 varchar/nvarchar 代替 char/nchar ，因为首先变长字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较小的字段内搜索效率显然要高些。19.任何地方都不要使用 select * from t ，用具体的字段列表代替“*”，不要返回用不到的任何字段。20.尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。21.避免频繁创建和删除临时表，以减少系统表资源的消耗。22.临时表并不是不可使用，适当地使用它们可以使某些例程更有效，例如，当需要重复引用大型表或常用表中的某个数据集时。但是，对于一次性事件，最好使用导出表。23.在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。24.如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。25.尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。26.使用基于游标的方法或临时表方法之前，应先寻找基于集的解决方案来解决问题，基于集的方法通常更有效。27. 与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。28.在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ，在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。29.尽量避免大事务操作，提高系统并发能力。30.尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。

标签：开始 sql查询 truncate 大数返回大型大量调整 ast

小编还为您整理了以下内容，可能对您也有帮助：

Oracle数据库系统性能优化策略

一个数据库系统的生命周期可以分成设计开发和成品三个阶段在设计阶段进行数据库性能优化的成本最低收益最大在成品阶段进行数据库性能优化的成本最高收益最小数据库的优化可以通过对网络硬件操作系统数据库参数和应用程序的优化来进行最常见的优化手段就是对硬件的升级据统计对网络硬件操作系统数据库参数进行优化所获得的性能提升全部加起来只占数据库系统性能提升的 %左右其余的 %系统性能提升来自对应用程序的优化许多优化专家认为对应用程序的优化可以得到 %的系统性能的提升

一数据库性能的优化

数据库设计是应用程序设计的基础其性能直接影响应用程序的性能数据库性能包括存储空间需求量的大小和查询响应时间的长短两个方面为了优化数据库性能需要对数据库中的表进行规范化规范化的范式可分为第一范式第二范式第三范式 BCNF范式第四范式和第五范式一般来说逻辑数据库设计会满足规范化的前级标准但由于满足第三范式的表结构容易维护且基本满足实际应用的要求因此实际应用中一般都按照第三范式的标准进行规范化但是规范化也有缺点由于将一个表拆分成为多个表在查询时需要多表连接降低了查询速度

由于规范化有可能导致查询速度慢的缺点考虑到一些应用需要较快的响应速度在设计表时应同时考虑对某些表进行反规范化反规范化可以采用以下几种方法

分割表

分割表包括水平分割和垂直分割

水平分割是按照行将一个表分割为多个表这可以提高每个表的查询速度但查询更新时要选择不同的表统计时要汇总多个表因此应用程序会更复杂

垂直分割是对于一个列很多的表若某些列的访问频率远远高于其它列就可以将主键和这些列作为一个表将主键和其它列作为另外一个表通过减少列的宽度增加了每个数据页的行数一次I/O就可以扫描更多的行从而提高了访问每一个表的速度但是由于造成了多表连接所以应该在同时查询或更新不同分割表中的列的情况比较少的情况下使用

保留冗余列

当两个或多个表在查询中经常需要连接时可以在其中一个表上增加若干冗余的列以避免表之间的连接过于频繁由于对冗余列的更新操作必须对多个表同步进行所以一般在冗余列的数据不经常变动的情况下使用

增加派生列

派生列是由表中的其它多个列计算所得增加派生列可以减少统计运算在数据汇总时可以大大缩短运算时间

二应用程序性能的优化

应用程序的优化通常可分为两个方面源代码和SQL语句由于涉及到对程序逻辑的改变源代码的优化在时间成本和风险上代价很高而对数据库系统性能的提升收效有限因此应用程序的优化应着重在SQL语句的优化对于海量数据劣质SQL语句和优质SQL语句之间的速度差别可以达到上百倍可见对于一个系统不是简单地能实现其功能就行而是要写出高质量的SQL语句提高系统的可用性

下面就某些SQL语句的where子句编写中需要注意的问题作详细介绍在这些where子句中即使某些列存在索引但是由于编写了劣质的SQL 系统在运行该SQL语句时也不能使用该索引而同样使用全表扫描这就造成了响应速度的极大降低

IS NULL 与 IS NOT NULL

不能用null作索引任何包含null值的列都将不会被包含在索引中即使索引有多列的情况下只要这些列中有一列含有null 该列就会从索引中排除也就是说如果某列存在空值即使对该列建索引也不会提高性能

任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的

联接列

对于有联接的列即使最后的联接值为一个静态值优化器不会使用索引的例如假定有一个职工表（employee）对于一个职工的姓和名分成两列存放（FIRST_NAME和LAST_NAME）现在要查询一个叫乔治？布什（Gee Bush）的职工下面是一个采用联接查询的SQL语句

select * from employee where first_name|| ||last_name = Gee Bush

上面这条语句完全可以查询出是否有Gee Bush这个员工但是这里需要注意系统优化器对基于last_name创建的索引没有使用

当采用下面这种SQL语句的编写 Oracle系统就可以采用基于last_name创建的索引

Select * From employee where first_name = Gee and last_name = Bush

遇到下面这种情况又如何处理呢？如果一个变量（name）中存放著Gee Bush这个员工的姓名对于这种情况我们又如何避免全程遍历使用索引呢？可以使用一个函数将变量name中的姓和名分开就可以了但是有一点需要注意这个函数是不能作用在索引列上下面是SQL查询脚本

select * from employee where first_name = SUBSTR（ &&name INSTR（ &&name ））

and last_name = SUBSTR（ &&name INSTR（ &&name ）+ ）

带通配符（%）的like语句

同样以上面的例子来看这种情况目前的需求是这样的要求在职工表中查询名字中包含Bush的人可以采用如下的查询SQL语句

select * from employee where last_name like %Bush%

这里由于通配符（%）在搜寻词首出现所以Oracle系统不使用last_name的索引在很多情况下可能无法避免这种情况但是一定要心中有底通配符如此使用会降低查询速度然而当通配符出现在字符串其他位置时优化器就能利用索引例如在下面的查询中索引得到了使用

select * from employee where last_name like c%

Order by语句

Order by语句决定了Oracle如何将返回的查询结果排序 Order by语句对要排序的列没有什么特别的* 也可以将函数加入列中（象联接或者附加等）任何在Order by语句的非索引项或者有计算表达式都将降低查询速度

仔细检查order by语句以找出非索引项或者表达式它们会降低性能解决这个问题的办法就是重写order by语句以使用索引也可以为所使用的列建立另外一个索引同时应绝对避免在order by子句中使用表达式

NOT

我们在查询时经常在where子句使用一些逻辑表达式如大于小于等于以及不等于等等也可以使用and（与） or（或）以及not（非） NOT可用来对任何逻辑运算符号取反下面是一个NOT子句的例子

…… where not （status = VALID ）

如果要使用NOT 则应在取反的短语前面加上括号并在短语前面加上NOT运算符 NOT运算符包含在另外一个逻辑运算符中这就是不等于（<>）运算符换句话说即使不在查询where子句中显式地加入NOT词 NOT仍在运算符中见下例

…… where status <> INVALID

再看下面这个例子

select * from employee where　salary<>

对这个查询可以改写为不使用NOT的语句

select * from employee where　salary< or salary>

虽然这两种查询的结果一样但是第二种查询方案会比第一种查询方案更快些第二种查询允许Oracle对salary列使用索引而第一种查询则不能使用索引

IN和EXISTS

有时候会将一列和一系列值相比较最简单的办法就是在where子句中使用子查询在where子句中可以使用两种格式的子查询

第一种格式是使用IN操作符 …… where column in（select * from …… where ……）

第二种格式是使用EXIST操作符 …… where exists （select X from ……where ……）

绝大多数人会使用第一种格式因为它比较容易编写而实际上第二种格式要远比第一种格式的效率高在Oracle中可以将几乎所有的IN操作符子查询改写为使用EXISTS的子查询

第二种格式中子查询以 select X 开始运用EXISTS子句不管子查询从表中抽取什么数据它只查看where子句这样优化器就不必遍历整个表而仅根据索引就可完成工作（这里假定在where语句中使用的列存在索引）相对于IN子句来说 EXISTS使用相连子查询构造起来要比IN子查询困难一些

通过使用EXISTS Oracle系统会首先检查主查询然后运行子查询直到找到第一个匹配项这就节省了时间 Oracle系统在执行IN子查询时首先执行子查询并将获得的结果列表存放在一个加了索引的临时表中在执行子查询之前系统先将主查询挂起待子查询执行完毕存放在临时表中以后再执行主查询这也就是使用EXISTS比使用IN通常查询速度快的原因

同时应尽可能使用NOT EXISTS来代替NOT IN 尽管二者都使用了NOT（不能使用索引而降低速度）但NOT EXISTS要比NOT IN查询效率更高

lishixin/Article/program/Oracle/201311/17060

Oracle数据库系统性能优化策略

一数据库性能的优化

分割表

分割表包括水平分割和垂直分割

水平分割是按照行将一个表分割为多个表这可以提高每个表的查询速度但查询更新时要选择不同的表统计时要汇总多个表因此应用程序会更复杂

保留冗余列

增加派生列

派生列是由表中的其它多个列计算所得增加派生列可以减少统计运算在数据汇总时可以大大缩短运算时间

二应用程序性能的优化

IS NULL 与 IS NOT NULL

任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的

联接列

select * from employee where first_name|| ||last_name = Gee Bush

上面这条语句完全可以查询出是否有Gee Bush这个员工但是这里需要注意系统优化器对基于last_name创建的索引没有使用

当采用下面这种SQL语句的编写 Oracle系统就可以采用基于last_name创建的索引

Select * From employee where first_name = Gee and last_name = Bush

select * from employee where first_name = SUBSTR（ &&name INSTR（ &&name ））

and last_name = SUBSTR（ &&name INSTR（ &&name ）+ ）

带通配符（%）的like语句

同样以上面的例子来看这种情况目前的需求是这样的要求在职工表中查询名字中包含Bush的人可以采用如下的查询SQL语句

select * from employee where last_name like %Bush%

select * from employee where last_name like c%

Order by语句

NOT

…… where not （status = VALID ）

…… where status <> INVALID

再看下面这个例子

select * from employee where　salary<>

对这个查询可以改写为不使用NOT的语句

select * from employee where　salary< or salary>

虽然这两种查询的结果一样但是第二种查询方案会比第一种查询方案更快些第二种查询允许Oracle对salary列使用索引而第一种查询则不能使用索引

IN和EXISTS

有时候会将一列和一系列值相比较最简单的办法就是在where子句中使用子查询在where子句中可以使用两种格式的子查询

第一种格式是使用IN操作符 …… where column in（select * from …… where ……）

第二种格式是使用EXIST操作符 …… where exists （select X from ……where ……）

同时应尽可能使用NOT EXISTS来代替NOT IN 尽管二者都使用了NOT（不能使用索引而降低速度）但NOT EXISTS要比NOT IN查询效率更高

lishixin/Article/program/Oracle/201311/17060

Oracle数据库系统调优方法

Oracle 数据库广泛应用在社会的各个领域，特别是在Client/Server模式的应用，但是应用开发者往往碰到整个系统的性能随着数据量的增大显着下降的问题，为了解决这个问题，从以下几个方面：数据库服务器、网络I/O、应用程序等对整个系统加以调整，充分发挥Oracle的效能，提高整个系统的性能。
1 调整数据库服务器的性能
Oracle数据库服务器是整个系统的核心，它的性能高低直接影响整个系统的性能，为了调整Oracle数据库服务器的性能，主要从以下几个方面考虑：
1.1 调整
操作系统以适合Oracle数据库服务器运行
Oracle数据库服务器很大程度上依赖于运行服务器的操作系统，如果操作系统不能提供最好性能，那么无论如何调整，Oracle数据库服务器也无法发挥其应有的性能。
1.1.1 为Oracle数据库服务器规划系统资源
据已有计算机可用资源，规划分配给Oracle服务器资源原则是：尽可能使Oracle服务器使用资源最大化，特别在Client/Server中尽量让服务器上所有资源都来运行Oracle服务。
1.1.2 调整计算机系统中的内存配置
多数操作系统都用虚存来模拟计算机上更大的内存，它实际上是硬盘上的一定的磁盘空间。当实际的内存空间不能满足应用软件的要求时，操作系统就将用这部分的磁盘空间对内存中的信息进行页面替换，这将引起大量的磁盘I/O操作，使整个服务器的性能下降。为了避免过多地使用虚存，应加大计算机的内存。
1.1.3 为Oracle数据库服务器设置操作系统进程优先级
不要在操作系统中调整Oracle进程的优先级，因为在Oracle数据库系统中，所有的后台和前台数据库服务器进程执行的是同等重要的工作，需要同等的优先级。所以在安装时，让所有的数据库服务器进程都使用缺省的优先级运行。
1.2 调整内存分配
Oracle数据库服务器保留3个基本的内存高速缓存，分别对应3种不同类型的数据：库高速缓存，字典高速缓存和缓冲区高速缓存。库高速缓存和字典高速缓存一起构成共享池，共享池再加上缓冲区高速缓存便构成了系统全程区（SGA）。SGA是对数据库数据进行快速访问的一个系统全程区，若SGA本身需要频繁地进行释放、分配，则不能达到快速访问数据的目的，因此应把SGA放在主存中，不要放在虚拟内存中。内存的调整主要是指调整组成SGA的内存结构的大小来提高系统性能，由于Oracle数据库服务器的内存结构需求与应用密切相关，所以内存结构的调整应在磁盘I/O调整之前进行。
1.2.1 库缓冲区的调整
库缓冲区中包含私用和共享SQL和PL/SQL区，通过比较库缓冲区的命中率决定它的大小。要调整库缓冲区，必须首先了解该库缓冲区的活动情况，库缓冲区的活动统计信息保留在动态性能表v$librarycache数据字典中，可通过查询该表来了解其活动情况，以决定如何调整。
1.2.2 数据字典缓冲区的调整
数据字典缓冲区包含了有关数据库的结构、用户、实体信息。数据字典的命中率，对系统性能影响极大。数据字典缓冲区的使用情况记录在动态性能表v$librarycache中，可通过查询该表来了解其活动情况，以决定如何调整。
1.2.3 缓冲区高速缓存的调整
用户进程所存取的所有数据都是经过缓冲区高速缓存来存取，所以该部分的命中率，对性能至关重要。缓冲区高速缓存的使用情况记录在动态性能表v$sysstat中，可通过查询该表来了解其活动情况，以决定如何调整。
2 调整 Client/Server 模式下的网络 I/O
Client/Server环境中的应用处理是分布在客户应用程序和数据库服务程序之间的。在 Client/Server环境中Client与Server之间的网络I/O是整个系统性能提高的瓶颈，一个客户应用程序引起的网络I/O越少，应用及整个系统的性能越好。减少网络I/O的最重要的一条原则：将应用逻辑集中在数据库服务器中。
2.1 使用Oracle数据库的完整约束性
当为应用建表时，应当为一些有特殊要求的数据加上适当的完整性约束，这样就能实现由数据库本身而不是应用程序来约束数据符合一定的条件。数据库服务器端的完整约束的执行操作是在比SQL语句级别更低的系统机制上优化，它与客户端无关，只在服务器中运行，不需在Client 端和Server端之间传递SQL语句，有效地减轻网络I/O负担。
2.2 使用数据库触发器
完整约束性只能实现一些较简单的数据约束条件，对一些较复杂的事物处理规则就*为力，这时最好不要在应用程序中实施复杂的程序控制，而是应当采用数据库触发器来实施复杂的事物规则。数据库触发器能实现由数据库本身，而不是应用程序，来约束数据符合复杂的事物处理规则，并且容易创建，便于管理，避免大量的网络I/O。
2.3 使用存储过程、存储函数和包
Oracle的存储过程和存储函数是命名的能完成一定功能并且存储在Server端的PL/SQL的集合。包是一种把有关的过程和函数组织封装成一个数据库程序单元的方法。它们相对于应用程序的过程、函数而言，把SQL命令存储在Server端。使用存储过程和存储函数，应用程序不必再包含多个网络操作的SQL语句去执行数据库服务器操作，而是简单调用存储过程和存储函数，在网络上传输的只是调用过程的名字和输出结果，这样就可减少大量的网络I/O。
3 应用程序的调整
3.1 SQL语句的优化
SQL语句的执行速度，可以受很多因素的影响而变化。但主要的影响因素是：驱动表、执行操作的先后顺序和索引的运用。可以由很多不同的方法间接地改变这些因素，以达到最优的执行速度。这里主要探讨当对多个表进行连接查询时应遵循的优化原则：
3.2 建立和使用视图、索引
利用视图可以将基表中的列或行进行裁减、隐藏一部分数据，并且能够将涉及到多个表的复杂查询以视图的方式给出，使应用程序开发简洁快速。利用索引可以提高查询性能，减少磁盘 I/O，优化对数据表的查询，加速SQL语句的执行。但任何时候建立索引都能提高性能，何时建立索引应当遵循以下原则：该表常用来在索引列上查询，该表不常更新、插入、删除等操作，查询出来的结果记录数应控制在原表的2%～4%。
3.3 使用 Oracle 的数组接口
当一个客户应用程序插入一行或用一个查询来向服务器请求某行时，不是发送具有单个行的网络包，而是采用数组处理，即把要插入的多个行或检索出的多个行缓冲在数组中，然后通过很少的几个包就可在网上传送这些数组。例如，一个给定的Select语句返回2000行数据，每行平均大小为40个字节，数据包的大小为4kB，而数组大小参数（arraysize）设置为20 ，则需从服务器发送100个数据包到客户机。如果简单地把（arraysize）设置为2000，那么同样的操作只需要传送 20个数据包。这样就减少了网络的传输量，提高了所有应用的性能。
4 总结
我们在开发应用程序时，遵循上述的方法和原则，对系统进行调整，收到了令人满意的效果。但是应当指出，由于客户机、网络、服务器这3个相互依存的组成部分都必须调整和同步才能产生最佳的性能，因此还应根据系统的具体情况，具体分析和调整。

Oracle数据库系统调优方法

如何提高oracle模糊查询的性能？

1、使用两边加‘%’号的查询，Oracle是不通过索引的，所以查询效率很低。

例如：select count(*) from lui_user_base t where t.user_name like '%cs%';

2、like '...%'和 like'%...'虽然走了索引，但是效率依然很低。

3、有人说使用如下sql，他的效率提高了10倍，但是数据量小的时候

select count(*) from lui_user_base where rowid in (select rowid from lui_user_base t where t.user_name like '%cs%')

我拿100w跳数据做了测试，效果一般，依然很慢，原因：

select rowid from lui_user_base t where t.user_name like '%cs%' 这条sql执行很快，那是相当的快，但是放到select count(*) from lui_user_base where rowid in（）里后，效率就会变的很慢了。

4、select count(*) from lui_user_base t where instr(t.user_name,'cs')> 0

这种查询效果很好，速度很快，推荐使用这种。因为我对oracle内部机制不是很懂，只是对结果做了一个说明。

5、有人说了用全文索引，我看了，步骤挺麻烦，但是是个不错的方法，留着备用：

http://sandish.itpub.net/post/4899/464369

对cmng_custominfo 表中的address字段做全文检索：

1，在oracle9201中需要创建一个分词的东西：

BEGIN

ctx_ddl.create_preference ('SMS_ADDRESS_LEXER', 'CHINESE_LEXER');

--ctx_ddl.create_preference ('my_lexer', 'chinese_vgram_lexer'); 不用

end;

2，创建全文检索：

CREATE INDEX INX_CUSTOMINFO_ADDR_DOCS ON cmng_custominfo(address) INDEXTYPE IS CTXSYS.CONTEXT PARAMETERS ('LEXER SMS_ADDRESS_LEXER');

3，查询时候，使用：

select * from cmng_custominfo where contains (address, '金色新城')>1;

4，需要定期进行同步和优化：

同步：根据新增记录的文本内容更新全文搜索的索引。

begin

ctx_ddl.sync_index('INX_CUSTOMINFO_ADDR_DOCS');

end;

优化：根据被删除记录清除全文搜索索引中的垃圾

begin

ctx_ddl.optimize_index('INX_CUSTOMINFO_ADDR_DOCS', 'FAST');

end;

5，采用job做步骤4中的工作：

1)该功能需要利用oracle的JOB功能来完成

因为oracle9I默认不启用JOB功能，所以首先需要增加ORACLE数据库实例的JOB配置参数:

job_queue_processes=5

重新启动oracle数据库服务和listener服务。

2)同步和优化

--同步 sync:

variable jobno number;

BEGIN

DBMS_JOB.SUBMIT(:jobno,'ctx_ddl.sync_index(''INX_CUSTOMINFO_ADDR_DOCS'');',

SYSDATE, 'SYSDATE + (1/24/4)');

commit;

END;

--优化

variable jobno number;

begin

DBMS_JOB.SUBMIT(:jobno,'ctx_ddl.optimize_index(''INX_CUSTOMINFO_ADDR_DOCS'',''FULL'');', SYSDATE, 'SYSDATE + 1');

commit;

END;

其中，第一个job的SYSDATE + (1/24/4)是指每隔15分钟同步一次，第二个job的SYSDATE + 1是每隔1天做一次全优化。具体的时间间隔，可以根据应用的需要而定。

6，索引重建

重建索引会删除原来的索引，重新生成索引，需要较长的时间。

重建索引语法如下：

ALTER INDEX INX_CUSTOMINFO_ADDR_DOCS REBUILD;

据网上一些用家的体会，oracle重建索引的速度也是比较快的，有一用家这样描述：

Oracle 的全文检索建立和维护索引要比ms sql server都要快得多，笔者的65万记录的一个表建立索引只需要20分钟，同步一次只需要1分钟。

因此，也可以考虑用job的办法定期重建索引。

关于mysql处理百万级以上的数据时如何提高其查询速度的方法4、尽量避免在 where 子句中使用 or 来连接条件，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num=10 or num=20可以这样查询：select id from t where num=10union allselect id from t where num=20

5、下面的查询也将导致全表扫描：(不能前置百分号)select id from t where name like ‘?c%’若要提高效率，可以考虑全文检索。

6、in 和 not in 也要慎用，否则会导致全表扫描，如：select id from t where num in(1,2,3)对于连续的数值，能用 between 就不要用 in 了：select id from t where num between 1 and 3

7、

如果在 where

子句中使用参数，也会导致全表扫描。因为SQL只有在运行时才会解析局部变量，但优化程序不能将访问计划的选择推迟到运行时；它必须在编译时进行选择。然

而，如果在编译时建立访问计划，变量的值还是未知的，因而无法作为索引选择的输入项。如下面语句将进行全表扫描：select id from t where num=@num可以改为强制查询使用索引：select id from t with(index(索引名)) where num=@num

8、应尽量避免在 where 子句中对字段进行表达式操作，这将导致引擎放弃使用索引而进行全表扫描。如：select id from t where num/2=100应改为:select id from t where num=100*2

9、应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：select id from t where substring(name,1,3)=’abc’–name以abc开头的idselect id from t where datediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id应改为:select id from t where name like ‘abc%’select id from t where createdate>=’2005-11-30′ and createdate<’2005-12-1′

10、不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。

11、在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。

12、不要写一些没有意义的查询，如需要生成一个空表结构：select col1,col2 into #t from t where 1=0这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样：create table #t(…)

13、很多时候用 exists 代替 in 是一个好的选择：select num from a where num in(select num from b)用下面的语句替换：select num from a where exists(select 1 from b where num=a.num)

14、并不是所有索引对查询都有效，SQL是根据表中数据来进行查询优化的，当索引列有大量数据重复时，SQL查询可能不会去利用索引，如一表中有字段 sex，male、female几乎各一半，那么即使在sex上建了索引也对查询效率起不了作用。

15、

索引并不是越多越好，索引固然可以提高相应的 select 的效率，但同时也降低了 insert 及 update 的效率，因为 insert 或

update

时有可能会重建索引，所以怎样建索引需要慎重考虑，视具体情况而定。一个表的索引数最好不要超过6个，若太多则应考虑一些不常使用到的列上建的索引是否有

必要。

16.

应尽可能的避免更新 clustered 索引数据列，因为 clustered

索引数据列的顺序就是表记录的物理存储顺序，一旦该列值改变将导致整个表记录的顺序的调整，会耗费相当大的资源。若应用系统需要频繁更新

clustered 索引数据列，那么需要考虑是否应将该索引建为 clustered 索引。

17、尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。

18、尽可能的使用 varchar/nvarchar 代替 char/nchar ，因为首先变长字段存储空间小，可以节省存储空间，其次对于查询来说，在一个相对较小的字段内搜索效率显然要高些。

19、任何地方都不要使用 select * from t ，用具体的字段列表代替“*”，不要返回用不到的任何字段。

20、尽量使用表变量来代替临时表。如果表变量包含大量数据，请注意索引非常有限（只有主键索引）。

21、避免频繁创建和删除临时表，以减少系统表资源的消耗。

22、临时表并不是不可使用，适当地使用它们可以使某些例程更有效，例如，当需要重复引用大型表或常用表中的某个数据集时。但是，对于一次性事件，最好使用导出表。

23、在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。

24、如果使用到了临时表，在存储过程的最后务必将所有的临时表显式删除，先 truncate table ，然后 drop table ，这样可以避免系统表的较长时间锁定。

25、尽量避免使用游标，因为游标的效率较差，如果游标操作的数据超过1万行，那么就应该考虑改写。

26、使用基于游标的方法或临时表方法之前，应先寻找基于集的解决方案来解决问题，基于集的方法通常更有效。

27、与临时表一样，游标并不是不可使用。对小型数据集使用 FAST_FORWARD游标通常要优于其他逐行处理方法，尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许，基于游标的方法和基于集的方法都可以尝试一下，看哪一种方法的效果更好。

28、在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ，在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。

29、尽量避免向客户端返回大数据量，若数据量过大，应该考虑相应需求是否合理。

30、尽量避免大事务操作，提高系统并发能力。

关于mysql处理百万级以上的数据时如何提高其查询速度的方法

标签：

显示全文

全部栏目

Oracle数据库查询优化方案（处理上百万级记录如何提高处理查询速度）