注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

@fc_lamp

关注Web应用解决方案MySql/PHP/Python一盏名为"飞川"的灯~

 
 
 

日志

 
 

说说MYSQL的Insert...into ..values...语句 与 Select ...From table_name limit...语句的优化  

2010-08-18 00:26:00|  分类: Web技术-Mysql |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

说说MYSQL的Insert...into ..values...语句  与 Select ...From table_name limit...语句的优化


1 Insert...into ..values... 语句的循环执行与执行一条很长SQL
   在用insert into  table_name (fieldone,fieldtwo) values (xx,xx)插入数据时有两种形式:

   insert into  table_name (fieldone,fieldtwo) values (xx,xx); 单条的插入SQL语句
insert into  table_name (fieldone,fieldtwo) values (xx,xx),(xx,xx),(xx,xx);所有数据组成的长的插入SQL语句


 两者对比

  测试数据循环100次
    <?php
    //执行一条长SQL
           error_reporting(E_ALL);
set_time_limit(0);
ini_set('memory_limit','64M');
$link = mysql_connect('127.0.0.1','xx','xx');
mysql_query('USE xx');
$start_time = get_time();
$sql = 'insert into xx(xx,xxx,xx) values';
$time = date('Y-m-d',time());
             for($i=0;$i<100;$i++){
$sql.="('$i','user_$i','$time'),";
}
$sql = trim($sql,',');
mysql_query($sql);
$end_time = get_time();
echo $end_time - $start_time;

function get_time(){
list($s,$ss) = explode(' ',microtime());
return $s+$ss;
}
?>

<?php
      //执行多条SQL
      error_reporting(E_ALL);
set_time_limit(0);
ini_set('memory_limit','64M');
$link = mysql_connect('127.0.0.1','xx','xx');
mysql_query('USE test');
$start_time = get_time();
$time = date('Y-m-d',time());
for($i=0;$i<100;$i++){
                  $sql = 'insert into xx(xx,xx,xx values';
$sql.="('$i','user_$i','$time')";
mysql_query($sql);
}
$end_time = get_time();
echo $end_time - $start_time;

function get_time(){
list($s,$ss) = explode(' ',microtime());
return $s+$ss;
}

测试结果:多次执行,得出 执行一条长SQL耗时在 0.00n(n不为0)级别,多次执行SQL耗时在0.0n(n不为0)级别


测试数据 循环1000次

测试结果:多次执行,得出 执行一条长SQL耗时在 0.0n(n不为0)级别,多次执行SQL耗时在0.n(n不为0)级别


   测试数据 循环一万次

  测试结果:多次执行,得出 执行一条长SQL耗时在 0.n(n不为0)级别,多次执行SQL耗时在n(n不为0)级别

   测试数据 循环十万次

  测试结果:多次执行,得出 执行一条SQL耗时一般会报“MySQL server has gone away”的错误,多次执行SQL耗时在一分钟左右

MYSQL SERVER HAS GONE AWAY 错误的分析:
一种可能是发送的SQL语句太长,以致超过了max_allowed_packet的大小,如果是这种原因,你只要修改my.cnf,加大max_allowed_packet的值即可。
还有可能是程序中获取数据库连接时采用了Singleton的做法,虽然多次连接数据库,但其实使用的都是同一个连接,而且程序中某两次操作数据库的间隔时间超过了wait_timeout(SHOW STATUS能看到此设置),那么就可能出现问题。最简单的处理方式就是把wait_timeout改大,或者使用mysql_ping()函数ping一下,重新链接.

结论:分析数据。

2 Select ...From table_name limit...语句的优化

以下信息来致:http://www.zhenhua.org/article.asp?id=200select * from table LIMIT 5,10; #返回第6-15行数据 
select * from table LIMIT 5; #返回前5行 
select * from table LIMIT 0,5; #返回前5行
性能优化:基于MySQL5.0中limit的高性能,我对数据分页也重新有了新的认识.

1.
Select * From cyclopedia Where ID>=(
Select Max(ID) From (
Select ID From cyclopedia Order By ID limit 90001
) As tmp
) limit 100;

2.
Select * From cyclopedia Where ID>=(
Select Max(ID) From (
Select ID From cyclopedia Order By ID limit 90000,1
) As tmp
) limit 100;

同样是取90000条后100条记录,第1句快还是第2句快?
第1句是先取了前90001条记录,取其中最大一个ID值作为起始标识,然后利用它可以快速定位下100条记录
第2句择是仅仅取90000条记录后1条,然后取ID值作起始标识定位下100条记录
第1句执行结果.100 rows in set (0.23) sec
第2句执行结果.100 rows in set (0.19) sec

很明显第2句胜出.看来limit好像并不完全像我之前想象的那样做全表扫描返回limit offset+length条记录,这样看来limit比起MS-SQL的Top性能还是要提高不少的.

其实第2句完全可以简化成

Select * From cyclopedia Where ID>=(
Select ID From cyclopedia limit 90000,1
)limit 100;

直接利用第90000条记录的ID,不用经过Max运算,这样做理论上效率因该高一些,但在实际使用中几乎看不到效果,因为本身定位ID返回的就是1条记录,Max几乎不用运作就能得到结果,但这样写更清淅明朗,省去了画蛇那一足.

可是,既然MySQL有limit可以直接控制取出记录的位置,为什么不干脆用Select * From cyclopedia limit 90000,1呢?岂不更简洁?
这样想就错了,试了就知道,结果是:1 row in set (8.88) sec,怎么样,够吓人的吧,让我想起了昨天在4.1中比这还有过之的"高分".Select * 最好不要随便用,要本着用什么,选什么的原则, Select的字段越多,字段数据量越大,速度就越慢. 上面2种分页方式哪种都比单写这1句强多了,虽然看起来好像查询的次数更多一些,但实际上是以较小的代价换取了高效的性能,是非常值得的.

第1种方案同样可用于MS-SQL,而且可能是最好的.因为靠主键ID来定位起始段总是最快的.

Select Top 100 * From cyclopedia Where ID>=(
Select Top 90001 Max(ID) From (
Select ID From cyclopedia Order By ID
) As tmp



用select xx from xx limit 5000,1000这种形式批量拉取,其实这个SQL每次都是全表扫描,建议添加1个自增id做索引,

将SQL改为select xx from xx where id>5000 and id<6000;




但不管是实现方式是存贮过程还是直接代码中,瓶颈始终在于MS-SQL的TOP总是要返回前N个记录,这种情况在数据量不大时感受不深,但如果成百上千万,效率肯定会低下的.相比之下MySQL的limit就有优势的多,执行:
Select ID From cyclopedia limit 90000
Select ID From cyclopedia limit 90000,1
的结果分别是:
90000 rows in set (0.36) sec
1 row in set (0.06) sec
而MS-SQL只能用Select Top 90000 ID From cyclopedia 执行时间是390ms,执行同样的操作时间也不及MySQL的360ms.
  评论这张
 
阅读(278)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017