PHP 中如何查询 MySQL 大量数据的内存
这篇文章主要是从原理,
手册和源码分析在 PHP 中查询 MySQL 返回大量结果时, 内
存占用的问题,
同时对使用 MySQL C API 也有涉及。
昨天,
有人提到, 他做的一个项目由于 MySQL 查询返回的结果太多(达 10 万条),
从而导致 PHP 内存不够用。 所以, 他问, 在执行下面的代码遍历返回的 MySQL 结果之前,
数据是否已经在内存中了? -
while ($row = mysql_fetch_assoc($result)) {
// …
}
当然,
这种问题有许多优化的方法。 不过, 就这个问题来讲, 我首先想到,
MySQL 是经典的 C/S(Client/Server, 客户端/服务器)模型, 在遍历结果集之前, 底层的实
现可能已经把所有的数据通过网络
(假设使用 TCP/IP)读到了 Client 的缓冲区, 也有另一种
可能,
就是数据还在 Server 端的发送缓冲区里, 并没有传给 Client.
在查看
PHP 和 MySQL 的源码之前, 我注意到 PHP 手册里有两个功能相近的函数:
mysql_query()
mysql_unbuffered_query()
两个函数的字面意思和说明证实了我的想法,
前一个函数执行时, 会把所有的结
果集从
Server 端读到 Client 端的缓冲区中, 而后一个则没有, 这就是“unbuffered(未缓冲)”
的意思。
那就是说,
如果用 mysql_unbuffered_query()执行了一条返回大量结果集的 SQL 语
句,
在遍历结果之前, PHP 的内存是没有被结果集占用的。 而用 mysql_query()来执行同样
的语句的话,
函数返回时, PHP 的内存占用便会急剧增加, 立即耗光内存。
如果阅读
PHP 的相关代码, 可以看到这两个函数的实现上的异同:
/* {{{ proto resource mysql_query(string query [, int link_identifier])
Sends an SQL query to MySQL */
PHP_FUNCTION(mysql_query)
{
php_mysql_do_query(INTERNAL_FUNCTION_PARAM_PASSTHRU
,
MYSQL_STORE_RESULT);
}
/* }}} */
/* {{{ proto resource mysql_unbuffered_query(string query [, int link_identifier])
Sends an SQL query to MySQL, without fetching and buffering the result rows */
PHP_FUNCTION(mysql_unbuffered_query)
{
php_mysql_do_query(INTERNAL_FUNCTION_PARAM_PASSTHRU
,
MYSQL_USE_RESULT);
}
/* }}} */
两 个 函 数 都 调 用 了
php_mysql_do_query() , 只 差 了 第 2 个 参 数 的 不 同 ,
MYSQL_STORE_RESULT 和 MYSQL_USE_RESULT. 再看 php_mysql_do_query()的实现:
if(use_store == MYSQL_USE_RESULT) {
mysql_result=mysql_use_result(&mysql->conn);