我在使用 PHP和禁用AUTOCOMIT在RealTime Index中进行批量插入,
例如
// sphinx connection
$sphinxql = MysqLi_connect($sphinxql_host.':'.$sphinxql_port,'',''); 

//do some other time consuming work

//sphinx start transaction
MysqLi_begin_transaction($sphinxql);

//do 50k updates or inserts

// Commit transaction
MysqLi_commit($sphinxql);

并保持脚本运行一夜之间,我早上看到

PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate
212334 bytes) in

所以当我仔细检查nohup.out文件的时候,我注意到这些行,

PHP Warning: MysqLi_query(): MysqL server has gone away in /home/script.PHP on line 502
Warning: MysqLi_query(): MysqL server has gone away in /home/script.PHP on line 502

这些行之前的内存使用情况是正常的,但这些行开始增加后的内存使用量,并且它触发了PHP mem_limit并给出了PHP致命错误并且死了.

in script.PHP,line 502 is

MysqLi_query($sphinxql,$update_query_sphinx);

所以我的猜测是,狮身人面像服务器关闭/死亡几个小时/分钟后不活动.

我已经尝试在sphinx.conf中设置

client_timeout = 3600

重新启动searchd

systemctl restart searchd

我仍然面临同样的问题.

那么如果没有长时间的活动存在,我怎么不能让狮身人面像服务器死在我身上呢?

更多信息添加 –

我一次从50k块的MysqL中获取数据,并在while循环中获取每行并在sphinx RT索引中进行更新.喜欢这个

//6mil rows update in MysqL,so it takes around 18-20 minutes to complete this then comes this following part.

$subset_count = 50000 ;

$total_count_query = "SELECT COUNT(*) as total_count FROM content WHERE enabled = '1'" ;
$total_count = MysqLi_query ($conn,$total_count_query);
$total_count = MysqLi_fetch_assoc($total_count);
$total_count = $total_count['total_count'];

$current_count = 0;

while ($current_count <= $total_count){

$get_MysqL_data_query = "SELECT record_num,views,comments,Votes FROM content WHERE enabled = 1  ORDER BY record_num ASC LIMIT $current_count,$subset_count ";

//sphinx start transaction
MysqLi_begin_transaction($sphinxql);

if ($result = MysqLi_query($conn,$get_MysqL_data_query)) {

    /* fetch associative array */
    while ($row = MysqLi_fetch_assoc($result)) {

    //sphinx escape whole array
    $escaped_sphinx = MysqLi_real_escape_array($sphinxql,$row);

    //update data in sphinx index
    $update_query_sphinx = "UPDATE $sphinx_index  
    SET 
        views       = ".$escaped_sphinx['views'].",comments    = ".$escaped_sphinx['comments'].",Votes   = ".$escaped_sphinx['Votes']." 
    WHERE 
        id          = ".$escaped_sphinx['record_num']." ";  

    MysqLi_query ($sphinxql,$update_query_sphinx);

    }

    /* free result set */
    MysqLi_free_result($result);
}
// Commit transaction
MysqLi_commit($sphinxql);

$current_count = $current_count + $subset_count ;
}
所以这里有几个问题,都涉及到运行大流程.

> MysqL服务器已经消失 – 这通常意味着MysqL已经超时,但也可能意味着MysqL进程因内存不足而崩溃.简而言之,这意味着MysqL已经停止响应,并没有告诉客户端为什么(即没有直接的查询错误).看到你说你在一个事务中运行了50k的更新,很可能MysqL刚刚跑出内存.
>允许的内存大小为134217728字节耗尽 – 意味着PHP内存不足.这也导致了MysqL失去记忆的想法.

那么该怎么办呢?

最初的间接解决方案是增加PHP和MysqL的内存限制.这不是真正解决根本原因,并且取决于您拥有的部署堆栈的控制量(和知识),这可能是不可能的.

正如少数人提到的,批处理过程可能会有所帮助.在不知道您正在解决的实际问题的情况下,很难说出最好的方法.如果可以计算出1000000或20000个记录,一批50000个可能会解决您的问题.如果在一个过程中花费的时间太长,您还可以查看使用消息队列(RabbitMQ是一个很好的项目,我已经在许多项目中使用),以便您可以同时运行多个进程处理较小的批次.

如果您正在做一些需要所有600万条记录的知识来执行计算的内容,那么您可能会将该过程分解成若干较小的步骤,将完成的工作“缓存”至此为止“(如此),然后选择下一步的下一步.如何干净地做到这一点很困难(再次,像RabbitMQ这样的事情可以通过在每个进程完成时触发一个事件来简化,以便下一个可以启动).

那么简而言之就是你最好的两个选择:

>可以在任何地方的问题上投入更多的资源/内存将问题分解成较小的自给自足的大块.

php-Sphinx即使没有更长时间的活动,我如何保持连接的有效性?的更多相关文章

  1. 从iOS应用程序发送帖子到PHP脚本不工作…简单的解决方案就像

    我之前已经做了好几次了但是由于某些原因我无法通过这个帖子…我尝试了设置为_POST且没有的变量的PHP脚本……当它们未设置为发布时它工作精细.这是我的iOS代码:这里是PHP的一大块,POST变量不在正确的位置?我想这对于更有经验的开发人员来说是一个相当简单的答案,感谢您的帮助!解决方法$_POST是一个数组,而不是一个函数.您需要使用方括号来访问数组索引:

  2. android – 可以设置CMU Sphinx来识别~200个单词

    我有一个客户端需要能够识别口头命令的Android应用程序.根据我的理解,内置语音到文本功能实际上将数据发送到Google的服务器,然后发送回文本翻译.这是一个主要问题,因为语音数据非常敏感.我可以想到两个选项.首先是在Android上转换语音到文本,虽然这似乎是一个非常昂贵的操作.第二种可能性是让本地服务器为我转换数据.这是CMUSphinx能够实现的吗?

  3. Android – 将SQLite与MySQL同步的最佳方式

    参见英文答案>Synchronizingclient-serverdatabases5个我正在开发一个包含网络应用和移动应用程序的项目,该应用程序记录每日用户的数据.用户可以删除,更新他们的数据,他们可以使用许多设备插入数据.我打算这样开发:用户输入他们的数据然后插入sqlite.服务将定期启动(每5小时或每小时)以使用时间戳与MysqL同步.我确实在互联网上使用服务和时间戳搜索了一个样本,但我一

  4. 尝试使用NDK为Android构建PocketSphinx时出现问题

    我不是一个C/C++或Linux家伙所以我在这里很黑暗.任何帮助将不胜感激.谢谢!解决方法解决了我的问题.也许有人会发现这些信息有用:)我做的是完全重建所有静态库项目,然后我的应用程序,使用“ndk-build-B”

  5. android – 如何将唯一的GCM注册标识存储到MySQL中

    我正在设置GoogleCloudMessaging机制的服务器端,使用MySQL存储移动应用提供的注册ID.Google可以发出最多4k个注册码,我被迫将其存储在TEXT字段中.所有的好,到目前为止,问题是我必须处理这样的情况:>用户登录到应用程序>该应用从google请求注册ID>应用程序将新的注册ID发送到应用服务器>服务器存储该注册ID并将其链接到当前登录的用户>该用户注销并且新用户登录>应

  6. nodeJs链接Mysql做增删改查的简单操作

    本篇文章主要介绍了nodeJs链接Mysql做增删改查的简单操作,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

  7. PHP连接MYSQL数据库的3种常用方法

    这篇文章主要介绍了PHP连接MYSQL数据库的3种常用方法,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  8. PHP使用PDO创建MySQL数据库、表及插入多条数据操作示例

    这篇文章主要介绍了PHP使用PDO创建MySQL数据库、表及插入多条数据操作,结合实例形式总结分析了php基于pdo的mysql数据库创建、数据表创建以及多条数据插入操作相关实现技巧,需要的朋友可以参考下

  9. MybatisPlus如何处理Mysql的json类型

    这篇文章主要介绍了MybatisPlus如何处理Mysql的json类型,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  10. 基于PHP+mysql实现新闻发布系统的开发

    这篇文章主要介绍了基于PHP+mysql实现新闻发布系统的开发,文章通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

随机推荐

  1. PHP个人网站架设连环讲(一)

    先下一个OmnihttpdProffesinalV2.06,装上就有PHP4beta3可以用了。PHP4给我们带来一个简单的方法,就是使用SESSION(会话)级变量。但是如果不是PHP4又该怎么办?我们可以假设某人在15分钟以内对你的网页的请求都不属于一个新的人次,这样你可以做个计数的过程存在INC里,在每一个页面引用,访客第一次进入时将访问时间送到cookie里。以后每个页面被访问时都检查cookie上次访问时间值。

  2. PHP函数学习之PHP函数点评

    PHP函数使用说明,应用举例,精简点评,希望对您学习php有所帮助

  3. ecshop2.7.3 在php5.4下的各种错误问题处理

    将方法内的函数,分拆为2个部分。这个和gd库没有一点关系,是ecshop程序的问题。会出现这种问题,不外乎就是当前会员的session或者程序对cookie的处理存在漏洞。进过本地测试,includes\modules\integrates\ecshop.php这个整合自身会员的类中没有重写integrate.php中的check_cookie()方法导致,验证cookie时返回的username为空,丢失了登录状态,在ecshop.php中重写了此方法就可以了。把他加到ecshop.php的最后面去就可

  4. NT IIS下用ODBC连接数据库

    $connection=intodbc_connect建立数据库连接,$query_string="查询记录的条件"如:$query_string="select*fromtable"用$cur=intodbc_exec检索数据库,将记录集放入$cur变量中。再用while{$var1=odbc_result;$var2=odbc_result;...}读取odbc_exec()返回的数据集$cur。最后是odbc_close关闭数据库的连接。odbc_result()函数是取当前记录的指定字段值。

  5. PHP使用JpGraph绘制折线图操作示例【附源码下载】

    这篇文章主要介绍了PHP使用JpGraph绘制折线图操作,结合实例形式分析了php使用JpGraph的相关操作技巧与注意事项,并附带源码供读者下载参考,需要的朋友可以参考下

  6. zen_cart实现支付前生成订单的方法

    这篇文章主要介绍了zen_cart实现支付前生成订单的方法,结合实例形式详细分析了zen_cart支付前生成订单的具体步骤与相关实现技巧,需要的朋友可以参考下

  7. Thinkphp5框架实现获取数据库数据到视图的方法

    这篇文章主要介绍了Thinkphp5框架实现获取数据库数据到视图的方法,涉及thinkPHP5数据库配置、读取、模型操作及视图调用相关操作技巧,需要的朋友可以参考下

  8. PHP+jquery+CSS制作头像登录窗(仿QQ登陆)

    本篇文章介绍了PHP结合jQ和CSS制作头像登录窗(仿QQ登陆),实现了类似QQ的登陆界面,很有参考价值,有需要的朋友可以了解一下。

  9. 基于win2003虚拟机中apache服务器的访问

    下面小编就为大家带来一篇基于win2003虚拟机中apache服务器的访问。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧

  10. Yii2中组件的注册与创建方法

    这篇文章主要介绍了Yii2之组件的注册与创建的实现方法,非常不错,具有参考借鉴价值,需要的朋友可以参考下

返回
顶部