php – 解析大的JSON文件

原文

参见英文答案 > Processing large JSON files in PHP5个
我正在使用一个cron脚本,它触发一个API,接收JSON文件(大量对象)并将其存储在本地.一旦完成,另一个脚本需要解析下载的JSON文件,并将每个对象插入到MysqL数据库中.

我正在使用一个file_get_contents()以及json_decode().在尝试处理之前,将尝试将整个文件读入内存.这是很好的,除了我的JSON文件通常在250MB-1GB的范围内.我知道我可以增加我的PHP内存限制,但这似乎不是我心中最大的答案.我知道我可以运行fopen()和fgets()逐行读取文件,但是我需要读取每个json对象的文件.

有没有办法读取每个对象的文件,还是有另一种类似的方法？

这真的取决于json文件包含什么.

如果将文件打开一个记忆不是一个选项,你唯一的其他选项,如你所说,是fopen / fgets.

逐行读取是可能的,如果这些json对象具有一致的结构,则可以轻松检测文件中的json对象何时启动,并结束.

收集整个对象后,将其插入数据库,然后转到下一个对象.

没有更多的东西.根据您的数据源,检测json对象的开始和结束的算法可能会变得复杂,但是我使用更复杂的结构(xml)完成了以前的工作,并且工作正常.

php – 解析大的JSON文件的更多相关文章

  1. 基于EJB技术的商务预订系统的开发

    用EJB结构开发的应用程序是可伸缩的、事务型的、多用户安全的。总的来说，EJB是一个组件事务监控的标准服务器端的组件模型。基于EJB技术的系统结构模型EJB结构是一个服务端组件结构，是一个层次性结构，其结构模型如图1所示。图2：商务预订系统的构架EntityBean是为了现实世界的对象建造的模型，这些对象通常是数据库的一些持久记录。

  2. js中‘!.’是什么意思

  3. InnoDB 和 MyISAM 引擎恢复数据库，使用 .frm、.ibd文件恢复数据库

  4. Error: Cannot find module ‘node:util‘问题解决

    控制台 安装 Vue-Cli 最后一步出现 Error: Cannot find module 'node:util' 问题解决方案1.问题C:\Windows\System32>cnpm install -g @vue/cli@4.0.3internal/modules/cjs/loader.js:638 throw err; &nbs

  5. yarn的安装和使用(全网最详细)

    一、yarn的简介：Yarn是facebook发布的一款取代npm的包管理工具。二、yarn的特点：速度超快。Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率，因此安装速度更快。超级安全。在执行代码之前，Yarn 会通过算法校验每个安装包的完整性。超级可靠。使用详细、简洁的锁文件格式和明确的安装算法，Yarn 能够保证在不同系统上无差异的工作。三、y

  6. 前端环境 本机可切换node多版本 问题源头是node使用的高版本

    前言投降投降 重头再来 重装环境 也就分分钟的事 偏要折腾 这下好了1天了 还没折腾出来问题的源头是node 使用的高版本 方案那就用 本机可切换多版本最终问题是因为nodejs的版本太高，导致的node-sass不兼容问题，我的node是v16.14.0的版本，项目中用了"node-sass": "^4.7.2"版本，无法匹配当前的node版本根据文章的提

  7. 宝塔Linux的FTP连接不上的解决方法

    宝塔Linux的FTP连接不上的解决方法常见的几个可能,建议先排查。1.注意内网IP和外网IP2.检查ftp服务是否启动 （面板首页即可看到）3.检查防火墙20端口 ftp 21端口及被动端口39000 - 40000是否放行 （如是腾讯云/阿里云等还需检查安全组）4.是否主动/被动模式都不能连接5.新建一个用户看是否能连接6.修改ftp配置文件 将ForcePassiveIP前面的#去掉 将19

  8. 扩展element-ui el-upload组件，实现复制粘贴上传图片文件，带图片预览功能

  9. 微信小程序canvas实现水平、垂直居中效果

    这篇文章主要介绍了小程序中canvas实现水平、垂直居中效果,本文图文实例代码相结合给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下

  10. 使用HTML5做的导航条详细步骤

    这篇文章主要介绍了用HTML5做的导航条详细步骤,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

随机推荐

  1. PHP个人网站架设连环讲(一)

    先下一个OmnihttpdProffesinalV2.06，装上就有PHP4beta3可以用了。PHP4给我们带来一个简单的方法，就是使用SESSION（会话）级变量。但是如果不是PHP4又该怎么办？我们可以假设某人在15分钟以内对你的网页的请求都不属于一个新的人次，这样你可以做个计数的过程存在INC里，在每一个页面引用，访客第一次进入时将访问时间送到cookie里。以后每个页面被访问时都检查cookie上次访问时间值。

  2. PHP函数学习之PHP函数点评

    PHP函数使用说明，应用举例，精简点评,希望对您学习php有所帮助

  3. ecshop2.7.3 在php5.4下的各种错误问题处理

    将方法内的函数，分拆为2个部分。这个和gd库没有一点关系，是ecshop程序的问题。会出现这种问题，不外乎就是当前会员的session或者程序对cookie的处理存在漏洞。进过本地测试，includes\modules\integrates\ecshop.php这个整合自身会员的类中没有重写integrate.php中的check_cookie()方法导致,验证cookie时返回的username为空，丢失了登录状态，在ecshop.php中重写了此方法就可以了。把他加到ecshop.php的最后面去就可

  4. NT IIS下用ODBC连接数据库

    $connection=intodbc_connect建立数据库连接，$query_string="查询记录的条件"如：$query_string="select*fromtable"用$cur=intodbc_exec检索数据库，将记录集放入$cur变量中。再用while{$var1=odbc_result;$var2=odbc_result;...}读取odbc_exec()返回的数据集$cur。最后是odbc_close关闭数据库的连接。odbc_result()函数是取当前记录的指定字段值。

  5. PHP使用JpGraph绘制折线图操作示例【附源码下载】

    这篇文章主要介绍了PHP使用JpGraph绘制折线图操作,结合实例形式分析了php使用JpGraph的相关操作技巧与注意事项,并附带源码供读者下载参考,需要的朋友可以参考下

  6. zen_cart实现支付前生成订单的方法

    这篇文章主要介绍了zen_cart实现支付前生成订单的方法,结合实例形式详细分析了zen_cart支付前生成订单的具体步骤与相关实现技巧,需要的朋友可以参考下

  7. Thinkphp5框架实现获取数据库数据到视图的方法

    这篇文章主要介绍了Thinkphp5框架实现获取数据库数据到视图的方法,涉及thinkPHP5数据库配置、读取、模型操作及视图调用相关操作技巧,需要的朋友可以参考下

  8. PHP+jquery+CSS制作头像登录窗（仿QQ登陆）

    本篇文章介绍了PHP结合jQ和CSS制作头像登录窗（仿QQ登陆），实现了类似QQ的登陆界面，很有参考价值，有需要的朋友可以了解一下。

  9. 基于win2003虚拟机中apache服务器的访问

    下面小编就为大家带来一篇基于win2003虚拟机中apache服务器的访问。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

  10. Yii2中组件的注册与创建方法

    这篇文章主要介绍了Yii2之组件的注册与创建的实现方法，非常不错，具有参考借鉴价值,需要的朋友可以参考下

返回
顶部