我在Node.js中使用读取流时遇到了一个非常奇怪的问题.我正在使用SSH2在我和sftp服务器之间创建一个sftp连接.然后我尝试从sftp流创建一个读取流.从读取流发出的“数据”事件中,我将数据附加到数组.当读取流的’close’事件发生时,我调用Buffer.concat来创建concat,将我检索到的所有数据块连接到一个缓冲区中.这是在堆栈溢出时在此处提出的其他问题中描述的相同技术.例如 here.但是,我无法使用我检索的数据.看起来缓冲区的大小比我试图检索的文件小32个字节(从计算检索的数据长度).这可能与我的SFTP连接有关吗?或者我如何创建我的阅读流?

如果重要,该文件的类型为zip.当我尝试解压缩文件(在node.js中并手动)后,将其读取到缓冲区后,它无法正常工作.

调查后我发现:

>当我在文件上使用readdir时,文件的大小是正确的.
>使用FTP(JSFTP)对我的开发FTP服务器使用上面相同的技术工作正常.

任何建议表示赞赏!

这是我的代码:

var Client = require('ssh2').Client;
        var m_ssh2Credentials = {
           host: config.ftpHostName,port: config.ftpPort,username: config.ftpUser,password: config.ftpPassword,readyTimeout: 20000,algorithms: { cipher: ["3des-cbc","aes256-cbc","aes192-cbc","aes128-cbc"]}
        };
        ...
        var conn = new Client();
        var dataLength = 0;
        conn.on('ready',function() {
            conn.sftp(function(err,sftp) {
                if (err) {
                    writetoErrorLog("downloadFile(): Failed to open SFTP connection.");
                } else {
                    writetoLog("downloadFile(): Opened SFTP connection.");
                }

                var streamErr = "";
                var dataLength = 0;
                var stream = sftp.createReadStream(config.ftpPath + "/" + m_fileName)
                stream.on('data',function(d){
                    data.push(d);
                    dataLength += d.length;
                });
                .on('error',function(e){
                    streamErr = e;
                })
                .on('close',function(){
                    if(streamErr) {
                        writetoErrorLog("downloadFile(): Error retrieving the file: " + streamErr);
                    } else {
                        writetoLog("downloadFile(): No error using read stream.");
                        m_filebuffer = Buffer.concat(data,dataLength);
                        writetoLog("Data length: " + dataLength);

                        writetoLog("downloadFile(): File saved to buffer.");
                    }
                    conn.end();
                });
            })
        })
        .on('error',function(err) {
            writetoErrorLog("downloadFile(): Error connecting: " + err);
        }).connect(m_ssh2Credentials);

解决方法

经过大量调查后,我终于意识到在’data’事件中传输的最后几位数据有问题.根据我的理解,它似乎是读取流的实现中的一个错误.通过在SSH2库中使用更简单的函数(open,fstat,read),我能够解决这个问题.这个解决方案适合我.如果其他人遇到同样的问题,想要分享解决方案.

工作代码:

sftp.open(config.ftpPath + "/" + m_fileName,"r",function(err,fd) {
sftp.fstat(fd,stats) {
    var bufferSize = stats.size,chunkSize = 16384,buffer = new Buffer(bufferSize),bytesRead = 0,errorOccured = false;

    while (bytesRead < bufferSize && !errorOccured) {
        if ((bytesRead + chunkSize) > bufferSize) {
            chunkSize = (bufferSize - bytesRead);
        }
        sftp.read(fd,buffer,bytesRead,chunkSize,callbackFunc);
        bytesRead += chunkSize;
    }

    var totalBytesRead = 0;
    function callbackFunc(err,buf,pos) {
        if(err) {
            writetoErrorLog("downloadFile(): Error retrieving the file.");
            errorOccured = true;
            sftp.close(fd);
        }
        totalBytesRead += bytesRead;
        data.push(buf);
        if(totalBytesRead === bufferSize) {
            m_filebuffer = Buffer.concat(data);
            writetoLog("downloadFile(): File saved to buffer.");
            sftp.close(fd);
            m_eventEmitter.emit('downloadFile_Complete');
        }
    }
});

javascript – 使用Node.js和SSH2从SFTP服务器读取文件的更多相关文章

  1. ios FTP使用NSURLSession上传

    我试图通过FTP将文件上传到服务器.根据NSK的NSURLSession类支持FTP操作.有一个着名的AppleDeveloperblog也支持.但还不清楚NSURLSessionAPI是否支持ftp上传?

  2. Java操作FTP实现上传下载功能

    这篇文章主要为大家详细介绍了Java如何通过操作FTP实现上传下载的功能,文中的示例代码讲解详细,对我们学习Java有一定帮助,需要的可以参考一下

  3. Java实现FTP上传到服务器

    这篇文章主要为大家详细介绍了Java实现FTP上传到服务器,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  4. PHP操作FTP类 (上传、下载、移动、创建等)

    这篇文章主要介绍了PHP操作FTP类,实现FTP上传、FTP下载、FTP移动、FTP创建等,感兴趣的小伙伴们可以参考一下

  5. java实现上传文件到FTP

    这篇文章主要为大家详细介绍了java实现上传文件到FTP,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  6. PHPStrom 新建FTP项目以及在线操作教程

    PhpStorm是一个轻量级且便捷的PHP IDE,其提供的智能代码补全,快速导航以及即时错误检查等功能大大提高了编码效率。它是一款商业的 PHP 集成开发工具,以其独特的开发便利性,短时间内赢得了大量PHPer的青睐。今天我们来详细学习下FTP相关的操作

  7. php使用ftp远程上传文件类(完美解决主从文件同步问题的方法)

    下面小编就为大家带来一篇php使用ftp远程上传文件类(完美解决主从文件同步问题的方法)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧

  8. Java将文件上传到ftp服务器

    这篇文章主要为大家详细介绍了Java将文件上传到ftp服务器,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  9. php使用curl实现ftp文件下载功能

    这篇文章主要为大家详细介绍了php使用curl实现ftp文件下载功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  10. node.js自动上传ftp的脚本分享

    这篇文章主要给大家介绍了一个关于node.js自动上传ftp脚本的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧

随机推荐

  1. js中‘!.’是什么意思

  2. Vue如何指定不编译的文件夹和favicon.ico

    这篇文章主要介绍了Vue如何指定不编译的文件夹和favicon.ico,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  3. 基于JavaScript编写一个图片转PDF转换器

    本文为大家介绍了一个简单的 JavaScript 项目,可以将图片转换为 PDF 文件。你可以从本地选择任何一张图片,只需点击一下即可将其转换为 PDF 文件,感兴趣的可以动手尝试一下

  4. jquery点赞功能实现代码 点个赞吧!

    点赞功能很多地方都会出现,如何实现爱心点赞功能,这篇文章主要为大家详细介绍了jquery点赞功能实现代码,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  5. AngularJs上传前预览图片的实例代码

    使用AngularJs进行开发,在项目中,经常会遇到上传图片后,需在一旁预览图片内容,怎么实现这样的功能呢?今天小编给大家分享AugularJs上传前预览图片的实现代码,需要的朋友参考下吧

  6. JavaScript面向对象编程入门教程

    这篇文章主要介绍了JavaScript面向对象编程的相关概念,例如类、对象、属性、方法等面向对象的术语,并以实例讲解各种术语的使用,非常好的一篇面向对象入门教程,其它语言也可以参考哦

  7. jQuery中的通配符选择器使用总结

    通配符在控制input标签时相当好用,这里简单进行了jQuery中的通配符选择器使用总结,需要的朋友可以参考下

  8. javascript 动态调整图片尺寸实现代码

    在自己的网站上更新文章时一个比较常见的问题是:文章插图太宽,使整个网页都变形了。如果对每个插图都先进行缩放再插入的话,太麻烦了。

  9. jquery ajaxfileupload异步上传插件

    这篇文章主要为大家详细介绍了jquery ajaxfileupload异步上传插件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  10. React学习之受控组件与数据共享实例分析

    这篇文章主要介绍了React学习之受控组件与数据共享,结合实例形式分析了React受控组件与组件间数据共享相关原理与使用技巧,需要的朋友可以参考下

返回
顶部