我在Node.js中使用读取流时遇到了一个非常奇怪的问题.我正在使用SSH2在我和sftp服务器之间创建一个sftp连接.然后我尝试从sftp流创建一个读取流.从读取流发出的“数据”事件中,我将数据附加到数组.当读取流的’close’事件发生时,我调用Buffer.concat来创建concat,将我检索到的所有数据块连接到一个缓冲区中.这是在堆栈溢出时在此处提出的其他问题中描述的相同技术.例如
here.但是,我无法使用我检索的数据.看起来缓冲区的大小比我试图检索的文件小32个字节(从计算检索的数据长度).这可能与我的SFTP连接有关吗?或者我如何创建我的阅读流?
如果重要,该文件的类型为zip.当我尝试解压缩文件(在node.js中并手动)后,将其读取到缓冲区后,它无法正常工作.
调查后我发现:
>当我在文件上使用readdir时,文件的大小是正确的.
>使用FTP(JSFTP)对我的开发FTP服务器使用上面相同的技术工作正常.
任何建议表示赞赏!
这是我的代码:
var Client = require('ssh2').Client;
var m_ssh2Credentials = {
host: config.ftpHostName,port: config.ftpPort,username: config.ftpUser,password: config.ftpPassword,readyTimeout: 20000,algorithms: { cipher: ["3des-cbc","aes256-cbc","aes192-cbc","aes128-cbc"]}
};
...
var conn = new Client();
var dataLength = 0;
conn.on('ready',function() {
conn.sftp(function(err,sftp) {
if (err) {
writetoErrorLog("downloadFile(): Failed to open SFTP connection.");
} else {
writetoLog("downloadFile(): Opened SFTP connection.");
}
var streamErr = "";
var dataLength = 0;
var stream = sftp.createReadStream(config.ftpPath + "/" + m_fileName)
stream.on('data',function(d){
data.push(d);
dataLength += d.length;
});
.on('error',function(e){
streamErr = e;
})
.on('close',function(){
if(streamErr) {
writetoErrorLog("downloadFile(): Error retrieving the file: " + streamErr);
} else {
writetoLog("downloadFile(): No error using read stream.");
m_filebuffer = Buffer.concat(data,dataLength);
writetoLog("Data length: " + dataLength);
writetoLog("downloadFile(): File saved to buffer.");
}
conn.end();
});
})
})
.on('error',function(err) {
writetoErrorLog("downloadFile(): Error connecting: " + err);
}).connect(m_ssh2Credentials);
解决方法
经过大量调查后,我终于意识到在’data’事件中传输的最后几位数据有问题.根据我的理解,它似乎是读取流的实现中的一个错误.通过在SSH2库中使用更简单的函数(open,fstat,read),我能够解决这个问题.这个解决方案适合我.如果其他人遇到同样的问题,想要分享解决方案.
工作代码:
sftp.open(config.ftpPath + "/" + m_fileName,"r",function(err,fd) {
sftp.fstat(fd,stats) {
var bufferSize = stats.size,chunkSize = 16384,buffer = new Buffer(bufferSize),bytesRead = 0,errorOccured = false;
while (bytesRead < bufferSize && !errorOccured) {
if ((bytesRead + chunkSize) > bufferSize) {
chunkSize = (bufferSize - bytesRead);
}
sftp.read(fd,buffer,bytesRead,chunkSize,callbackFunc);
bytesRead += chunkSize;
}
var totalBytesRead = 0;
function callbackFunc(err,buf,pos) {
if(err) {
writetoErrorLog("downloadFile(): Error retrieving the file.");
errorOccured = true;
sftp.close(fd);
}
totalBytesRead += bytesRead;
data.push(buf);
if(totalBytesRead === bufferSize) {
m_filebuffer = Buffer.concat(data);
writetoLog("downloadFile(): File saved to buffer.");
sftp.close(fd);
m_eventEmitter.emit('downloadFile_Complete');
}
}
});