MFS文件系统的组成

1、 元数据服务器。在整个体系中负责管理管理文件系统,目前MFS只支持一个元数据服务器master,这是一个单点故障,需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器,进一步提高系统的可靠性。

2、 数据存储服务器chunkserver。真正存储用户数据的服务器。存储文件时,首先把文件分成块,然后这些块在数据服务器chunkserver之间复制(复制份数可以手工指定,建议设置副本数为3)。数据服务器可以是多个,并且数量越多,可使用的“磁盘空间”越大,可靠性也越高。

3、 元数据日志服务器Metalogger server(Metalogger):负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出问题的时候接替其进行工作。

4、 客户端。使用MFS文件系统来存储和访问的主机称为MFS的客户端,成功挂接MFS文件系统以后,就可以像以前使用NFS一样共享这个虚拟性的存储了。



环境:mfsmaster:192.168.50.119

mfschunk,mfslogger,mfsclient: 192.168.50.120


一、mfsmaster安装配置

1.创建安装用户

useraddmfs-s/sbin/nologin
2.安装
tar-xfmfs-1.6.27-5.tar.gz&&cdmfs-1.6.27
./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs
make&&makeinstall

3.配置文件

cd/usr/local/mfs/etc/mfs/
cpmfsmaster.cfg.distmfsmaster.cfg
cpmfsexports.cfg.distmfsexports.cfg
cp/usr/local/mfs/var/mfs/Metadata.mfs.empty/usr/local/mfs/var/mfs/Metadata.mfs

4.启动元数据服务器

/usr/local/mfs/sbin/mfsmasterstart
workingdirectory:/usr/local/mfs/var/mfs
lockfilecreatedandlocked
initializingmfsmastermodules...
loadingsessions...ok
sessionsfilehasbeenloaded
exportsfilehasbeenloaded
mfstopologyconfigurationfile(/usr/local/mfs/etc/mfstopology.cfg)notfound-usingdefaults
loadingMetadata...
loadingobjects(files,directories,etc.)...ok
loadingnames...ok
loadingdeletiontimestamps...ok
loadingchunksdata...ok
checkingfilesystemconsistency...ok
connectingfilesandchunks...ok
allinodes:1
directoryinodes:1
fileinodes:0
chunks:0
Metadatafilehasbeenloaded
statsfilehasbeenloaded
master<->Metaloggersmodule:listenon*:9419
master<->chunkserversmodule:listenon*:9420
mainmasterservermodule:listenon*:9421
mfsmasterdaemoninitializedproperly


5.启动web页面

/usr/local/mfs/sbin/mfscgiservstart#开启WEB监控页面进程
http://ip:9425查看mfs系统状态

wKiom1g_m32BKcqzAADY-sLVleQ808.png

6.开机启动

echo"/usr/local/mfs/sbin/mfsmasterstart"/etc/rc.local
echo"/usr/local/mfs/sbin/mfscgiserv"/etc/rc.local

7.检查进程

[root@localhostmfs]#ps-ef|grepmfs
mfs65561003:20?00:00:04/usr/local/mfs/sbin/mfsmasterstart
root65821003:23?00:00:00python/usr/local/mfs/sbin/mfscgiserv
root66251692004:39pts/000:00:00grepmfs

二、mfschunk,mfslogger,mfsclient服务器配置


1.创建安装用户

useraddmfs-s/sbin/nologin

2.安装

yum-yinstallfusefuse-devel
tar-xfmfs-1.6.27-5.tar.gz&&cdmfs-1.6.27
./configure--prefix=/usr/local/mfs--with-default-user=mfs--with-default-group=mfs--enable-mfsmount
make&&makeinstall
chown-Rmfs.mfs/usr/local/mfs/


3.配置文件

cd/usr/local/mfs/etc/mfs/
cpmfschunkserver.cfg.distmfschunkserver.cfg
cpmfshdd.cfg.distmfshdd.cfg
cpmfsMetalogger.cfg.distmfsMetalogger.cfg


4.修改配置文件

[root@localhostmfs]#catmfschunkserver.cfg
#WORKING_USER=mfs
#WORKING_GROUP=mfs
#SYSLOG_IDENT=mfschunkserver
#LOCK_MEMORY=0
#NICE_LEVEL=-19
#DATA_PATH=/usr/local/mfs/var/mfs
#MASTER_RECONNECTION_DELAY=5
#BIND_HOST=*
MASTER_HOST=192.168.50.119
MASTER_PORT=9420
#MASTER_TIMEOUT=60
#CSSERV_LISTEN_HOST=*
#CSSERV_LISTEN_PORT=9422
#HDD_CONF_FILENAME=/usr/local/mfs/etc/mfs/mfshdd.cfg
#HDD_TEST_FREQ=10
#deprecated,toberemovedinMooseFS1.7
#LOCK_FILE=/var/run/mfs/mfschunkserver.lock
#BACK_LOGS=50
#CSSERV_TIMEOUT=5
[root@localhostmfs]#catmfshdd.cfg
#mountpointsofHDDdrives
/usr/local/mfsdata/#mfschunkserver上的分区,必须是独立分区!
[root@localhostmfs]#catmfsMetalogger.cfg
#WORKING_USER=mfs
#WORKING_GROUP=mfs
#SYSLOG_IDENT=mfsMetalogger
#LOCK_MEMORY=0
#NICE_LEVEL=-19
#DATA_PATH=/usr/local/mfs/var/mfs
#BACK_LOGS=50
#BACK_Meta_KEEP_PREVIoUS=3
Meta_DOWNLOAD_FREQ=1
#MASTER_RECONNECTION_DELAY=5
MASTER_HOST=192.168.50.119
MASTER_PORT=9419
#MASTER_TIMEOUT=60
#deprecated,toberemovedinMooseFS1.7
#LOCK_FILE=/var/run/mfs/mfsMetalogger.lock



5.启动服务

[root@localhostmfs]#/usr/local/mfs/sbin/mfschunkserverstart
workingdirectory:/usr/local/mfs/var/mfs
lockfilecreatedandlocked
initializingmfschunkservermodules...
hddspacemanager:pathtoscan:/usr/local/mfsdata/
hddspacemanager:startbackgroundhddscanning(searchingforavailablechunks)
mainservermodule:listenon*:9422
nochartsdatafile-initializingemptycharts
mfschunkserverdaemoninitializedproperly


[root@localhostmfs]#/usr/local/mfs/sbin/mfsMetaloggerstart
workingdirectory:/usr/local/mfs/var/mfs
lockfilecreatedandlocked
initializingmfsMetaloggermodules...
mfsMetaloggerdaemoninitializedproperly



6.创建数据目录

mkdir/usr/local/mfsdata/
chown-Rmfs.mfs/usr/local/mfsdata/


这里需要一块新磁盘挂载到数据目录

mount/dev/sdb1/usr/local/mfsdata/


7.创建挂载目录

mkdir/mnt/mfs
chown-Rmfs.mfs/mnt/mfs/


8.挂载目录

[root@localhostmfsdata]#/usr/local/mfs/bin/mfsmount/mnt/mfs/-H192.168.50.119#挂载成功
mfsmasteracceptedconnectionwithparameters:read-write,restricted_ip;rootmappedtoroot:root
[root@localhost~]#df
Filesystem1K-blocksUsedAvailableuse%Mountedon
/dev/mapper/VolGroup-lv_root191665041322824168700648%/
tmpfs24314002431400%/dev/shm
/dev/sda1495844326724375727%/boot
/dev/sdb11031782815525696384562%/usr/local/mfsdata
192.168.50.119:94219376256093762560%/mnt/mfs

参考地址:

http://darren.blog.51cto.com/1081720/1143106

http://sery.blog.51cto.com/10037/147756

centos6.5下安装mfs分布式存储的更多相关文章

  1. ios – Swift:自定义相机使用图像保存修改后的元数据

    我试图保存图像样本缓冲区中的一些元数据以及图像.我需要:>将图像旋转到元数据的方向>从元数据中删除方向>将日期保存到元数据中>将包含元数据的图像保存到文档目录我试过从数据创建一个UIImage,但是删除了元数据.我已经尝试使用数据中的CIImage来保存元数据,但是我无法将其旋转然后将其保存到文件中.这是我保存图像的代码.解决方法我最终弄清楚如何让一切按照我需要的方式工作.对我帮助最大的事情是发现

  2. ios – 如何为多个目标提供传送(fastlane)下载元数据?

    附:这是一个很大的遗留项目,所以将它分成六个不同的项目会很棒,但不幸的是,这不是一个选择.解决方法我一直在努力解决这个问题,使用.env文件设置提交很容易.但是检索初始数据很困难,但并非不可能.要获取元数据,它运行此命令:并为截图:

  3. ios – 从MPMoviePlayerController获取MetaData

    代码!

  4. ios – 从音频流中获取元数据

    我想获取文件名,如果可能的话,可以从我在AVQueuePlayer上播放的AVPlayerItem中的流式URL中的相册图像,但是我不知道该怎么做.另外如果事实证明,我的流网址没有任何元数据,我可以将元数据放入我的NSURL*,然后传递给AVPlayerItem?

  5. 在iOS上保存修改后的元数据(无需重新编码)的原始图像数据

    我想在temp文件夹中保存一些元数据更改的图像,而无需重新编码实际的图像数据.我发现能够做到这一点的唯一方法是ALAssetsLibrary/writeImageDataToSavedPhotosAlbum:metadata:completionBlock:,但是,这个方法将图像保存到照片库中.相反,我想将图像保存到临时文件夹(例如,通过电子邮件分享,而不填充照片库).我试过使用CGImageDe

  6. iOS应用程序审核队列,如果您更改元数据,是否重置?

    我知道更新并重新提交您的应用程序二进制文件让您回到iOS应用程序市场审核队列,并将时钟重新设置为6–8天的等待时间...但有人知道如果更改元数据也会使您处于队列的后面?我的第一个二进制文件在5天内被批准和发布(是),但是我提交的更新已经在那里等待10天了...也许是因为我已经添加了一些描述翻译,并更改了截图?

  7. OpenStack 对象存储 Swift 简单介绍

    Swift最适合的就是永久类型的静态数据的长期存储。提供账号验证的节点被称为AccountServer。Swift中由Swauth提供账号权限认证服务。ProxyserveracceptsincomingrequestsviatheOpenStackObjectAPIorjustrawHTTP.Itacceptsfilestoupload,modificationstoMetadataorcontainercreation.Inaddition,itwillalsoservefilesorcontaine

  8. swift对象存储

    Swift最初是由Rackspace公司开发的高可用分布式对象存储服务,并于2010年贡献给OpenStack开源社区作为其最初的核心子项目之一,为其Nova子项目提供虚机镜像存储服务。Swift为账户,容器和对象分别定义了的环,查找账户和容器的是同样的过程。

  9. 让你真正明白cinder与swift、glance的区别

    Cinder——提供块存储,类似于Amazon的EBS块存储服务,目前仅给虚机挂载使用。Cinder包含以下三个主要组成部分APIservice:Cinder-api是主要服务接口,负责接受和处理外界的API请求,并将请求放入RabbitMQ队列,交由后端执行。Cinder目前提供VolumeAPIV2Schedulerservice:处理任务队列的任务,并根据预定策略选择合适的VolumeService节点来执行任务。目前版本的cinder仅仅提供了一个SimpleScheduler,该调度器选择卷数量

  10. swift分布式存储多节点部署

    1、机器192.168.1.211ProxyNode192.168.1.212StorageNode192.168.1.213StorageNode192.168.1.214StorageNode系统为SLES11sp12、配置软件源因为公司服务器无法连外网,所以配置局域网源和本地源来搭建环境上传ISO镜像文件到各台机器SLES-11-SP4-DVD-x86_64-GM-DVD1.iso每台机器挂

随机推荐

  1. 在airgapped(离线)CentOS 6系统上安装yum软件包

    我有一个CentOS6系统,出于安全考虑,它已经被空气泄漏.它可能从未连接到互联网,如果有,它很长时间没有更新.我想将所有.rpm软件包放在一个驱动器上,这样它们就可以脱机安装而无需查询互联网.但是,我在测试VM上遇到的问题是,即使指定了本地路径,yum仍然会挂起并尝试从在线存储库进行更新.另外,有没有办法使用yum-utils/yumdownloader轻松获取该包的所有依赖项和所有依赖项?目前

  2. centos – 命名在日志旋转后停止记录到rsyslog

    CentOS6.2,绑定9.7.3,rsyslog4.6.2我最近设置了一个服务器,我注意到在日志轮换后,named已停止记录到/var/log/messages.我认为这很奇怪,因为所有日志记录都是通过rsyslog进行的,并且named不会直接写入日志文件.这更奇怪,因为我在更新区域文件后命名了HUPed,但它仍然没有记录.在我停止并重新启动命名后,记录恢复.这里发生了什么?

  3. centos – 显示错误的磁盘大小

    对于其中一个磁盘,Df-h在我的服务器上显示错误的空白区域:Cpanel表明它只有34GB免费,但还有更多.几分钟前,我删除了超过80GB的日志文件.所以,我确信它完全错了.fdisk-l/dev/sda2也显示错误:如果没有格式化,我该怎么做才能解决这个问题?并且打开文件描述符就是它需要使用才能做到这一点.所以…使用“lsof”并查找已删除的文件.重新启动写入日志文件的服务,你很可能会看到空间可用.

  4. 如何在centos 6.9上安装docker-ce 17?

    我目前正在尝试在centOS6.9服务器上安装docker-ce17,但是,当运行yuminstalldocker-ce时,我收到以下错误:如果我用跳过的标志运行它我仍然得到相同的消息,有没有人知道这方面的方法?

  5. centos – 闲置工作站的异常负载平均值

    我有一个新的工作站,具有不寻常的高负载平均值.机器规格是:>至强cpu>256GB的RAM>4x512GBSSD连接到LSI2108RAID控制器我从livecd安装了CentOS6.564位,配置了分区,网络,用户/组,并安装了一些软件,如开发工具和MATLAB.在启动几分钟后,工作站负载平均值的值介于0.5到0.9之间.但它没有做任何事情.因此我无法理解为什么负载平均值如此之高.你能帮我诊断一下这个问题吗?

  6. centos – Cryptsetup luks – 检查内核是否支持aes-xts-plain64密码

    我在CentOS5上使用cryptsetupluks加密加密了一堆硬盘.一切都很好,直到我将系统升级到CentOS6.现在我再也无法安装磁盘了.使用我的关键短语装载:我收到此错误:在/var/log/messages中:有关如何装载的任何想法?找到解决方案问题是驱动器使用大约512个字符长的交互式关键短语加密.出于某种原因,CentOS6中的新内核模块在由旧版本创建时无法正确读取512个字符的加密密钥.似乎只会影响内核或cryptsetup的不同版本,因为在同一系统上创建和打开时,512字符的密钥将起作用

  7. centos – 大量ssh登录尝试

    22个我今天登录CentOS盒找到以下内容这是过去3天内的11次登录尝试.WTF?请注意,这是我从我的提供商处获得的全新IP,该盒子是全新的.我还没有发布任何关于此框的内容.为什么我会进行如此大量的登录尝试?是某种IP/端口扫描?基本上有4名匪徒,其中2名来自中国,1名来自香港,1名来自Verizon.这只发生在SSH上.HTTP上没有问题.我应该将罪魁祸首子网路由吗?你们有什么建议?

  8. centos – kswap使用100%的CPU,即使有100GB的RAM也可用

    >Linux内核是否应该足够智能,只需从内存中清除旧缓存页而不是启动kswap?

  9. centos – Azure将VM从A2 / 3调整为DS2 v2

    我正在尝试调整前一段时间创建的几个AzureVM,从基本的A3和标准A3到标准的DS2v2.我似乎没有能力调整到这个大小的VM.必须从头开始重建服务器会有点痛苦.如果它有所不同我在VM中运行CentOS,每个都有一个带有应用程序和操作系统的磁盘.任何人都可以告诉我是否可以在不删除磁盘的情况下删除VM,创建新VM然后将磁盘附加到新VM?

  10. centos – 广泛使用RAM时服务器计算速度减慢

    我在非常具体的情况下遇到服务器速度下降的问题.事实是:>1)我使用计算应用WRF>2)我使用双XeonE5-2620v3和128GBRAM(NUMA架构–可能与问题有关!

返回
顶部