这篇文章继上篇 MogileFS分布式文件系统安装与配置,有看不懂的地方请看看上一篇!
一,环境准备
实验共有5台主机,nginx做为前端反向代理接收用户请求;mysql作为存储mogilefs元数据的数据库;剩下的三台主机分别安装tracker+mogstore。环境为 CentOS6.6 i686,架构图如下所示:
工作流程:
①客户端向服务器端发送请求;
②nginx通过调度将请求转达给其中一个mogilefs的tracker;
③tracker接收到请求向后端数据库获取存储位置并返回给nginx;
④nginx接到存储位置再到mogilefs的存储上获取实际存储数据并返回给客户端;
二,安装
以下安装Mogilefs都是使用rpm包安装的,想使用在线安装请看上一节。
1,首先安装数据库节点(192.168.0.3),首先安装Mogilefs,再使用yum安装mysql,并配置好数据库:
<code> mysql> grant all on mogdb.* to 'moguser'@'192.168.%.%' identified by 'mogpass'; #授权moguser用户 mysql> grant all on *.* to 'root'@'192.168.%.%' identified by 'feiyu'; #授权root能远程连接所有主机 [root@localhost ~]# chown -R mogilefs.mogilefs /var/run/mogilefsd/ [root@localhost ~]# mogdbsetup --dbhost=192.168.0.47 --dbport=3306 --dbname=mogdb --dbrootuser=root --dbrootpass=feiyu --dbuser=moguser --dbpass=mogpass --yes </code>
查看初始化数据库是否成功了:
2,安装三个tracker&storged节点,使用的方法完全相同
第一个节点
<code> [root@node1 mogilefs]# mkdir /dfs/mogdata/dev1 -pv [root@node1 mogilefs]# chown -R mogilefs.mogilefs /dfs/mogdata/ /var/run/mogilefsd [root@node1 mogilefs]# cat mogilefsd.conf| grep -v '#' #将mogilefs配置文件作以下修改 daemonize = 1 pidfile = /var/run/mogilefsd/mogilefsd.pid db_dsn = DBI:mysql:mogdb:host=192.168.0.3 db_user = moguser db_pass = mogpass listen = 0.0.0.0:7001 conf_port = 7001 query_jobs = 10 delete_jobs = 1 replicate_jobs = 5 reaper_jobs = 1 [root@node1 mogilefs]# cat mogstored.conf | grep -v '#' #mogstored配置文件 maxconns = 10000 httplisten = 0.0.0.0:7500 mgmtlisten = 0.0.0.0:7501 docroot = /dfs/mogdata/ --------------------->文件存储位置 [root@node1 mogilefs]# service mogstored start [root@node1 mogilefs]# mogadm --trackers=192.168.0.47:7001 host add 192.168.0.47 --ip=192.168.0.47 --status=alive #把自己加进来 </code>
第二个节点
<code> [root@node2 mogilefs]# mkdir /dfs/mogdata/dev2 -pv [root@node2 mogilefs]# chown -R mogilefs.mogilefs /dfs/mogdata/ /var/run/mogilefsd #修改属主属组 将node1的mogilefsd.conf 和 mogstored.conf 复制到node2。 [root@node2 mogilefs]# mogadm --trackers=192.168.0.212:7001 host add 192.168.0.212 --ip=192.168.0.212 --status=alive #把自己加进来 [root@node2 mogilefs]# mogadm --trackers=192.168.0.212:7001 host list #此命令读取的是数据库中的数据 </code>
第三个节点
<code> [root@node3 mogilefs]# mkdir /dfs/mogdata/dev3 -pv [root@node3 mogilefs]# chown -R mogilefs.mogilefs /dfs/mogdata/ /var/run/mogilefsd #修改属主属组 将node1的mogilefsd.conf 和 mogstored.conf 复制到node3。 [root@node3 mogilefs]# mogadm --trackers=192.168.0.213:7001 host add 192.168.0.213 --ip=192.168.0.213 --status=alive #把自己加进来 [root@node3 mogilefs]# mogadm --trackers=192.168.0.213:7001 host list #此命令读取的是数据库中的数据 192.168.0.212 [1]: alive IP: 192.168.0.212:7500 192.168.0.213 [2]: alive IP: 192.168.0.213:7500 192.168.0.47 [3]: alive IP: 192.168.0.47:7500 </code>
然后在任意一个节点添加设备:
<code> [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 device add 192.168.0.47 1 [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 device add 192.168.0.212 2 #添加设备,任何一个tracker都行 [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 device add 192.168.0.213 3 [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 device list 192.168.0.212 [1]: alive used(G) free(G) total(G) weight(%) dev2: alive 4.781 11.665 16.446 100 192.168.0.213 [2]: alive used(G) free(G) total(G) weight(%) dev3: alive 4.763 11.684 16.446 100 192.168.0.47 [3]: alive used(G) free(G) total(G) weight(%) dev1: alive 9.423 7.023 16.446 100 </code>
添加域:
<code> [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 domain add images #添加域 [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 domain add files [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 class add images class0 --mindevcount=2 #在域下建立类,并指定最小副本数,使用多个类可以提高传输效率 [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 class add images class1 --mindevcount=2 [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 class add images class2 --mindevcount=2 [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 class add images class3 --mindevcount=2 [root@node1 mogdata]# mogadm --trackers=192.168.0.47:7001 class list domain class mindevcount replpolicy hashtype -------------------- -------------------- ------------- ------------ ------- files default 2 MultipleHosts() NONE images class0 2 MultipleHosts() NONE images class1 2 MultipleHosts() NONE images class2 2 MultipleHosts() NONE images class3 2 MultipleHosts() NONE images default 2 MultipleHosts() NONE </code>
3,安装nginx节点,nginx这个程序具有第三方模块mogilefs就可以实现将url转为存储设备中的fid文件,也可以将fid数据转为url.所以我们只需要基于http协议在浏览器上直接访问数据的url就可以直观的查看到数据文件了。nginx需要支持第三方模块的话需要自己编译nginx将第三方模块添加进来。模块可以在这 Nginx-mogilefs-module下载并有详细的使用说明。下面的安装过程使用 nginx-1.8.0.tar.gz和 nginx_mogilefs_module-1.0.4.tar.gz。
3,1、解决依赖关系
<code> [root@localhost ~]# yum groupinstall "Development Tools" "Server Platform Deveopment" -y [root@localhost ~]# yum install openssl-devel pcre-devel -y </code>
3,2、安装
首先添加用户nginx,实现以之运行nginx服务进程:
<code> [root@localhost ~]# groupadd -r nginx [root@localhost ~]# useradd -r -g nginx nginx </code>
接着开始编译和安装:
<code> [root@localhost ~]# ./configure \ --prefix=/usr \ --sbin-path=/usr/sbin/nginx \ --conf-path=/etc/nginx/nginx.conf \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --pid-path=/var/run/nginx/nginx.pid \ --lock-path=/var/lock/nginx.lock \ --user=nginx \ --group=nginx \ --with-http_ssl_module \ --with-http_flv_module \ --with-http_stub_status_module \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/tmp/nginx/client/ \ --http-proxy-temp-path=/var/tmp/nginx/proxy/ \ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \ --http-scgi-temp-path=/var/tmp/nginx/scgi \ --with-pcre \ --with-debug \ --add-module=/root/nginx/nginx_mogilefs_module-1.0.4 -------------------->模块路径 [root@localhost ~]# make && make install </code>
说明:
1、Nginx可以使用Tmalloc(快速、多线程的malloc库及优秀性能分析工具)来加速内存分配,使用此功能需要事先安装gperftools,而后在编译nginx添加–with-google_perftools_module选项即可。
2、如果想使用nginx的perl模块,可以通过为configure脚本添加–with-http_perl_module选项来实现,但目前此模块仍处于实验性使用阶段,可能会在运行中出现意外,因此,其实现方式这里不再介绍。如果想使用基于nginx的cgi功能,也可以基于FCGI来实现,具体实现方法请参照网上的文档。
3,3、为nginx提供SysV init脚本:
<code> 新建文件/etc/rc.d/init.d/nginx,内容如下: #!/bin/sh # # nginx - this script starts and stops the nginx daemon # # chkconfig: - 85 15 # description: Nginx is an HTTP(S) server, HTTP(S) reverse \ # proxy and IMAP/POP3 proxy server # processname: nginx # config: /etc/nginx/nginx.conf # config: /etc/sysconfig/nginx # pidfile: /var/run/nginx.pid # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 nginx="/usr/sbin/nginx" prog=$(basename $nginx) NGINX_CONF_FILE="/etc/nginx/nginx.conf" [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx lockfile=/var/lock/subsys/nginx make_dirs() { # make required directories user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` options=`$nginx -V 2>&1 | grep 'configure arguments:'` for opt in $options; do if [ `echo $opt | grep '.*-temp-path'` ]; then value=`echo $opt | cut -d "=" -f 2` if [ ! -d "$value" ]; then # echo "creating" $value mkdir -p $value && chown -R $user $value fi fi done } start() { [ -x $nginx ] || exit 5 [ -f $NGINX_CONF_FILE ] || exit 6 make_dirs echo -n $"Starting $prog: " daemon $nginx -c $NGINX_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { configtest || return $? stop sleep 1 start } reload() { configtest || return $? echo -n $"Reloading $prog: " killproc $nginx -HUP RETVAL=$? echo } force_reload() { restart } configtest() { $nginx -t -c $NGINX_CONF_FILE } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}" exit 2 esac </code>
而后为此脚本赋予执行权限:
<code> [root@localhost ~]# chmod +x /etc/rc.d/init.d/nginx </code>
添加至服务管理列表,并让其开机自动启动:
<code> [root@localhost ~]# chkconfig --add nginx [root@localhost ~]# chkconfig nginx on [root@localhost nginx-1.8.0]# service nginx configtest [root@localhost nginx-1.8.0]# mkdir /var/tmp/nginx/client/ -p </code>
而后就可以启动服务并测试了:
<code> [root@localhost ~]# service nginx start </code>
配置nginx可以支持mogilefs模块,在server块中添加下面的配置:
<code> location /files/ { mogilefs_tracker <font color="#FF0000">192.168.0.47:7001</font> ; #此处只使用一个节点 mogilefs_domain files; #反代files域中的文件 mogilefs_pass { proxy_pass <font color="#FF0000">$mogilefs_path</font>; proxy_hide_header Content-Type; proxy_buffering off; } </code>
开启负载均衡功能:
<code> upstream mogcluster { #定义upstream server 192.168.0.47:7001; server 192.168.0.212:7001; server 192.168.0.213:7001; } location /images/ { mogilefs_tracker <font color="#FF0000">mogcluster </font>; #此处使用upstream mogilefs_domain images; #使用images域 mogilefs_noverify on; #验证影响效率 #mogilefs_class default class0 class1 class2 class3; # mogilefs_pass { proxy_pass $mogilefs_path; proxy_hide_header Content-Type; proxy_buffering off; } } </code>
上传文件
<code> [root@node1 mogdata]# mogupload --trackers=192.168.0.47:7001 --domain=images --key="2.png" --file='/usr/share/backgrounds/default_1920x1440.png' [root@node1 mogdata]# mogupload --trackers=192.168.0.47:7001 --domain=images --key="1.png" --file='/usr/share/backgrounds/default.png' [root@node1 ~]# mogupload --trackers=192.168.0.47:7001 --domain=files --key='fstab.html' --file='/etc/fstab' </code>
然后再浏览器中测试,http://192.168.0.3/images/1.png
访问 :http://192.168.0.3/files/fstab.html
注意:上传文件时 –key不能使用 –key=”/images/2.png” ,因为nginx配置文件中直接定义了 location 为 /images/ .
如果想要将完整的URL传递到后端,则作如下配置:
<code> location ~* ^(/files/.*)$ { mogilefs_tracker 192.168.0.47:7001 ; mogilefs_domain files; mogilefs_noverify on; #验证影响效率 #mogilefs_class default class0 class1 class2 class3; # mogilefs_pass $1{ proxy_pass $mogilefs_path; proxy_hide_header Content-Type; proxy_buffering off; } </code>
则上传文件时的key也要使用 key=’/files/fstab.html’ ,然后再浏览器中访问 http://192.168.0.3/files/fstab.html也能显示文件。
获取状态信息
<code> [root@node1 ~]# mogstats --config=/etc/mogilefs/mogilefsd.conf [root@node1 ~]# mogstats --config=/etc/mogilefs/mogilefsd.conf --stats="domains" #只显示domain信息 Fetching statistics... (domains) Can't connect to data source '' because I can't work out what driver to use (it doesn't seem to contain a 'dbi:driver:' prefix and the DBI_DRIVER env var is not set) at /usr/bin/mogstats line 312 [root@node2 ~]# mogstats --config=/etc/mogilefs/mogilefsd.conf --stats="domains" Fetching statistics... (domains) Statistics for domains... domain class files -------------------- ----------- ---------- files default 2 images default 4 -------------------- ----------- ---------- done </code>