Nginx的代码是由一个核心和一系列的模块组成, 核心主要用于提供Web Server的基本功能,以及Web和Mail反向代理的功能;还用于启用网络协议,创建必要的运行时环境以及确保不同的模块之间平滑地进行交互。不过,大多跟协议相关的功能和某应用特有的功能都是由nginx的模块实现的。这些功能模块大致可以分为事件模块、阶段性处理器、输出过滤器、变量处理器、协议、upstream和负载均衡几个类别,这些共同组成了nginx的http功能。事件模块主要用于提供OS独立的(不同操作系统的事件机制有所不同)事件通知机制如kqueue或epoll等。协议模块则负责实现nginx通过http、tls/ssl、smtp、pop3以及imap与对应的客户端建立会话。
Nginx的核心模块为Main和Events,此外还包括标准HTTP模块、可选HTTP模块和邮件模块,其还可以支持诸多第三方模块。Main用于配置错误日志、进程及权限等相关的参数,Events用于配置IO模型,如epoll、kqueue、select或poll等,它们是必备模块。
Nginx的主配置文件由几个段组成,这个段通常也被称为nginx的上下文,每个段的定义格式如下所示。需要注意的是,其每一个指令都必须使用分号(;)结束,否则为语法错误。
<section> { <directive> <parameters>; }
一,全局块的配置
user username [groupname]; 指定运行worker进程的用户和组 worker_processes 4; worker进程的个数;通常其数值应该为CPU的物理核心数减1,默认为4 error_log /path/to/error_log level [ debug | info | notice | warn | error | crit | alert | emerg ]; 错误日志文件及其级别,默认为error级别,错误日志在全局级别,访问日志在虚拟主机级别,调试时可以使用debug级别,但要求在编译时必须使用–with-debug启用debug功能; pid /path/to/pidfile_name; 指定nginx的pid文件
nginx安装完成后,全局块默认只有这几个配置。
二,events块的配置
events { use epoll; 定义使用的事件驱动模型,建议让nginx自动选择,默认使用epoll worker_connections 1024;每个worker能够并发响应最大请求数,默认为1024 }
nginx 在events只配置此两个选项;
下面介绍 http 块的配置,http块的配置比较多,用法也比较灵活,以下是比较常用的配置。
http { ..... server { ...... location { ...... } } server { ...... location { ...... } } }
三,nginx虚拟主机使用
nginx和httpd虚拟主机使用的实现一样,都有基于端口,IP,域名的虚拟机主机。要为nginx配置虚拟主机,只需在http块中额外定义一个server块。
1,配置基于端口的虚拟主机时,只需修改listen中的端口号。
http{ server { listen 80; server_name a.com; 。。。。。。 } server { listen 8080; server_name b.org; 。。。。。。 } }
2,配置基于域名的虚拟主机
http{ server { listen 80; server_name a.com; 。。。。。。 } server { listen 80; server_name b.org; 。。。。。。 } }
3,配置基于IP的虚拟主机
http{ server { listen 192.168.1.110:80; server_name a.com; 。。。。。。 } server { listen 192.168.1.111:80; server_name b.org; 。。。。。。 } }
四、访问控制access模块(基于IP)
自上而下进行检查,可以在 http, server, location, limit_except 中配置,与httpd中的配置类似。
语法: allow|deny address | CIDR | unix: | all; location /{ root /usr/html ; index index.html index.htm; allow 172.16.100.8; allow 192.168.0.0/16; allow 10.1.1.0/16; deny all; }
五,用户认证示例
此配置是为了禁止外人访问特定页面时进行的限制,需要借助于httpd的htpasswd创建密码文件。
语法: auth_basic string | off; auth_basic_user_file file;
例: location /server { root /usr/html ; access_log off; #访问日志 auth_basic "amdin area"; #认证时的说明 auth_basic_user_file /etc/nginx/.htpasswd; #密码文件所在位置 }
六、建立下载站点autoindex模块
此模块为了便于用户下载站的文件等,类似于ftp的功能,本站的ftp依是如此。
location / { root html/ftp; allow all; autoindex on; #激活/关闭自动索引 autoindex_exact_size on; #设定索引时文件大小的单位(B,KB, MB 或 GB) autoindex_localtime on; #开启以本地时间来显示文件时间的功能。默认为关(GMT时间) }
七、防盗链
防盗链是为了防止别的网站盗用自己网站的图片视频等资源,并给自己网站的服务器造成额外的负担。nginx使用valid_referers 指令进行配置防盗链规则。
(1) 定义合规的引用
valid_referers none | blocked | server_names | string …;
none : 检测referer头域不存在的情况
blocked:检测referer头域的值被防火墙或者代理服务器删除或者伪装的情况。这种情况下该头域的值不以http或者https开头。
server_names : 设置一个或多个URL,可以使用统配符 * 。
(2) 拒绝不合规的引用
if ($invalid_referer) { rewrite ^/.*$ http://www.b.org/403.html }
示例:
location ~* \.(gif|jpg|png|swf|flv|rar|zip)$ { root /usr/html/htdocs; valid_referers none blocked server_names *.tianfeiyu.com; if ($invalid_referer){ rewrite ^/ http://www.tianfeiyu.com/wp-content/uploads/2016/01/QQ图片20160131111643.png; } }
八、URL rewrite
rewrite用于实现URI的重写,需要pcre的支持。
rewrite指令执行顺序:
1.执行server块的rewrite指令(这里的块指的是server关键字后{}包围的区域,其它xx块类似)
2.执行location匹配
3.执行选定的location中的rewrite指令
如果其中某步URI被重写,则重新循环执行1-3,直到找到真实存在的文件
如果循环超过10次,则返回500 Internal Server Error错误.
rewrite regex replacement [flag];
location / { root /www/b.org; #每次被rewrite匹配并结束后,都要重新发送请求并再次到location中进行匹配,若有break则直接响应,不再发送新请求 rewrite ^/images/(.*)$ /imgs/$1 last; }
请求顺序:http://www.b.org/images/a.jpg –> http://www.b.org/imgs/a.jpg
last: 一旦被当前规则匹配并重写后立即停止检查后续的其它rewrite的规则,而后通过重写后的规则重新发起请求;
break: 一旦被当前规则匹配并重写后立即停止后续的其它rewrite的规则,而后继续由nginx进行后续操作;
redirect: 返回302临时重定向;
permanent: 返回301永久重定向;
location /download/ {
rewrite ^(/download/.*)/media/(.*)\..*$ $1/media/$2.mp3 break;
}
此处若为last,则nginx最多循环10次,超出之后会返回500错误;
注意:一般将rewrite写在location中时都使用break标志,或者将rewrite写在if上下文中;
rewrite_log on|off; 是否把重写过程记录在错误日志中;默认为notice级别;默认为off;
return code;用于结束rewrite规则,并且为客户返回状态码;可以使用的状态码有204, 400, 402-406, 500-504等;
九,启用server_status
server_status是nginx内建的一个状态页,用以了解nginx的状态。
location /status { stub_status on; access_log off; auth_basic "amdin area"; auth_basic_user_file /etc/nginx/.htpasswd; allow 192.168.0.0/16; deny all; }
Active connections: 2
server accepts handled requests
237811 172308 244762
Reading: 0 Writing: 1 Waiting: 1
其意义分别为:
active connections – 活跃的连接数量
accepts:接受连接数;handled:已经建立的连接数;requests :通过建立的连接处理的请求的总数;
Reading:正在接受的新连接数;Writing:响应数据到客户端的数量;Waiting:长连接中处于活动状态的个数
十,压缩功能
nginx 将响应报文发送至客户端之前可以启用压缩功能,这能够有效地节约带宽,并提高响应至客户端的速度。通常编译nginx默认会附带gzip压缩的功能,因此,可以直接启用之。
http { gzip on; gzip_min_length 1024; #响应也数据上限 gzip_buffers 4 16k; #缓存空间大小 gzip_comp_level 2; #定义压缩等级,默认为6,压缩比越大,效率越低 gzip_types text/plain application/x-javascript application/xml text/css; #压缩文件类型 gzip_vary on; #启用压缩标识 gzip_static on; #静态压缩 }
gzip_proxied指令可以定义对客户端请求哪类对象启用压缩功能,如“expired”表示对由于使用了expire首部定义而无法缓存的对象启用压缩功能,其它可接受的值还有“no-cache”、“no-store”、“private”、“no_last_modified”、“no_etag”和“auth”等,而“off”则表示关闭压缩功能。
十一,配置反向代理
Nginx通过proxy模块实现反向代理功能。在作为web反向代理服务器时,nginx负责接收客户请求,并能够根据URI、客户端参数或其它的处理逻辑将用户请求调度至上游服务器上(upstream server)。nginx在实现反向代理功能时的最重要指令为proxy_pass,它能够将location定义的某URI代理至指定的上游服务器(组)上。如下面的示例中,location的/uri将被替换为上游服务器上的/newuri。
location /uri { proxy_pass http://www.feiyu.com:8080/newuri; }
不过,这种处理机制中有两个例外。一个是如果location的URI是通过模式匹配定义的,其URI将直接被传递至上游服务器,而不能为其指定转换的另一个URI。例如下面示例中的/forum将被代理为http://www.feiyu.com/forum。
location ~ ^/forum { proxy_pass http://www.feiyu.com; proxy_set_header X-Real-IP $remote_addr; }
将URI传递给后端服务器后,后端服务器日志中记录的访问IP为代理服务器的IP,要在后端服务器中记录真实IP,需要修改日志记录格式,将%h改为 %{X-Real-IP}i ,i表示引用某个参数的值
#LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined LogFormat "%{X-Real-IP}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
第二个例外是,如果在loation中使用的URL重定向,那么nginx将使用重定向后的URI处理请求,而不再考虑上游服务器上定义的URI。如下面所示的例子中,传送给上游服务器的URI为/index.php?page=
location / { rewrite /(.*)$ /index.php?page=$1 break; proxy_pass http://localhost:8080/index; }
proxy模块的指令
proxy模块的可用配置指令非常多,它们分别用于定义proxy模块工作时的诸多属性,如连接超时时长、代理时使用http协议版本等。下面对常用的指令做一个简单说明。
proxy_connect_timeout:nginx将一个请求发送至upstream server之前等待的最大时长;
proxy_cookie_domain:将upstream server通过Set-Cookie首部设定的domain属性修改为指定的值,其值可以为一个字符串、正则表达式的模式或一个引用的变量;
proxy_cookie_path: 将upstream server通过Set-Cookie首部设定的path属性修改为指定的值,其值可以为一个字符串、正则表达式的模式或一个引用的变量;
proxy_hide_header:设定发送给客户端的报文中需要隐藏的首部;
proxy_pass:指定将请求代理至upstream server的URL路径;
proxy_set_header:将发送至upsream server的报文的某首部进行重写;
proxy_redirect:重写location并刷新从upstream server收到的报文的首部;
proxy_send_timeout:在连接断开之前两次发送至upstream server的写操作的最大间隔时长;
proxy_read_timeout:在连接断开之前两次从接收upstream server接收读操作的最大间隔时长;
实例1:
server{ ...... location /server/ { ....... proxy_pass http://192.168.1.111; } }
server{ ...... location /server/ { ....... proxy_pass http://192.168.1.111/loc/; } }
对于这两个配置,当客户端请求http://www.feiyu.com/server/时,第一个由于proxy_pass的URL中不包含uri,所以请求被转发到http://192.168.1.111/server/;但是第二个proxy_pass的URL中包含了uri “/loc/”,所以请求会被转发到http://192.168.1.111/loc/。所以,在使用proxy_pass指令时,如果不想改变原地址中的URI,就不要再URL中配置URI。
实例2:
server{ ...... location /server/ { ....... #配置1 proxy_pass http://192.168.1.111; #配置2 proxy_pass http://192.168.1.111/; } }
当客户端清求URL为http://www.feiyu.com/server/时,由于配置的URL未包含URI,nginx服务器不会改变原地址URI;当使用配置2时,由于配置的URL包含URI“/”,nginx服务器会将原地址的URI替换为“/”。
十二,upstream模块
与proxy模块结合使用的模块中,最常用的当属upstream模块。upstream模块可定义一个新的上下文,它包含了一组upstream服务器,这些服务器可能被赋予了不同的权重、不同的类型甚至可以基于维护等原因被标记为down。
upstream模块的负载均衡算法主要有三种,轮调(round-robin)、ip哈希(ip_hash)和最少连接(least_conn)三种。
ip_hash:基于客户端IP地址完成请求的分发,它可以保证来自于同一个客户端的请求始终被转发至同一个upstream服务器;
keepalive:每个worker进程为发送到upstream服务器的连接所缓存的个数;
least_conn:最少连接调度算法;
server:定义一个upstream服务器的地址,还可包括一系列可选参数,如:
weight:权重;
max_fails:最大失败连接次数,失败连接的超时时长由fail_timeout指定;
fail_timeout:等待请求的目标服务器发送响应的时长;
backup:用于fallback的目的,所有服务均故障时才启动此服务器;
down:手动标记其不再处理任何请求;
例,使用upstream并定义error页面,当upstream中的后端服务器都fail时,则返回到127.0.0.1:8080下。
upstream webservs{ server 192.168.1.116 weight=1 max_fails=2 fail_timeout=2; server 192.168.1.109 weight=1 max_fails=2 fail_timeout=2; server 127.0.0.1:8080 backup; } server { listen 8080; server_name localhost; location /{ root /web/errorpage; index index.html; } }
为了保持session信息让同一客户端定向到同一服务器,使用ip_hash算法,在ip_hash情况下不让使用backup,也不能定义weight。但是使用ip_hash会破坏负载均衡的效果。
upstream webservs{ ip_hash; server 192.168.1.116 max_fails=2 fail_timeout=2; server 192.168.1.109 max_fails=2 fail_timeout=2; #server 127.0.0.1:8080 backup; }
此外,upstream模块也能为非http类的应用实现负载均衡,如下面的示例定义了nginx为memcached服务实现负载均衡之目的。
upstream memcachesrvs { server 172.16.100.6:11211; server 172.16.100.7:11211; } server { location / { set $memcached_key "$uri?$args"; memcached_pass memcachesrvs; error_page 404 = @fallback; } location @fallback { proxy_pass http://127.0.0.1:8080; } }
十三,if判断语句
在location中使用if语句可以实现条件判断,其通常有一个return语句,且一般与有着last或break标记的rewrite规则一同使用。但其也可以按需要使用在多种场景下,需要注意的是,不当的使用可能会导致不可预料的后果。
location / { if ($request_method == “PUT”) { proxy_pass http://upload.feiyu.com:8080; } if ($request_uri ~ "\.(jpg|gif|jpeg|png)$") { proxy_pass http://imageservers; break; } } upstream imageservers { server 172.16.100.8:80 weight 2; server 172.16.100.9:80 weight 3; }
if语句中的判断条件
正则表达式匹配:
==: 等值比较;
~:与指定正则表达式模式匹配时返回“真”,判断匹配与否时区分字符大小写;
~*:与指定正则表达式模式匹配时返回“真”,判断匹配与否时不区分字符大小写;
!~:与指定正则表达式模式不匹配时返回“真”,判断匹配与否时区分字符大小写;
!~*:与指定正则表达式模式不匹配时返回“真”,判断匹配与否时不区分字符大小写;
文件及目录匹配判断:
-f, !-f:判断指定的路径是否为存在且为文件;
-d, !-d:判断指定的路径是否为存在且为目录;
-e, !-e:判断指定的路径是否存在,文件或目录均可;
-x, !-x:判断指定路径的文件是否存在且可执行;
十四,启用缓存
1, 缓冲区设定
nginx在默认情况下在将其响应给客户端之前会尽可能地接收来upstream服务器的响应报文,它会将这些响应报文存暂存于本地并尽量一次性地响应给客户端。然而,在来自于客户端的请求或来自upsteam服务器的响应过多时,nginx会试图将之存储于本地磁盘中,这将大大降低nginx的性能。因此,在有着更多可用内存的场景中,应该将用于暂存这些报文的缓冲区调大至一个合理的值。
proxy_buffer_size size:设定用于暂存来自于upsteam服务器的第一个响应报文的缓冲区大小;
proxy_buffering on|off:启用缓冲upstream服务器的响应报文,否则,如果proxy_max_temp_file_size指令的值为0,来自upstream服务器的响应报文在接收到的那一刻将同步发送至客户端;一般情况下,启用proxy_buffering并将proxy_max_temp_file_size设定为0能够启用缓存响应报文的功能,并能够避免将其缓存至磁盘中;
proxy_buffers 8 4k|8k:用于缓冲来自upstream服务器的响应报文的缓冲区大小;
2 ,缓存
nginx做为反向代理时,能够将来自upstream的响应缓存至本地,并在后续的客户端请求同样内容时直接从本地构造响应报文。
proxy_cache zone|off:定义一个用于缓存的共享内存区域,其可被多个地方调用;缓存将遵从upstream服务器的响应报文首部中关于缓存的设定,如 “Expires”、”Cache-Control: no-cache”、 “Cache-Control: max-age=XXX”、”private”和”no-store” 等,但nginx在缓存时不会考虑响应报文的”Vary”首部。为了确保私有信息不被缓存,所有关于用户的私有信息可以upstream上通过”no-cache” or “max-age=0″来实现,也可在nginx设定
proxy_cache_key:设定在存储及检索缓存时用于“键”的字符串,可以使用变量为其值,但使用不当时有可能会为同一个内容缓存多次;另外,将用户私有信息用于键可以避免将用户的私有信息返回给其它用户;
proxy_cache_lock:启用此项,可在缓存未命令中阻止多个相同的请求同时发往upstream,其生效范围为worker级别;
proxy_cache_lock_timeout:proxy_cache_lock功能的锁定时长;
proxy_cache_min_uses:某响应报文被缓存之前至少应该被请求的次数;
proxy_cache_path:定义一个用于保存缓存响应报文的目录,及一个保存缓存对象的键及响应元数据的共享内存区域(keys_zone=name:size),其可选参数有:
levels:每级子目录名称的长度,有效值为1或2,每级之间使用冒号分隔,最多为3级;
inactive:非活动缓存项从缓存中剔除之前的最大缓存时长;
max_size:缓存空间大小的上限,当需要缓存的对象超出此空间限定时,缓存管理器将基于LRU算法对其进行清理;
loader_files:缓存加载器(cache_loader)的每次工作过程最多为多少个文件加载元数据;
loader_sleep:缓存加载器的每次迭代工作之后的睡眠时长;
loader_threashold:缓存加载器的最大睡眠时长;
例如: proxy_cache_path /data/nginx/cache/one levels=1 keys_zone=one:10m;
proxy_cache_use_stale:在无法联系到upstream服务器时的哪种情形下(如error、timeout或http_500等)让nginx使用本地缓存的过期的缓存对象直接响应客户端请求;其格式为:
proxy_cache_use_stale error | timeout | invalid_header | updating | http_500 | http_502 | http_503 | http_504 | http_404 | off
proxy_cache_valid [ code …] time:用于为不同的响应设定不同时长的有效缓存时长,例如:proxy_cache_valid 200 302 10m;
proxy_cache_methods [GET HEAD POST]:为哪些请求方法启用缓存功能;
proxy_cache_bypass string:设定在哪种情形下,nginx将不从缓存中取数据;例如:
proxy_cache_bypass $cookie_nocache $arg_nocache $arg_comment;
proxy_cache_bypass $http_pragma $http_authorization;
例:
http{ 。。。。。。 upstream websrvs { server 172.16.100.11 weight=1; server 172.16.100.12 weight=1; server 127.0.0.1:8080 backup; } proxy_cache_path /nginx/cache/first levels=1:2 keys_zone=first:20m max_size=1G; add_header X-Cache "$upstream_cache_status from $server_addr"; #显示缓存从哪个服务器命中 location / { proxy_pass http://webservs; proxy_set_header X-Real-IP $remote_addr; proxy_cache first; proxy_cache_valid 200 10m; proxy_cache_valid any 1m; } }
十五,nginx限速配置
nginx的限速功能通过limit_zone、limit_conn和limit_rate指令进行配置。首先需要在http上下文配置一个limit_zone,然后在需要的地方使用limit_conn和limit_rate 进行限速设置。下面是一个简单的例子。
http { limit_conn_zone $binary_remote_addr zone=perip:10m; server { location /downloads/ { limit_conn perip 1; limit_rate 50k; } } }
说明:
limit_zone:语法格式“limit_req_zone $variable zone=name:size rate=rate;”,实现针对每个IP定义一个存储session状态的容器。这个示例中定义了一个名叫first的10m大小的容器,这个名字会在后面的limit_conn中使用。
limit_conn first 1; 限制在first中记录状态的每个IP只能发起一个并发连接。
limit_rate 50k; 对每个连接限速50k. 注意,这里是对连接限速,而不是对IP限速。如果一个IP允许三个并发连接,那么这个IP就是限速为limit_rate×3,在设置的时候要根据自己的需要做设置调整,要不然会达不到自己希望的目的。
限制连接数的配置如下所示。
limit_conn_zone $binary_remote_addr zone=perip:10m; limit_conn_zone $server_name zone=perserver:10m; server { ... limit_conn perip 10; limit_conn perserver 100; }
十六,nginx实现读写分离
使用nginx实现读写分离时,nginx作为代理服务器,将文件上传至upstream中特定的服务器,upstream 端的服务器使用httpd,并且需要启用dav功能。
配置nginx端:
http{ ...... location / { proxy_pass http://webservs; if($request_method = "PUT" ){ proxy_pass http://192.168.1.109; } } }
在允许上传的服务器的Directory中启用上传功能:
LoadModule dav_module modules/mod_dav.so LoadModule dav_fs_module modules/mod_dav_fs.so #这两个模块需要启用,默认为启用 <Directory "/var/www/html"> Dav on #启用上传 ...... </Directory>
[root@localhost html]# service httpd reload [root@localhost html]# chown -R apache.apache /var/www/html/ [root@localhost html]# curl -T /etc/issue 192.168.1.117 #上传文件 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 0 47 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN"> <html><head> <title>201 Created</title> </head><body> <h1>Created</h1> <p>Resource /issue has been created.</p> <hr /> <address>Apache/2.2.15 (CentOS) Server at webservs Port 80</address> </body></html> 100 301 127 254 0 47 4527 837 --:--:-- --:--:-- --:--:-- 4618
然后使用rsync+inotify或者sersync+inotify同步upstream中的其他服务器。