CentOS下使用Varnish为网站加速

1 varnish概述
2 安装varnish
3 varnish 缓存原理
4 实战:缓存一个网站
5 实战:使用varnish缓存多个网站

1 varnish概述

Varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid,性能居然比以前更好。

Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一,他认为现在的计算机比起1975年已经复杂许多。在1975年时,储存媒介只有两种:内存与硬盘。但现在计算 机系统的内存除了主存外,还包括了cpu内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以得知这些情况,所以这部份的工作应该交给操作系统处理,这就是 Varnish cache设计架构。

监听端口号: 6081
官方网站:
https://www.varnish-cache.org/
在这里插入图片描述
下载:
http://varnish-cache.org/releases/index.html
在这里插入图片描述
1 varnish基础概念详解
1、比起squid更加轻量级,大致有以下几个特点:
2、可以基于内存缓存,也可以在磁盘上缓存
3、如果期望内存大小超过几十个G,比如图片服务器,纯粹使用内存,性能未必好,这时候可以使用磁盘进行缓存,或使用SSD X 2 做RAID1避免磁盘损坏,在实现随机访问上 ssd硬盘要比机械硬盘要好的多,如果必须要缓存在磁盘上还是建议使用ssd磁盘
4、可以利用虚拟内存方式,IO性能会非常好
5、支持设置0-60秒 精确缓存时间

2 支持VCL
其配置是通过vcl编程语言来完成的。 其配置需要先转换成C代码,所以使用vcl所写的配置,要先转换成C语言代码,因此要依赖于GCC 临时的编译vcl配置的,编译完之后才能运行起来
注: Varnish Configuration Language - VCL(varnish配置语言-VCL)。
Varnish使用区域配置语言,这种语言叫做“VCL”(varnish configuration language),在执行vcl时,varnish就把VCL转换成二进制代码。
VCL文件被分为多个子程序,不同的子程序在不同的时间里执行,比如一个子程序在接到请求时执行,另一个子程序在接收到后端服务器传送的文件时执行。

3 独特的日志存储及管理机制
日志既然保存在内存中,日志可以供多个应用程序所访问,所以一般查看命中率,当前请求有多少get post 方法等等,都需使用专用的工具才可以查看,比如varnishshtopvarnishlog 等命令工具用来查看日志信息

4 支持使用varnish状态引擎
通过巧妙的状态引擎的设计完成不同的引擎对用户的请求和缓存代理机制进行处理,用配置文件为状态引擎提供状态法则,完成缓存处理、完成代理处理等等

varnish 缓存原理

1 varnish缓存数据机制:
在这里插入图片描述
VCL处理流程图
在这里插入图片描述
处理过程大致分为如下几个步骤:
(1)Receive状态,也就是请求处理的入口状态,根据VCL规则判断该请求应该是Pass或Pipe,或者进入Lookup(本地查询)。
(2)Lookup状态,在缓存中查找用户请求的对象,如果缓存中没有其请求的对象,后续操作很可能会将其请求的对象进行缓存;进入此状态后,会在hash表中查找数据,若找到,则进入Hit(命令中)状态,否则进入miss(没命中)状态。
(3)Pass状态,在此状态下,会进入后端请求,即进入fetch取状态。
(4)Fetch状态,在Fetch取状态下,对请求,进行后端的获取,发送请求,获得数据,并进行本地的存储。
(5)Deliver 提供状态, 将获取到的数据发送给客户端,然后完成本次请求。
注:
pass:绕过缓存,即不从缓存中查询内容或不将内容存储至缓存中;
pipe:不对客户端进行检查或做出任何操作,而是在客户端与后端服务器之间建立专用“管道”,并直接将数据在二者之间进行传送;此时,keep-alive连接中后续传送的数据也都将通过此管道进行直接传送,并不会出现在任何日志中;

总结: 用户通过varnish加速时,有4线路可以获得数据。
在这里插入图片描述

3 安装varnish

1、安装varnish, 将上传varnish软件包

63 ~]# rpm -ivh varnish-libs-4.0.5-1.el7.x86_64.rpm 
63 ~]# rpm -ivh jemalloc-3.6.0-1.el7.x86_64.rpm
63 ~]#  rpm -ivh varnish-3.0.6-1.el6.x86_64.rpm 

1 vcl置文件:

63 ~]# ls /etc/varnish/default.vcl
varnish主配置文件:
63 ~]# vim /etc/varnish/varnish.params

启varnish服务:
63 ~]# systemctl start varnish

实战:缓存一个网站

实战:配置xuegod63成为 varnish服务器加速xuegod64 web服务器
通过CDN加速WEB网站
网宿,蓝讯
智能DNS

1 实战:配置xuegod63成为 varnish服务器

63 ~]# vim /etc/varnish/default.vcl 
###配置一个后端服务器
改:
16  backend default {
  17   .host = "127.0.0.1";
  18   .port = "80";
  19  }
为:
backend web1 {
  .host = "192.168.1.64";
  .port = "80";
}
###查看缓存命中情况
在:
90 # sub vcl_deliver {
91 # }
追加:

sub vcl_deliver {
if (obj.hits > 0) {
       set resp.http.X-Cache = "HIT from " + req.http.host;
        set resp.http.X-Cache-Hits = obj.hits;
    } else {
       set resp.http.X-Cache = "MISS from " + req.http.host;
    }
   return (deliver);
   }

保存退出。

2、配置varnish服务端口

63 ~]# vim /etc/varnish/varnish.params
改:
66 VARNISH_LISTEN_PORT=6081
为:
VARNISH_LISTEN_PORT=80

测试源站点:
在浏览器中访问:http://192.168.1.64/

测试加速:
在浏览器中访问:http://192.168.1.63/
在这里插入图片描述
能够正常访问,说明代理设置成功。

5 测试缓存命中:加粗样式
扩展:curl命令
curl是通过url语法在命令行下上传或下载文件的工具软件,它支持http,https,ftp,ftps,telnet等多种协议,常被用来抓取网页和监控Web服务器状态。
参数:
-I只取http响应头的信息,不取网页内容

例:

64 src]# curl -I 192.168.1.64  #在xuegod63上查看xuegod64开启动的web服务器类型
HTTP/1.1 200 OK
Date: Tue, 23 Jan 2018 07:55:44 GMT
Server: Apache/2.4.6 (CentOS)
Last-Modified: Tue, 23 Jan 2018 07:54:01 GMT
ETag: "d-5636cd999c5e4"
Accept-Ranges: bytes
Content-Length: 13
Content-Type: text/html; charset=UTF-8

实例2:测试缓存命中

63 ~]# curl -I 192.168.1.63
HTTP/1.1 200 OK
Date: Wed, 07 Feb 2018 14:00:49 GMT
Server: Apache/2.4.6 (CentOS)
Last-Modified: Wed, 07 Feb 2018 13:55:00 GMT
ETag: "d-5649fa431c0cb"
Content-Length: 13
Content-Type: text/html; charset=UTF-8
X-Varnish: 9
Age: 0
Via: 1.1 varnish-v4
X-Cache: MISS from 192.168.1.63	//表示没有命中
Connection: keep-alive

63 ~]# curl -I 192.168.1.63
HTTP/1.1 200 OK
Date: Tue, 23 Jan 2018 07:54:50 GMT
Server: Apache/2.4.6 (CentOS)
Last-Modified: Tue, 23 Jan 2018 07:54:01 GMT
ETag: "d-5636cd999c5e4"
Content-Length: 13
Content-Type: text/html; charset=UTF-8
X-Varnish: 11 6
Age: 125
Via: 1.1 varnish-v4
X-Cache: HIT from 192.168.1.63		//表示命中
X-Cache-Hits: 11
Connection: keep-alive

实战:使用varnish缓存多个网站

1 实战:使用varnish加速多个不同域名站点的web服务器
配置64和62为web服务器
64之前已经配置成web服务器

2 配置62为web2服务器

62 ~]# yum install httpd -y
62 ~]# echo 192.168.1.62 > /var/www/html/index.html                                                                                         
62 ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.62  xuegod62.cn
62 ~]# systemctl start httpd

3 配置xuegod63 上的varnish服务器:

63 ~]# vim /etc/varnish/default.vcl
改:
backend web1 {
  .host = "192.168.1.64";
  .port = "80";
}
为:
backend web1 {
  .host = "192.168.1.64";
  .port = "80";
}
backend web2 {
  .host = "192.168.1.62";
  .port = "80";
}

#当访问www.xuegod.cn域名时从web1上取数据,访问bbs.xuegod.cn域名时到web2取数据
63 ~]# vim /etc/varnish/default.vcl #在sub vcl_deliver 处定义以下内容:

sub vcl_recv {
if (req.http.host ~ "(?i)^(www.)?xuegod.cn$") {
        set req.http.host = "www.xuegod.cn";
        set req.backend_hint = web1;
      } elsif (req.http.host ~ "(?i)^bbs.xuegod.cn$") {
            set req.backend_hint = web2;
    return(hash);
  }
}

4 重新加载varnish配置文件:

[root@xuegod63 ~]# systemctl reload varnish

测试:网页访问 www.xuegod.cn 和 bbs.xuegod.cn则会显示不同的内容。

在62上测试:

62 ~]# vim /etc/hosts   #添加hosts文件
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.62  62.cn
192.168.1.63  www.xuegod.cn
192.168.1.63  bbs.xuegod.cn

在这里插入图片描述

62 ~]# yum install elinks -y
62 ~]# elinks www.xuegod.cn --dump
   192.168.1.64
[62 ~]# elinks bbs.xuegod.cn --dump
   192.168.1.62

总结:
14.1 varnish概述
14.2 安装varnish
14.3 varnish 缓存原理
14.4 实战:缓存一个网站
14.5 实战:使用varnish缓存多个网站

参考链接:

使用Varnish为网站加速

热门文章

暂无图片
编程学习 ·

那些年让我们目瞪口呆的bug

程序员一生与bug奋战,可谓是杀敌无数,见怪不怪了!在某知识社交平台中,一个“有哪些让程序员目瞪口呆的bug”的话题引来了6700多万的阅读,可见程序员们对一个话题的敏感度有多高。 1、麻省理工“只能发500英里的邮件” …
暂无图片
编程学习 ·

redis的下载与安装

下载redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz解压redis tar -zxvf redis-5.0.0.tar.gz编译 make安装 make install快链方便进入redis ln -s redis-5.0.0 redis
暂无图片
编程学习 ·

《大话数据结构》第三章学习笔记--线性表(一)

线性表的定义 线性表:零个或多个数据元素的有限序列。 线性表元素的个数n定义为线性表的长度。n为0时,为空表。 在比较复杂的线性表中,一个数据元素可以由若干个数据项组成。 线性表的存储结构 顺序存储结构 可以用C语言中的一维数组来…
暂无图片
编程学习 ·

对象的扩展

文章目录对象的扩展属性的简洁表示法属性名表达式方法的name属性属性的可枚举性和遍历可枚举性属性的遍历super关键字对象的扩展运算符解构赋值扩展运算符AggregateError错误对象对象的扩展 属性的简洁表示法 const foo bar; const baz {foo}; baz // {foo: "bar"…
暂无图片
编程学习 ·

让程序员最头疼的5种编程语言

世界上的编程语言,按照其应用领域,可以粗略地分成三类。 有的语言是多面手,在很多不同的领域都能派上用场。大家学过的编程语言很多都属于这一类,比如说 C,Java, Python。 有的语言专注于某一特定的领域&…
暂无图片
编程学习 ·

写论文注意事项

参考链接 给研究生修改了一篇论文后,该985博导几近崩溃…… 重点分析 摘要与结论几乎重合 这一条是我见过研究生论文中最常出现的事情,很多情况下,他们论文中摘要部分与结论部分重复率超过70%。对于摘要而言,首先要用一小句话引…
暂无图片
编程学习 ·

安卓 串口开发

上图: 上码: 在APP grable添加 // 串口 需要配合在项目build.gradle中的repositories添加 maven {url "https://jitpack.io" }implementation com.github.licheedev.Android-SerialPort-API:serialport:1.0.1implementation com.jakewhart…
暂无图片
编程学习 ·

2021-2027年中国铪市场调研与发展趋势分析报告

2021-2027年中国铪市场调研与发展趋势分析报告 本报告研究中国市场铪的生产、消费及进出口情况,重点关注在中国市场扮演重要角色的全球及本土铪生产商,呈现这些厂商在中国市场的铪销量、收入、价格、毛利率、市场份额等关键指标。此外,针对…
暂无图片
编程学习 ·

Aggressive cows题目翻译

描述&#xff1a; Farmer John has built a new long barn, with N (2 < N < 100,000) stalls.&#xff08;John农民已经新建了一个长畜棚带有N&#xff08;2<N<100000&#xff09;个牛棚&#xff09; The stalls are located along a straight line at positions…
暂无图片
编程学习 ·

剖析组建PMO的6个大坑︱PMO深度实践

随着事业环境因素的不断纷繁演进&#xff0c;项目时代正在悄悄来临。设立项目经理转岗、要求PMP等项目管理证书已是基操&#xff0c;越来越多的组织开始组建PMO团队&#xff0c;大有曾经公司纷纷建造中台的气质&#xff08;当然两者的本质并不相同&#xff0c;只是说明这个趋势…
暂无图片
编程学习 ·

Flowable入门系列文章118 - 进程实例 07

1、获取流程实例的变量 GET运行时/进程实例/ {processInstanceId} /变量/ {变量名} 表1.获取流程实例的变量 - URL参数 参数需要值描述processInstanceId是串将流程实例的id添加到变量中。变量名是串要获取的变量的名称。 表2.获取流程实例的变量 - 响应代码 响应码描述200指…
暂无图片
编程学习 ·

微信每天自动给女[男]朋友发早安和土味情话

微信通知&#xff0c;每天给女朋友发早安、情话、诗句、天气信息等~ 前言 之前逛GitHub的时候发现了一个自动签到的小工具&#xff0c;b站、掘金等都可以&#xff0c;我看了下源码发现也是很简洁&#xff0c;也尝试用了一下&#xff0c;配置也都很简单&#xff0c;主要是他有一…
暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法&#xff0c;在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较&#xff0c;从而确定目标数是在中间数的左边还是右边&#xff0c;将查…
暂无图片
编程学习 ·

项目经理,你有什么优势吗?

大侠被一个问题问住了&#xff1a;你和别人比&#xff0c;你的优势是什么呢? 大侠听到这个问题后&#xff0c;脱口而出道&#xff1a;“项目管理能力和经验啊。” 听者抬头看了一下大侠&#xff0c;显然听者对大侠的这个回答不是很满意&#xff0c;但也没有继续追问。 大侠回家…
暂无图片
编程学习 ·

nginx的负载均衡和故障转移

#注&#xff1a;proxy_temp_path和proxy_cache_path指定的路径必须在同一分区 proxy_temp_path /data0/proxy_temp_dir; #设置Web缓存区名称为cache_one&#xff0c;内存缓存空间大小为200MB&#xff0c;1天没有被访问的内容自动清除&#xff0c;硬盘缓存空间大小为30GB。 pro…
暂无图片
编程学习 ·

业务逻辑漏洞

身份认证安全 绕过身份认证的几种方法 暴力破解 测试方法∶在没有验证码限制或者一次验证码可以多次使用的地方&#xff0c;可以分为以下几种情况︰ (1)爆破用户名。当输入的用户名不存在时&#xff0c;会显示请输入正确用户名&#xff0c;或者用户名不存在 (2)已知用户名。…