摘要:分布式各個(gè)服務(wù)器之間互不通信,各自獨(dú)立存取數(shù)據(jù),不共享任何信息。服務(wù)器并不具有分布式功能,分布式部署取決于客戶端。緩存策略的緩存策略是最近最少使用到期失效策略。在內(nèi)存儲(chǔ)數(shù)據(jù)項(xiàng)時(shí),可以指定它在緩存的失效時(shí)間,默認(rèn)為永久。
一、Memcache
Memcache是一個(gè)高性能,分布式內(nèi)存對(duì)象緩存系統(tǒng),通過在內(nèi)存里維護(hù)一個(gè)統(tǒng)一的巨大的hash表,它能夠用來存儲(chǔ)各種格式的數(shù)據(jù),包括圖像、視頻、文件以及數(shù)據(jù)庫檢索的結(jié)果等。簡(jiǎn)單的說就是將數(shù)據(jù)調(diào)用到內(nèi)存中,然后從內(nèi)存中讀取,從而大大提高讀取速度。
Memcache特性:
(1)使用物理內(nèi)存作為緩存區(qū),可獨(dú)立運(yùn)行在服務(wù)器上。每個(gè)進(jìn)程最大2G,如果想緩存更多的數(shù)據(jù),可以開辟更多的Memcache進(jìn)程(不同端口)或者使用分布式Memcache進(jìn)行緩存,將數(shù)據(jù)緩存到不同的物理機(jī)或者虛擬機(jī)上。
(2)使用key-value的方式來存儲(chǔ)數(shù)據(jù),這是一種單索引的結(jié)構(gòu)化數(shù)據(jù)組織形式,可使數(shù)據(jù)項(xiàng)查詢時(shí)間復(fù)雜度為O(1)。
(3)協(xié)議簡(jiǎn)單:基于文本行的協(xié)議,直接通過telnet在memcached服務(wù)器上可進(jìn)行存取數(shù)據(jù)操作,簡(jiǎn)單,方便多種緩存參考此協(xié)議。
(4)基于Libevent高性能通信:Libevent是一套利用C開發(fā)的程序庫,它將BSD系統(tǒng)的kqueue,Linux系統(tǒng)的epoll等事件處理功能封裝成一個(gè)接口,與傳統(tǒng)的select相比,提高了性能。
(5)內(nèi)置的內(nèi)存管理方式:所有數(shù)據(jù)都保存在內(nèi)存中,存取數(shù)據(jù)比硬盤快,當(dāng)內(nèi)存滿后,通過LRU算法自動(dòng)刪除不使用的緩存,但沒有考慮數(shù)據(jù)的容災(zāi)問題,重啟服務(wù),所有數(shù)據(jù)會(huì)丟失。
(6)分布式:各個(gè)memcached服務(wù)器之間互不通信,各自獨(dú)立存取數(shù)據(jù),不共享任何信息。服務(wù)器并不具有分布式功能,分布式部署取決于Memcache客戶端。
(7)緩存策略:memcached的緩存策略是LRU(最近最少使用)到期失效策略。在memcached內(nèi)存儲(chǔ)數(shù)據(jù)項(xiàng)時(shí),可以指定它在緩存的失效時(shí)間,默認(rèn)為永久。當(dāng)memcached服務(wù)器用完分配的內(nèi)時(shí),失效的數(shù)據(jù)被首先替換,然后也是最近未使用的數(shù)據(jù)。在LRU中,memcached使用的是一種Lazy Expiration策略,自己不會(huì)監(jiān)控存入的key/vlue對(duì)是否過期,而是在獲取key值時(shí)查看記錄的時(shí)間戳,檢查key/value對(duì)空間是否過期,這樣可減輕服務(wù)器的負(fù)載。
Memcache的工作流程如下:
(1)先檢查客戶端的請(qǐng)求數(shù)據(jù)是否在memcached中,如有,直接把請(qǐng)求數(shù)據(jù)返回,不再對(duì)數(shù)據(jù)庫進(jìn)行任何操作。
(2) 如果請(qǐng)求的數(shù)據(jù)不在memcached中,就去查數(shù)據(jù)庫,把從數(shù)據(jù)庫中獲取的數(shù)據(jù)返回給客戶端,同時(shí)把數(shù)據(jù)緩存一份到memcached中(memcached客戶端不負(fù)責(zé),需要程序?qū)崿F(xiàn))。
(3) 每次更新數(shù)據(jù)庫的同時(shí)更新memcached中的數(shù)據(jù),保證一致性。
(4) 當(dāng)分配給memcached內(nèi)存空間用完之后,會(huì)使用LRU(Least Recently Used,最近最少使用)策略加上到期失效策略,失效數(shù)據(jù)首先被替換,然后再替換掉最近未使用的數(shù)據(jù)。
二、redis
Redis常用數(shù)據(jù)類型
? String
1.常用命令:set,get,decr,incr,mget。
2.應(yīng)用場(chǎng)景:String是最常用的一種數(shù)據(jù)類型,與Memcache的key value存儲(chǔ)方式類似。
3.實(shí)現(xiàn)方式:String在Redis內(nèi)部存儲(chǔ)默認(rèn)就是一個(gè)字符串,被redisObject所引用,當(dāng)遇到incr,decr等操作時(shí)會(huì)轉(zhuǎn)成數(shù)值型進(jìn)行計(jì)算,此時(shí)redisObject的encoding字段為int。
? Hash
1.常用命令:hget,hset,hgetall 。
2.應(yīng)用場(chǎng)景:以存儲(chǔ)一個(gè)用戶信息對(duì)象數(shù)據(jù)
3.實(shí)現(xiàn)方式:Redis Hash對(duì)應(yīng)的Value,內(nèi)部實(shí)際就是一個(gè)HashMap,實(shí)際這里會(huì)有2種不同實(shí)現(xiàn)。
(1)Hash的成員比較少時(shí)Redis為了節(jié)省內(nèi)存會(huì)采用類似一維數(shù) 組的方式來緊湊存儲(chǔ),而不會(huì)采用真正的HashMap結(jié)構(gòu),對(duì)應(yīng)的value redisObject的encoding為zipmap。
(2)當(dāng)成員數(shù)量增大時(shí)會(huì)自動(dòng)轉(zhuǎn)成真正的HashMap,此時(shí)encoding為ht。
List
1.常用命令:lpush,rpush,lpop,rpop,lrange。
2.應(yīng)用場(chǎng)景:Redis list的應(yīng)用場(chǎng)景非常多,也是Redis最重要的數(shù)據(jù)結(jié)構(gòu)之一,比如twitter的關(guān)注列表,粉絲列表等都可以用Redis的list結(jié)構(gòu)來實(shí)現(xiàn)。
3.實(shí)現(xiàn)方式:Redis list的實(shí)現(xiàn)為一個(gè)雙向鏈表,可以支持反向查找和遍歷,方便操作。不過帶來了部分額外的內(nèi)存開銷,Redis內(nèi)部的很多實(shí)現(xiàn),包括發(fā)送緩沖隊(duì)列等也都是用的這個(gè)數(shù)據(jù)結(jié)構(gòu)。
Set
1.常用命令:sadd,spop,smembers,sunion。
2.應(yīng)用場(chǎng)景:Redis set對(duì)外提供的功能與list類似是一個(gè)列表的功能,特殊之處在于set是可以自動(dòng)排重的,當(dāng)你需要存儲(chǔ)一個(gè)列表數(shù)據(jù),又不希望出現(xiàn)重復(fù)數(shù)據(jù)時(shí),set 是一個(gè)很好的選擇,并且set提供了判斷某個(gè)成員是否在一個(gè)set集合內(nèi)的重要接口,這個(gè)也是list所不能提供的。
3.實(shí)現(xiàn)方式:set的內(nèi)部實(shí)現(xiàn)是一個(gè)value永遠(yuǎn)為null的HashMap,實(shí)際就是通過計(jì)算hash的方式來快速排重的,這也是set能提供判斷一個(gè)成員是否在集合內(nèi)的原因。
Sorted set
1.常用命令:zadd、zrange、zrem、zcard。
2.使用場(chǎng)景:Redis sorted set的使用場(chǎng)景與set類似,區(qū)別是set不是自動(dòng)有序的,而sorted set可以通過用戶額外提供一個(gè)優(yōu)先級(jí)(score)的參數(shù)來為成員排序,并且是插入有序的,即自動(dòng)排序。當(dāng)你需要一個(gè)有序的并且不重復(fù)的集合列表,可以選擇sorted set數(shù)據(jù)結(jié)構(gòu),比如twitter 的public timeline可以以發(fā)表時(shí)間作為score來存儲(chǔ),這樣獲取時(shí)就是自動(dòng)按時(shí)間排好序的。
3.實(shí)現(xiàn)方式:Redis sorted set的內(nèi)部使用HashMap和跳躍表(SkipList)來保證數(shù)據(jù)的存儲(chǔ)和有序,HashMap里放的是成員到score的映射,而跳躍表里存放的 是所有的成員,排序依據(jù)是HashMap里存的score,使用跳躍表的結(jié)構(gòu)可以獲得比較高的查找效率,并且在實(shí)現(xiàn)上比較簡(jiǎn)單。
Redis集群
(1)通過keepalived實(shí)現(xiàn)的高可用方案
切換流程:
當(dāng)Master掛了后,VIP漂移到Slave;Slave 上keepalived 通知redis 執(zhí)行:slaveof no one ,開始提供業(yè)務(wù);
當(dāng)Master起來后,VIP 地址不變,Master的keepalived 通知redis 執(zhí)行slaveof slave IP host ,開始作為從同步數(shù)據(jù);
依次類推。
(2)主從同時(shí)Down機(jī)情況:
? 非計(jì)劃性,不做考慮,一般也不會(huì)存在這種問題
? 計(jì)劃性重啟,重啟之前通過運(yùn)維手段SAVE DUMP 主庫數(shù)據(jù);需要注意順序:
關(guān)閉其中一臺(tái)機(jī)器上所有redis,是得master全部切到另外一臺(tái)機(jī)器(多實(shí)例部署,單機(jī)上既有主又有從的情況);并關(guān)閉機(jī)器
依次dump主上redis服務(wù)
關(guān)閉主
啟動(dòng)主,并等待數(shù)據(jù)load完畢
啟動(dòng)從
刪除DUMP 文件(避免重啟加載慢)
三、Memcache與Redis的比較
(1)數(shù)據(jù)結(jié)構(gòu):Memcache只支持key value存儲(chǔ)方式,Redis支持更多的數(shù)據(jù)類型,比如Key value、hash、list、set、zset;
(2)多線程:Memcache支持多線程,Redis支持單線程;CPU利用方面Memcache優(yōu)于Redis;
(3)持久化:Memcache不支持持久化,Redis支持持久化;
(4)內(nèi)存利用率:Memcache高,Redis低(采用壓縮的情況下比Memcache高);
(5)過期策略:Memcache過期后,不刪除緩存,會(huì)導(dǎo)致下次取數(shù)據(jù)數(shù)據(jù)的問題,Redis有專門線程,清除緩存數(shù)據(jù);
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/74223.html
摘要:分布式各個(gè)服務(wù)器之間互不通信,各自獨(dú)立存取數(shù)據(jù),不共享任何信息。服務(wù)器并不具有分布式功能,分布式部署取決于客戶端。緩存策略的緩存策略是最近最少使用到期失效策略。在內(nèi)存儲(chǔ)數(shù)據(jù)項(xiàng)時(shí),可以指定它在緩存的失效時(shí)間,默認(rèn)為永久。 一、MemcacheMemcache是一個(gè)高性能,分布式內(nèi)存對(duì)象緩存系統(tǒng),通過在內(nèi)存里維護(hù)一個(gè)統(tǒng)一的巨大的hash表,它能夠用來存儲(chǔ)各種格式的數(shù)據(jù),包括圖像、視頻、文件...
摘要:自己整理了一篇不同等級(jí)面試都問什么的文章,關(guān)注公眾號(hào)琉憶編程庫,回復(fù)等級(jí),我發(fā)給你。 你好,是我琉憶。今天是周五了,再上一天班就周末了,提前祝大家周末愉快。嘿嘿。這篇文章是本周Memcache和Redis內(nèi)存數(shù)據(jù)庫??嫉膶n}。本周一和周三更新的文章路徑:PHP面試常考內(nèi)容之Memcache和Redis(1)PHP面試??純?nèi)容之Memcache和Redis(2)本周(2019.2-18至...
摘要:自己整理了一篇不同等級(jí)面試都問什么的文章,關(guān)注公眾號(hào)琉憶編程庫,回復(fù)等級(jí),我發(fā)給你。 你好,是我琉憶。今天是周五了,再上一天班就周末了,提前祝大家周末愉快。嘿嘿。這篇文章是本周Memcache和Redis內(nèi)存數(shù)據(jù)庫??嫉膶n}。本周一和周三更新的文章路徑:PHP面試常考內(nèi)容之Memcache和Redis(1)PHP面試??純?nèi)容之Memcache和Redis(2)本周(2019.2-18至...
摘要:項(xiàng)目下的緩存控制客戶端向服務(wù)端請(qǐng)求頁面的過程中,服務(wù)端是可控的??煽氐牟趴蓛?yōu)化,優(yōu)化的重點(diǎn),即是緩存優(yōu)化。如此就能提高數(shù)據(jù)響應(yīng)的速度,也保護(hù)了數(shù)據(jù)源。雖開啟擴(kuò)展可管理內(nèi)存,但所能管理的內(nèi)存大小是有限的。見下圖的英文注釋注意事項(xiàng) php項(xiàng)目下的緩存控制 客戶端向服務(wù)端請(qǐng)求php頁面的過程中,服務(wù)端是可控的。 可控的才可優(yōu)化,優(yōu)化的重點(diǎn),即是緩存優(yōu)化。 試想?數(shù)據(jù)存儲(chǔ)在DB中,訪問DB就...
摘要:項(xiàng)目下的緩存控制客戶端向服務(wù)端請(qǐng)求頁面的過程中,服務(wù)端是可控的??煽氐牟趴蓛?yōu)化,優(yōu)化的重點(diǎn),即是緩存優(yōu)化。如此就能提高數(shù)據(jù)響應(yīng)的速度,也保護(hù)了數(shù)據(jù)源。雖開啟擴(kuò)展可管理內(nèi)存,但所能管理的內(nèi)存大小是有限的。見下圖的英文注釋注意事項(xiàng) php項(xiàng)目下的緩存控制 客戶端向服務(wù)端請(qǐng)求php頁面的過程中,服務(wù)端是可控的。 可控的才可優(yōu)化,優(yōu)化的重點(diǎn),即是緩存優(yōu)化。 試想?數(shù)據(jù)存儲(chǔ)在DB中,訪問DB就...
閱讀 1600·2019-08-30 13:18
閱讀 1583·2019-08-29 12:19
閱讀 2127·2019-08-26 13:57
閱讀 4151·2019-08-26 13:22
閱讀 1192·2019-08-26 10:35
閱讀 2997·2019-08-23 18:09
閱讀 2517·2019-08-23 17:19
閱讀 689·2019-08-23 17:18