成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Redis優(yōu)化建議

happyhuangjinjin / 1378人閱讀

摘要:優(yōu)化的一些建議盡量使用短的當(dāng)然在精簡的同時,不要完了的見名知意。的開發(fā)者向的開發(fā)者之一詢問優(yōu)化方案,得到的回復(fù)是使用結(jié)構(gòu)。所以內(nèi)存分配策略應(yīng)該設(shè)置為表示內(nèi)核允許分配所有的物理內(nèi)存,而不管當(dāng)前的內(nèi)存狀態(tài)如何。

優(yōu)化的一些建議

1、盡量使用短的key

當(dāng)然在精簡的同時,不要完了key的“見名知意”。對于value有些也可精簡,比如性別使用0、1。

2、避免使用keys *

keys *, 這個命令是阻塞的,即操作執(zhí)行期間,其它任何命令在你的實例中都無法執(zhí)行。當(dāng)redis中key數(shù)據(jù)量小時到無所謂,數(shù)據(jù)量大就很糟糕了。所以我們應(yīng)該避免去使用這個命令??梢匀ナ褂肧CAN,來代替。

3、在存到Redis之前先把你的數(shù)據(jù)壓縮下

redis為每種數(shù)據(jù)類型都提供了兩種內(nèi)部編碼方式,在不同的情況下redis會自動調(diào)整合適的編碼方式。

4、設(shè)置 key 有效期

我們應(yīng)該盡可能的利用key有效期。比如一些臨時數(shù)據(jù)(短信校驗碼),過了有效期Redis就會自動為你清除!

5、選擇回收策略(maxmemory-policy)

當(dāng) Redis 的實例空間被填滿了之后,將會嘗試回收一部分key。根據(jù)你的使用方式,強烈建議使用 volatile-lru(默認) 策略——前提是你對key已經(jīng)設(shè)置了超時。但如果你運行的是一些類似于 cache 的東西,并且沒有對 key 設(shè)置超時機制,可以考慮使用 allkeys-lru 回收機制,具體講解查看 。maxmemory-samples 3 是說每次進行淘汰的時候 會隨機抽取3個key 從里面淘汰最不經(jīng)常使用的(默認選項)

maxmemory-policy 六種方式 :

volatile-lru:只對設(shè)置了過期時間的key進行LRU(默認值)

allkeys-lru : 是從所有key里 刪除 不經(jīng)常使用的key

volatile-random:隨機刪除即將過期key

allkeys-random:隨機刪除

volatile-ttl : 刪除即將過期的

noeviction : 永不過期,返回錯誤

6、使用bit位級別操作和byte字節(jié)級別操作來減少不必要的內(nèi)存使用。

bit位級別操作:GETRANGE, SETRANGE, GETBIT and SETBIT

byte字節(jié)級別操作:GETRANGE and SETRANGE

7、盡可能地使用hashes哈希存儲。

8、當(dāng)業(yè)務(wù)場景不需要數(shù)據(jù)持久化時,關(guān)閉所有的持久化方式可以獲得最佳的性能。

9、想要一次添加多條數(shù)據(jù)的時候可以使用管道。

10、限制redis的內(nèi)存大?。?4位系統(tǒng)不限制內(nèi)存,32位系統(tǒng)默認最多使用3GB內(nèi)存)

數(shù)據(jù)量不可預(yù)估,并且內(nèi)存也有限的話,盡量限制下redis使用的內(nèi)存大小,這樣可以避免redis使用swap分區(qū)或者出現(xiàn)OOM錯誤。(使用swap分區(qū),性能較低,如果限制了內(nèi)存,當(dāng)?shù)竭_指定內(nèi)存之后就不能添加數(shù)據(jù)了,否則會報OOM錯誤??梢栽O(shè)置maxmemory-policy,內(nèi)存不足時刪除數(shù)據(jù)。)

11、SLOWLOG [get/reset/len]

slowlog-log-slower-than 它決定要對執(zhí)行時間大于多少微秒(microsecond,1秒 = 1,000,000 微秒)的命令進行記錄。

slowlog-max-len 它決定 slowlog 最多能保存多少條日志,當(dāng)發(fā)現(xiàn)redis性能下降的時候可以查看下是哪些命令導(dǎo)致的。

優(yōu)化實例分析 管道性能測試

redis的管道功能在命令行中沒有,但是redis是支持管道的,在java的客戶端(jedis)中是可以使用的:

示例代碼

    //注:具體耗時,和自身電腦有關(guān)(博主是在虛擬機中運行的數(shù)據(jù))
    /**
     * 不使用管道初始化1W條數(shù)據(jù)
     * 耗時:3079毫秒
     * @throws Exception
     */
    @Test
    public void NOTUsePipeline() throws Exception {
        Jedis jedis = JedisUtil.getJedis();
        long start_time = System.currentTimeMillis();
        for (int i = 0; i < 10000; i++) {
            jedis.set("aa_"+i, i+"");
        }
        System.out.println(System.currentTimeMillis()-start_time);
    }

    /**
     * 使用管道初始化1W條數(shù)據(jù)
     * 耗時:255毫秒
     * @throws Exception
     */
    @Test
    public void usePipeline() throws Exception {
        Jedis jedis = JedisUtil.getJedis();

        long start_time = System.currentTimeMillis();
        Pipeline pipelined = jedis.pipelined();
        for (int i = 0; i < 10000; i++) {
            pipelined.set("cc_"+i, i+"");
        }
        pipelined.sync();//執(zhí)行管道中的命令
        System.out.println(System.currentTimeMillis()-start_time);
    }
hash的應(yīng)用

示例:我們要存儲一個用戶信息對象數(shù)據(jù),包含以下信息:
key為用戶ID,value為用戶對象(姓名,年齡,生日等)如果用普通的key/value結(jié)構(gòu)來存儲,主要有以下2種存儲方式:

將用戶ID作為查找key,把其他信息封裝成一個對象以序列化的方式存儲
缺點:增加了序列化/反序列化的開銷,引入復(fù)雜適應(yīng)系統(tǒng)(Complex adaptive system,簡稱CAS)修改其中一項信息時,需要把整個對象取回,并且修改操作需要對并發(fā)進行保護。

用戶信息對象有多少成員就存成多少個key-value對
雖然省去了序列化開銷和并發(fā)問題,但是用戶ID為重復(fù)存儲。

Redis提供的Hash很好的解決了這個問題,提供了直接存取這個Map成員的接口。Key仍然是用戶ID, value是一個Map,這個Map的key是成員的屬性名,value是屬性值。( 內(nèi)部實現(xiàn):Redis Hashd的Value內(nèi)部有2種不同實現(xiàn),Hash的成員比較少時Redis為了節(jié)省內(nèi)存會采用類似一維數(shù)組的方式來緊湊存儲,而不會采用真正的HashMap結(jié)構(gòu),對應(yīng)的value redisObject的encoding為zipmap,當(dāng)成員數(shù)量增大時會自動轉(zhuǎn)成真正的HashMap,此時encoding為ht )。

Instagram內(nèi)存優(yōu)化

Instagram可能大家都已熟悉,當(dāng)前火熱的拍照App,月活躍用戶3億。四年前Instagram所存圖片3億多時需要解決一個問題:想知道每一張照片的作者是誰(通過圖片ID反查用戶UID),并且要求查詢速度要相當(dāng)?shù)膲K,如果把它放到內(nèi)存中使用String結(jié)構(gòu)做key-value:

HSET "mediabucket:1155" "1155315" "939"
HGET "mediabucket:1155" "1155315"
"939"

測試:1百萬數(shù)據(jù)會用掉70MB內(nèi)存,3億張照片就會用掉21GB的內(nèi)存。當(dāng)時(四年前)最好是一臺EC2的 high-memory 機型就能存儲(17GB或者34GB的,68GB的太浪費了),想把它放到16G機型中還是不行的。

Instagram的開發(fā)者向Redis的開發(fā)者之一Pieter Noordhuis詢問優(yōu)化方案,得到的回復(fù)是使用Hash結(jié)構(gòu)。具體的做法就是將數(shù)據(jù)分段,每一段使用一個Hash結(jié)構(gòu)存儲.

由于Hash結(jié)構(gòu)會在單個Hash元素在不足一定數(shù)量時進行壓縮存儲,所以可以大量節(jié)約內(nèi)存。這一點在上面的String結(jié)構(gòu)里是不存在的。而這個一定數(shù)量是由配置文件中的hash-zipmap-max-entries參數(shù)來控制的。經(jīng)過實驗,將hash-zipmap-max-entries設(shè)置為1000時,性能比較好,超過1000后HSET命令就會導(dǎo)致CPU消耗變得非常大。

HSET "mediabucket:1155" "1155315" "939"
HGET "mediabucket:1155" "1155315"
"939"

測試:1百萬消耗16MB的內(nèi)存??們?nèi)存使用也降到了5GB。當(dāng)然我們還可以優(yōu)化,去掉mediabucket:key長度減少了12個字節(jié)。

HSET "1155" "315" "939"
HGET "1155" "315"
"939"
啟動時WARNING優(yōu)化

在我們啟動redis時,默認會出現(xiàn)如下三個警告:

一、修改linux中TCP監(jiān)聽的最大容納數(shù)量

WARNING: The TCP backlog setting of 511 cannot be enforced because 
/proc/sys/net/core/somaxconn is set to the lower value of 128.

在高并發(fā)環(huán)境下你需要一個高backlog值來避免慢客戶端連接問題。注意Linux內(nèi)核默默地將這個值減小到/proc/sys/net/core/somaxconn的值,所以需要確認增大somaxconn和tcp_max_syn_backlog兩個值來達到想要的效果。

echo 511 > /proc/sys/net/core/somaxconn

注意:這個參數(shù)并不是限制redis的最大鏈接數(shù)。如果想限制redis的最大連接數(shù)需要修改maxclients,默認最大連接數(shù)為10000

二、修改linux內(nèi)核內(nèi)存分配策略

錯誤日志:WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. 
To fix this issue add "vm.overcommit_memory = 1" to /etc/sysctl.conf and then reboot or 
run the command "sysctl vm.overcommit_memory=1"

原因:
redis在備份數(shù)據(jù)的時候,會fork出一個子進程,理論上child進程所占用的內(nèi)存和parent是一樣的,比如parent占用的內(nèi)存為8G,這個時候也要同樣分配8G的內(nèi)存給child,如果內(nèi)存無法負擔(dān),往往會造成redis服務(wù)器的down機或者IO負載過高,效率下降。所以內(nèi)存分配策略應(yīng)該設(shè)置為 1(表示內(nèi)核允許分配所有的物理內(nèi)存,而不管當(dāng)前的內(nèi)存狀態(tài)如何)。

內(nèi)存分配策略有三種

可選值:0、1、2。

0, 表示內(nèi)核將檢查是否有足夠的可用內(nèi)存供應(yīng)用進程使用;如果有足夠的可用內(nèi)存,內(nèi)存申請允許;否則,內(nèi)存申請失敗,并把錯誤返回給應(yīng)用進程。

1, 不管需要多少內(nèi)存,都允許申請。

2, 只允許分配物理內(nèi)存和交換內(nèi)存的大小(交換內(nèi)存一般是物理內(nèi)存的一半)。

三、關(guān)閉Transparent Huge Pages(THP)

THP會造成內(nèi)存鎖影響redis性能,建議關(guān)閉

Transparent HugePages :用來提高內(nèi)存管理的性能
Transparent Huge Pages在32位的RHEL 6中是不支持的
執(zhí)行命令 echo never > /sys/kernel/mm/transparent_hugepage/enabled
把這條命令添加到這個文件中/etc/rc.local
原文出處
xiaoxiaomo -> http://blog.xiaoxiaomo.com/2016/05/02/Redis-%E4%BC%98%E5%8C%96%E8%AF%A6%E8%A7%A3/

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/75784.html

相關(guān)文章

  • Redis的KEYS命令引起宕機事件

    摘要:最近的互聯(lián)網(wǎng)線上事故發(fā)生比較頻繁,年月號順豐發(fā)生了一起線上刪庫事件,在這里就不介紹了。最后的最后,線上操作的任何一條命令,再小心也不為過,因為由于你的一個符號而引起的事故可能是你所承擔(dān)不起的。 摘要: 使用 Redis 的開發(fā)者必看,吸取教訓(xùn)??! 原文:Redis 的 KEYS 命令引起 RDS 數(shù)據(jù)庫雪崩,RDS 發(fā)生兩次宕機,造成幾百萬的資金損失 作者:陳浩翔 Fundebu...

    zoomdong 評論0 收藏0
  • Redis的KEYS命令引起宕機事件

    摘要:最近的互聯(lián)網(wǎng)線上事故發(fā)生比較頻繁,年月號順豐發(fā)生了一起線上刪庫事件,在這里就不介紹了。最后的最后,線上操作的任何一條命令,再小心也不為過,因為由于你的一個符號而引起的事故可能是你所承擔(dān)不起的。 摘要: 使用 Redis 的開發(fā)者必看,吸取教訓(xùn)??! 原文:Redis 的 KEYS 命令引起 RDS 數(shù)據(jù)庫雪崩,RDS 發(fā)生兩次宕機,造成幾百萬的資金損失 作者:陳浩翔 Fundebu...

    ixlei 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<