Swoole 源碼分析——內(nèi)存模塊之共享內(nèi)存

diabloneo 發(fā)布于2019-07-01 10:28 / 2598人閱讀

摘要：前言我們知道，由于沒有多線程模型，所以更多的使用多進(jìn)程模型，因此代碼相對來說更加簡潔，減少了各種線程鎖的阻塞與同步，但是也帶來了新的問題數(shù)據(jù)同步。相比多線程之前可以直接共享進(jìn)程的內(nèi)存，進(jìn)程之間數(shù)據(jù)的相互同步依賴于共享內(nèi)存。

前言

我們知道，由于 PHP 沒有多線程模型，所以 swoole 更多的使用多進(jìn)程模型，因此代碼相對來說更加簡潔，減少了各種線程鎖的阻塞與同步，但是也帶來了新的問題：數(shù)據(jù)同步。相比多線程之前可以直接共享進(jìn)程的內(nèi)存，進(jìn)程之間數(shù)據(jù)的相互同步依賴于共享內(nèi)存。本文將會講解 swoole 中共享內(nèi)存的源碼。

前置知識：

mmap 函數(shù)的使用: APUE 學(xué)習(xí)筆記——高級 IO

共享內(nèi)存： APUE 學(xué)習(xí)筆記——進(jìn)程間通信

共享內(nèi)存數(shù)據(jù)結(jié)構(gòu)

typedef struct _swShareMemory_mmap
{
    size_t size;
    char mapfile[SW_SHM_MMAP_FILE_LEN];
    int tmpfd;
    int key;
    int shmid;
    void *mem;
} swShareMemory;

注意 mem 是一個 void 類型的指針，用于存放共享內(nèi)存的首地址。這個成員變量相當(dāng)于面向?qū)ο笾械?this 指針，通過它就可以訪問到 swShareMemory 的各個成員。

size 代表共享內(nèi)存的大小(不包括 swShareMemory 結(jié)構(gòu)體大小)， mapfile[] 代表共享內(nèi)存使用的內(nèi)存映射文件的文件名， tmpfd 為內(nèi)存映射文件的描述符。key 代表使用 System V 的 shm 系列函數(shù)創(chuàng)建的共享內(nèi)存的 key 值， shmid 為 shm 系列函數(shù)創(chuàng)建的共享內(nèi)存的 id（類似于fd），這兩個由于不是 POSIX 標(biāo)準(zhǔn)定義的 api，用途有限。

共享內(nèi)存的申請與創(chuàng)建

swoole 在申請共享內(nèi)存時常常調(diào)用的函數(shù)是 sw_shm_malloc，這個函數(shù)可以為進(jìn)程匿名申請一大塊連續(xù)的共享內(nèi)存：

void* sw_shm_malloc(size_t size)
{
    swShareMemory object;
    void *mem;
    size += sizeof(swShareMemory);
    mem = swShareMemory_mmap_create(&object, size, NULL);
    if (mem == NULL)
    {
        return NULL;
    }
    else
    {
        memcpy(mem, &object, sizeof(swShareMemory));
        return mem + sizeof(swShareMemory);
    }
}

從 sw_shm_malloc 函數(shù)可以看出，雖然我們申請的是 size，但是實際申請的內(nèi)存是要略大的，因為還要加上 swShareMemory 這個結(jié)構(gòu)體。當(dāng)函數(shù)返回時，也不會直接返回申請的內(nèi)存首地址，而是復(fù)制了 object 各個成員變量的值后，在申請的首地址上加上 swShareMemory 的大小。

void *swShareMemory_mmap_create(swShareMemory *object, size_t size, char *mapfile)
{
    void *mem;
    int tmpfd = -1;
    int flag = MAP_SHARED;
    bzero(object, sizeof(swShareMemory));

#ifdef MAP_ANONYMOUS
    flag |= MAP_ANONYMOUS;
#else
    if (mapfile == NULL)
    {
        mapfile = "/dev/zero";
    }
    if ((tmpfd = open(mapfile, O_RDWR)) < 0)
    {
        return NULL;
    }
    strncpy(object->mapfile, mapfile, SW_SHM_MMAP_FILE_LEN);
    object->tmpfd = tmpfd;
#endif

#if defined(SW_USE_HUGEPAGE) && defined(MAP_HUGETLB)
    if (size > 2 * 1024 * 1024)
    {
        flag |= MAP_HUGETLB;
    }
#endif

    mem = mmap(NULL, size, PROT_READ | PROT_WRITE, flag, tmpfd, 0);
#ifdef MAP_FAILED
    if (mem == MAP_FAILED)
#else
    if (!mem)
#endif
    {
        swWarn("mmap(%ld) failed. Error: %s[%d]", size, strerror(errno), errno);
        return NULL;
    }
    else
    {
        object->size = size;
        object->mem = mem;
        return mem;
    }
}

由于 swoole 的各個進(jìn)程都是由 master 進(jìn)程所建立，也就是各個進(jìn)程之間存在親戚關(guān)系，因此swShareMemory_mmap_create 函數(shù)直接以 匿名映射 、（/dev/zero 設(shè)備）的方式利用 mmap 建立共享內(nèi)存，并沒有 open 具體的共享內(nèi)存文件，或者調(diào)用 shm_open 打開 POSIX IPC 名字。

值得注意的是 MAP_HUGETLB，這個是 linux 內(nèi)核 2.6.32 引入的一個 flags，用于使用大頁面分配共享內(nèi)存。大頁是相對傳統(tǒng) 4K 小頁而言的，一般來說常見的體系架構(gòu)都會提供2種大頁大小，比如常見的 2M 大頁和 1G 大頁。使用大頁可以減少頁表項數(shù)量，從而減少 TLB Miss 的概率，提升系統(tǒng)訪存性能。當(dāng)然有利必有弊，使用大頁降低了內(nèi)存管理的粒度和靈活性，如果程序并不是對內(nèi)存的使用量特別大，使用大頁還可能造成內(nèi)存的浪費(fèi)。

共享內(nèi)存的 calloc

calloc 與 malloc 大同小異，無非多了一個 num 參數(shù)

void* sw_shm_calloc(size_t num, size_t _size)
{
    swShareMemory object;
    void *mem;
    void *ret_mem;
    int size = sizeof(swShareMemory) + (num * _size);
    mem = swShareMemory_mmap_create(&object, size, NULL);
    if (mem == NULL)
    {
        return NULL;
    }
    else
    {
        memcpy(mem, &object, sizeof(swShareMemory));
        ret_mem = mem + sizeof(swShareMemory);
        bzero(ret_mem, size - sizeof(swShareMemory));
        return ret_mem;
    }
}

共享內(nèi)存的 realloc

realloc 函數(shù)用于修改已申請的內(nèi)存大小，邏輯非常簡單，先申請新的內(nèi)存，進(jìn)行復(fù)制后，再釋放舊的內(nèi)存：

void* sw_shm_realloc(void *ptr, size_t new_size)
{
    swShareMemory *object = ptr - sizeof(swShareMemory);
    void *new_ptr;
    new_ptr = sw_shm_malloc(new_size);
    if (new_ptr == NULL)
    {
        return NULL;
    }
    else
    {
        memcpy(new_ptr, ptr, object->size);
        sw_shm_free(ptr);
        return new_ptr;
    }
}

修改共享內(nèi)存的權(quán)限

在內(nèi)存映射完成后，由標(biāo)記讀、寫、執(zhí)行權(quán)限的 PROT_READ、PROT_WRITE 和 PROT_EXEC 等權(quán)限仍可以被 mprotect 系統(tǒng)調(diào)用所修改。

int sw_shm_protect(void *addr, int flags)
{
    swShareMemory *object = (swShareMemory *) (addr - sizeof(swShareMemory));
    return mprotect(object, object->size, flags);
}

共享內(nèi)存的釋放

void sw_shm_free(void *ptr)
{
    swShareMemory *object = ptr - sizeof(swShareMemory);
    swShareMemory_mmap_free(object);
}

int swShareMemory_mmap_free(swShareMemory *object)
{
    return munmap(object->mem, object->size);
}

云服務(wù)器 GPU云服務(wù)器 linux內(nèi)存模塊共享內(nèi)存全局共享內(nèi)存共享內(nèi)存linux

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/29198.html

發(fā)表評論

登陸后可評論

0條評論

diabloneo

男|高級講師

我要關(guān)注我要私信

TA的文章

常州商標(biāo)注冊局在哪里

閱讀 2035·2021-11-15 18:09
阿里云優(yōu)惠券在哪領(lǐng)取？如何使用阿里云優(yōu)惠券？

閱讀 927·2021-09-06 15:13
Hostodo：$12/年KVM-256MB/15GB/500GB/斯波坎(華盛頓州)

閱讀 2659·2021-08-23 09:43
JS基礎(chǔ)入門篇（三十六）—面向?qū)ο螅?三）

閱讀 2043·2019-08-30 15:54
jQuery 全選和反選demo

閱讀 2238·2019-08-30 13:56
javascript 總結(jié)（常用工具類的封裝）

閱讀 2504·2019-08-26 11:31
網(wǎng)站建設(shè)重要性不言而喻-甲由科技

閱讀 3100·2019-08-26 10:56
js的鍵盤事件--keyboard

閱讀 726·2019-08-26 10:28

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

Swoole 源碼分析——內(nèi)存模塊之共享內(nèi)存

相關(guān)文章

Swoole 源碼分析——基礎(chǔ)模塊之 Channel 隊列