資訊專欄INFORMATION COLUMN
摘要：使用相同網(wǎng)橋的容器有自己的子網(wǎng)，并且可以相互通信默認(rèn)情況下。在虛擬接口上來(lái)自主機(jī)的流量捕獲將顯示容器在特定子網(wǎng)上發(fā)送的所有流量規(guī)則用于阻止不同的網(wǎng)絡(luò)有時(shí)網(wǎng)絡(luò)中的主機(jī)使用過(guò)濾器表進(jìn)行通信。
我使用docker至今已有一段時(shí)間了，與絕大部分的人一樣，我被docker強(qiáng)大的功能和易用性深深的折服。簡(jiǎn)單方便是docker的核心之一，它強(qiáng)大的功能被抽象成了非常簡(jiǎn)單的命令。當(dāng)我在使用和學(xué)習(xí)docker的時(shí)候，我很想知道docker在后臺(tái)都做了一些什么事情，特別是在網(wǎng)絡(luò)這一塊（我最感興趣的一塊）
我找到了很多關(guān)于創(chuàng)建和操作容器網(wǎng)絡(luò)的文檔，但是關(guān)于docker如何使網(wǎng)絡(luò)工作的卻沒(méi)有那么多。 Docker廣泛使用linux iptables和網(wǎng)橋接口，這篇文章是我如何用于創(chuàng)建容器網(wǎng)絡(luò)的總結(jié)，大部分信息來(lái)自github上的討論，演示文稿，以及我自己的測(cè)試。文章結(jié)尾我會(huì)給出我認(rèn)為非常有用的資料鏈接。
我寫(xiě)這篇文章使用的是docker 1.12.3,但這不是作為對(duì)docker網(wǎng)絡(luò)的全面描述，也不作為docker網(wǎng)絡(luò)的介紹。我只希望這篇文章能給大家開(kāi)拓視野，也非常感謝所有對(duì)文章錯(cuò)誤，缺失的反饋和批評(píng)。
Docker網(wǎng)絡(luò)概覽Docker的網(wǎng)絡(luò)建立在允許任何一方編寫(xiě)自己的網(wǎng)絡(luò)驅(qū)動(dòng)程序的容器網(wǎng)絡(luò)模型（CNM）之上。這允許不同的網(wǎng)絡(luò)類型可用于在docker引擎上運(yùn)行的容器，并且容器可以同時(shí)連接到多個(gè)網(wǎng)絡(luò)。除了各種第三方網(wǎng)絡(luò)驅(qū)動(dòng)程序可用，docker自帶四個(gè)內(nèi)置網(wǎng)絡(luò)驅(qū)動(dòng)程序：
Bridge: 這是啟動(dòng)容器的默認(rèn)網(wǎng)絡(luò)。通過(guò)docker主機(jī)上的網(wǎng)橋接口實(shí)現(xiàn)連接。 使用相同網(wǎng)橋的容器有自己的子網(wǎng)，并且可以相互通信（默認(rèn)情況下）。
Host:這個(gè)驅(qū)動(dòng)程序允許容器訪問(wèn)docker主機(jī)自己的網(wǎng)絡(luò)空間（容器將看到和使用與docker主機(jī)相同的接口）。
Macvlan:此驅(qū)動(dòng)程序允許容器直接訪問(wèn)主機(jī)的接口或子接口（vlan）。 它還允許中繼鏈接。
Overlay：此驅(qū)動(dòng)程序允許在運(yùn)行docker的多個(gè)主機(jī)（通常是docker群集群）上構(gòu)建網(wǎng)絡(luò)。 容器還具有自己的子網(wǎng)和網(wǎng)絡(luò)地址，并且可以直接相互通信，即使它們?cè)诓煌奈锢碇鳈C(jī)上運(yùn)行。
Bridge和Overlay可能是最常用的網(wǎng)絡(luò)驅(qū)動(dòng)程序，在本文和下一篇文章中我將主要關(guān)注這兩個(gè)驅(qū)動(dòng)程序。
Docker Bridge 網(wǎng)絡(luò)在docker主機(jī)上運(yùn)行的容器的默認(rèn)網(wǎng)絡(luò)是。 Docker在首次安裝時(shí)創(chuàng)建一個(gè)名為“bridge”的默認(rèn)網(wǎng)絡(luò)。 我們可以列出所有docker網(wǎng)絡(luò)來(lái)查看此網(wǎng)絡(luò) docker network ls：
$ docker network ls NETWORK ID NAME DRIVER SCOPE 3e8110efa04a bridge bridge local bb3cd79b9236 docker_gwbridge bridge local 22849c4d1c3a host host local 3kuba8yq3c27 ingress overlay swarm ecbd1c6c193a none null local
要檢查其屬性，運(yùn)行docker network inspect bridge
$ docker network inspect bridge
[
{
"Name": "bridge",
"Id": "3e8110efa04a1eb0923d863af719abf5eac871dbac4ae74f133894b8df4b9f5f",
"Scope": "local",
"Driver": "bridge",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "172.18.0.0/16",
"Gateway": "172.18.0.1"
}
]
},
"Internal": false,
"Containers": {},
"Options": {
"com.docker.network.bridge.default_bridge": "true",
"com.docker.network.bridge.enable_icc": "true",
"com.docker.network.bridge.enable_ip_masquerade": "true",
"com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
"com.docker.network.bridge.name": "docker0",
"com.docker.network.driver.mtu": "1500"
},
"Labels": {}
}
]
你還可以使用docker network create命令并指定選項(xiàng)--driver bridge創(chuàng)建自己的網(wǎng)絡(luò)，例如
docker network create --driver bridge --subnet 192.168.100.0/24 --ip-range 192.168.100.0/ 24 my-bridge-network創(chuàng)建另一個(gè)網(wǎng)橋網(wǎng)絡(luò)，名稱為“my-bridge-network”，子網(wǎng)為192.168.100.0/24。
docker創(chuàng)建的每個(gè)網(wǎng)橋網(wǎng)絡(luò)由docker主機(jī)上的網(wǎng)橋接口呈現(xiàn)。、 默認(rèn)橋網(wǎng)絡(luò)“bridge”通常具有與其相關(guān)聯(lián)的接口docker0，并且使用docker network create命令創(chuàng)建的每個(gè)后續(xù)網(wǎng)橋網(wǎng)絡(luò)將具有與其相關(guān)聯(lián)的新接口。
$ ifconfig docker0
docker0 Link encap:Ethernet HWaddr 02:42:44:88:bd:75
inet addr:172.18.0.1 Bcast:0.0.0.0 Mask:255.255.0.0
UP BROADCAST MULTICAST MTU:1500 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
要找到與你創(chuàng)建的docker網(wǎng)絡(luò)關(guān)聯(lián)的linux接口，可以使用ifconfig列出所有接口，然后找到你指定了子網(wǎng)的接口，例如，我們想查看我們之前創(chuàng)建的網(wǎng)橋接口my-bridge-network 我們可以這樣：
$ ifconfig | grep 192.168.100. -B 1
br-e6bc7d6b75f3 Link encap:Ethernet HWaddr 02:42:bc:f1:91:09
inet addr:192.168.100.1 Bcast:0.0.0.0 Mask:255.255.255.0
linux橋接接口與交換機(jī)的功能類似，因?yàn)樗鼈儗⒉煌慕涌谶B接到同一子網(wǎng)，并根據(jù)MAC地址轉(zhuǎn)發(fā)流量。 我們將在下面看到，連接到網(wǎng)橋網(wǎng)絡(luò)的每個(gè)容器將在docker主機(jī)上創(chuàng)建自己的虛擬接口，并且docker引擎將同一網(wǎng)絡(luò)中的所有容器連接到同一個(gè)網(wǎng)橋接口，這將允許它們與彼此進(jìn)行通信。 您可以使用brctl獲取有關(guān)網(wǎng)橋狀態(tài)的更多詳細(xì)信息。
$ brctl show docker0 bridge name bridge id STP enabled interfaces docker0 8000.02424488bd75 no
一旦我們有容器運(yùn)行并連接到這個(gè)網(wǎng)絡(luò)，我們將看到interfaces列下面列出的每個(gè)容器的接口。 并且在橋接器接口上運(yùn)行流量捕獲將允許我們看到同一子網(wǎng)上的容器之間的相互通信。
Linux 虛擬網(wǎng)絡(luò)接口(veth)容器網(wǎng)絡(luò)模型（CNM）允許每個(gè)容器具有其自己的網(wǎng)絡(luò)空間。 從容器內(nèi)部運(yùn)行ifconfig將顯示容器內(nèi)部的網(wǎng)絡(luò)接口：
$ docker run -ti ubuntu:14.04 /bin/bash
root@6622112b507c:/#
root@6622112b507c:/# ifconfig
eth0 Link encap:Ethernet HWaddr 02:42:ac:12:00:02
inet addr:172.18.0.2 Bcast:0.0.0.0 Mask:255.255.0.0
inet6 addr: fe80::42:acff:fe12:2/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:9 errors:0 dropped:0 overruns:0 frame:0
TX packets:6 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:766 (766.0 B) TX bytes:508 (508.0 B)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
然而，上面看到的eth0只能從那個(gè)容器中可用，而在Docker主機(jī)的外部，docker會(huì)創(chuàng)建一個(gè)與其對(duì)應(yīng)的雙虛擬接口，并作為到容器外的鏈接。 這些虛擬接口連接到上面討論的橋接器接口，以便于在同一子網(wǎng)上的不同容器之間的連接。
我們可以通過(guò)啟動(dòng)連接到默認(rèn)網(wǎng)橋的兩個(gè)容器來(lái)查看此過(guò)程，然后查看docker主機(jī)上的接口配置。
在運(yùn)行啟動(dòng)任何容器之前，docker0 橋接接口沒(méi)有連接的接口：
$ sudo brctl show docker0 $ sudo brctl show docker0 bridge name bridge id STP enabled interfaces docker0 8000.02424488bd75 no
然后我從ubuntu:14.04 鏡像啟動(dòng)2個(gè)容器
$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES a754719db594 ubuntu:14.04 "/bin/bash" 5 seconds ago Up 4 seconds zen_kalam 976041ec420f ubuntu:14.04 "/bin/bash" 7 seconds ago Up 5 seconds stupefied_easley
您能馬上看到現(xiàn)在有兩個(gè)接口連接到docker0網(wǎng)橋接口（每個(gè)容器一個(gè)）
$ sudo brctl show docker0
bridge name bridge id STP enabled interfaces
docker0 8000.02424488bd75 no veth2177159
vethd8e05dd
從其中一個(gè)容器ping到google，然后從docker主機(jī)對(duì)容器的虛擬接口進(jìn)行流量捕獲，將顯示容器流量
$ docker exec a754719db594 ping google.com PING google.com (216.58.217.110) 56(84) bytes of data. 64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=1 ttl=48 time=0.849 ms 64 bytes from iad23s42-in-f110.1e100.net (216.58.217.110): icmp_seq=2 ttl=48 time=0.965 ms ubuntu@swarm02:~$ sudo tcpdump -i veth2177159 icmp tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on veth2177159, link-type EN10MB (Ethernet), capture size 262144 bytes 20:47:12.170815 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 55, length 64 20:47:12.171654 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 55, length 64 20:47:13.170821 IP 172.18.0.3 > iad23s42-in-f14.1e100.net: ICMP echo request, id 14, seq 56, length 64 20:47:13.171694 IP iad23s42-in-f14.1e100.net > 172.18.0.3: ICMP echo reply, id 14, seq 56, length 64
同樣，我們可以從一個(gè)容器平到另一個(gè)容器。
首先，我們需要獲取容器的IP地址，這可以通過(guò)在容器中運(yùn)行ifconfig或使用docker inspect命令檢查容器來(lái)完成：
$ docker inspect -f "{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}" a754719db594
172.18.0.3
然后我們從一個(gè)容器ping另一個(gè)容器
$ docker exec 976041ec420f ping 172.18.0.3 PING 172.18.0.3 (172.18.0.3) 56(84) bytes of data. 64 bytes from 172.18.0.3: icmp_seq=1 ttl=64 time=0.070 ms 64 bytes from 172.18.0.3: icmp_seq=2 ttl=64 time=0.053 ms
要從docker主機(jī)看到這個(gè)流量，我們可以在對(duì)應(yīng)于容器的任何一個(gè)虛擬接口上捕獲，或者我們可以在橋接口（在這個(gè)實(shí)例中為docker0）上捕獲，顯示所有的容器間通信子網(wǎng)：
$ sudo tcpdump -ni docker0 host 172.18.0.2 and host 172.18.0.3 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes 20:55:37.990831 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 200, length 64 20:55:37.990865 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 200, length 64 20:55:38.990828 IP 172.18.0.2 > 172.18.0.3: ICMP echo request, id 14, seq 201, length 64 20:55:38.990866 IP 172.18.0.3 > 172.18.0.2: ICMP echo reply, id 14, seq 201, length 64
沒(méi)有直接的方法來(lái)找到docker主機(jī)上的哪個(gè)veth接口鏈接到容器內(nèi)的接口，但是在各種docker論壇和github中討論了幾種方法。在我看來(lái)最簡(jiǎn)單的是以下（基于這個(gè)解決方案做了稍微的修改），這也取決于ethtool在容器中可訪問(wèn)
例如：我的系統(tǒng)上運(yùn)行了3個(gè)容器
$ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES ccbf97c72bf5 ubuntu:14.04 "/bin/bash" 3 seconds ago Up 3 seconds admiring_torvalds 77d9f02d61f2 ubuntu:14.04 "/bin/bash" 4 seconds ago Up 4 seconds goofy_borg 19743c0ddf24 ubuntu:14.04 "/bin/sh" 8 minutes ago Up 8 minutes high_engelbart
首先我運(yùn)行如下命令來(lái)獲得peer_ifindex 號(hào)
$ docker exec 77d9f02d61f2 sudo ethtool -S eth0
NIC statistics:
peer_ifindex: 16
然后在docker主機(jī)上，通過(guò)peer_ifindex 找到接口名稱
