java中的NIO

crossoverJie 發(fā)布于2019-08-14 16:50 / 976人閱讀

摘要：緩沖區(qū)一個對象是固定數(shù)量的數(shù)據(jù)的容器。緩沖區(qū)的工作與通道緊密聯(lián)系。對于操作而言，從通道讀取的數(shù)據(jù)會按順序被散布稱為到多個緩沖區(qū)，將每個緩沖區(qū)填滿直至通道中的數(shù)據(jù)或者緩沖區(qū)的最大空間被消耗完。文件通道總是阻塞式的，因此不能被置于非阻塞模式。

簡介

從JDK1.4開始，java中提供一個種叫NIO(Non-Blocking IO)的IO處理機制。與以往的標準IO機制(BIO,Blocking IO)不同的是，新的機制把重點放在了如何縮短抽象與現(xiàn)實之間的距離上面。NIO中提出了一種新的抽象，NIO 彌補了原來的BIO的不足，它在標準 Java 代碼中提供了高速的、面向塊的I/O。

NIO的包括三個核心概念:緩沖區(qū)(Buffer)、通道(Channel)、選擇器(Selector)。思維導圖如下：

BIO與NIO

BIO與NIO之間的共同點是他們都是同步的。而非異步的。

BIO是阻塞的(當前線程必須等待感興趣的事情發(fā)生), NIO是非柱塞的(事件選擇，感興趣的事情發(fā)生可以通知線程，而不必一直在哪等待);

BIO是面向流式的IO抽象(一次一個字節(jié)地處理數(shù)據(jù)), NIO是面向塊的IO抽象(每一個操作都在一步中產(chǎn)生或者消費一個數(shù)據(jù)塊(Buffer));

BIO的服務(wù)器實現(xiàn)模式為一個連接一個線程，NIO服務(wù)器實現(xiàn)模式為一個請求一個線程;

前提概念 緩沖區(qū)操作:

緩沖區(qū)，以及緩沖區(qū)如何工作，是所有 I/O 的基礎(chǔ)。所謂“輸入/輸出”講的無非就是把數(shù)據(jù)移進或移出緩沖區(qū)。進程執(zhí)行 I/O 操作，歸結(jié)起來，也就是向操作系統(tǒng)發(fā)出請求，讓它要么把緩沖區(qū)里的數(shù)據(jù)排干 (寫)，要么用數(shù)據(jù)把緩沖區(qū)填滿(讀)。大致流程如圖：

注意圖中用戶空間和內(nèi)核空間的概念。用戶空間是常規(guī)進程所在區(qū)域。JVM就是常規(guī)進程，駐守于用戶空間。用戶空間是非特權(quán)區(qū)域(比如，在該區(qū)域執(zhí)行的代碼就不能直接訪問硬件設(shè)備)。內(nèi)核空間是操作系統(tǒng)所在區(qū)域。內(nèi)核代碼有特別的權(quán)力。

緩沖區(qū)操作發(fā)散/匯聚,許多操作系統(tǒng)能把組裝/分解過程進行得更加高效。

這樣用戶進程就不必多次執(zhí)行系統(tǒng)調(diào)用(那樣做可能代價不菲)，內(nèi)核也可以優(yōu)化數(shù)據(jù)的處理過程，因為它已掌握待傳輸數(shù)據(jù)的全部信息。

虛擬內(nèi)存

所有現(xiàn)代操作系統(tǒng)都使用虛擬內(nèi)存。虛擬內(nèi)存意為程序中使用虛擬地址取代物理(硬件RAM)內(nèi)存地址。這樣做好處頗多:

一個以上的虛擬地址可指向同一個物理內(nèi)存地址;

虛擬內(nèi)存空間可大于實際可用的硬件內(nèi)存。

設(shè)備控制器不能通過 DMA 直接存儲到用戶空間，但通過利用上面到的第一項，則可以達到相同效果。把內(nèi)核空間地址與用戶空間的虛擬地址映射到同一個物理地址，這樣， DMA 硬件(只能訪問物理內(nèi)存地址)就可以填充對內(nèi)核與用戶空間進程同時可見的緩沖區(qū)。

文件I/O

文件I/O屬文件系統(tǒng)范疇，文件系統(tǒng)與磁盤迥然不同。磁盤把數(shù)據(jù)存在扇區(qū)上，通常一個扇區(qū) 512 字節(jié)。磁盤屬硬件設(shè)備，對何謂文件一無所知，它只是供了一系列數(shù)據(jù)存取窗口。文件系統(tǒng)把一連串大小一致的數(shù)據(jù)塊組織到一起。有些塊存儲元信息，如空閑塊、目錄、索引等的映射，有些包含文件數(shù)據(jù)。

內(nèi)存映射文件, 為了在內(nèi)核空間的文件系統(tǒng)頁與用戶空間的內(nèi)存區(qū)之間移動數(shù)據(jù)，一次以上的拷貝操作幾乎總是免不了的。

文件鎖定機制, 允許一個進程阻止其他進程存取某文件，或限制其存取方式。通常的用途是控制共享信息的更新方式，或用于事務(wù)隔離。文件鎖有建議使用和強制使用之分。建議型文件鎖會向出請求的進程供當前鎖定信息，但操作系統(tǒng)并不要求一定這樣做，而是由相關(guān)進程進行協(xié)調(diào)并關(guān)注鎖定信息。

流I/O

并非所有 I/O 都像前幾節(jié)講的是面向塊的，也有流 I/O，其原理模仿了通道。I/O 字節(jié)流必須順序存取，常見的例子有 TTY(控制臺)設(shè)備、打印機端口和網(wǎng)絡(luò)連接。

流的傳輸一般(也不必然如此)比塊設(shè)備慢，經(jīng)常用于間歇性輸入。

緩沖區(qū)

一個Buffer對象是固定數(shù)量的數(shù)據(jù)的容器。其作用是一個存儲器，或者分段運輸區(qū)，在這里數(shù)據(jù)可被存儲并在之后用于檢索。緩沖區(qū)的工作與通道緊密聯(lián)系。 Buffer的類層次圖:

緩沖區(qū)屬性

Capacity: 容量, 緩沖區(qū)能夠容納的數(shù)據(jù)元素的最大數(shù)量。這一容量在緩沖區(qū)創(chuàng)建時被設(shè)定，并且永遠不能被改變;

Limit: 上界, 緩沖區(qū)的第一個不能被讀或?qū)懙脑?。或者說，緩沖區(qū)中現(xiàn)存元素的計數(shù);

Position: 位置, 下一個要被讀或?qū)懙脑氐乃饕?。位置會自動由相?yīng)的get()和put()函數(shù)更新;

Mark: 標記, 一個備忘位置。調(diào)用mark()來設(shè)定mark=postion。調(diào)用reset()設(shè)定position= mark。標記在設(shè)定前是未定義的(undefined)。

這四個屬性之間總是循以下關(guān)系:0 <= mark <= position <= limit <= capacity。

直接緩沖區(qū)

操作系統(tǒng)的在內(nèi)存區(qū)域中進行I/O操作。這些內(nèi)存區(qū)域，就操作系統(tǒng)方面而言，是相連的字節(jié)序列。于是，毫無疑問，只有字節(jié)緩沖區(qū)有資格參與I/O操作。也請回想一下操作系統(tǒng)會直接存取進程——在本例中是JVM進程的內(nèi)存空間，以傳輸數(shù)據(jù)。這也意味著I/O操作的目標內(nèi)存區(qū)域必須是連續(xù)的字節(jié)序列。在JVM中，字節(jié)數(shù)組可能不會在內(nèi)存中連續(xù)存儲，或者無用存儲單元集可能隨時對其進行移動。在Java中，數(shù)組是對象，而數(shù)據(jù)存儲在對象中的方式在不同的JVM實現(xiàn)中都各有不同。

直接緩沖區(qū)被用于與通道和固有 I/O 例程交互。它們通過使用固有代碼來告知操作系統(tǒng)直接釋放或填充內(nèi)存區(qū)域，對用于通道直接或原始存取的內(nèi)存區(qū)域中的字節(jié)元素的存儲盡了最大的努力。

通道

通道用于在字節(jié)緩沖區(qū)和位于通道另一邊的實體(通常是一個文件或套接字)之間有效地傳輸數(shù)據(jù)。

通道可以形象地比喻為銀行出納窗口使用的動導管。您的薪水支票就是您要傳送的信息，載體(Carrier)就好比一個緩沖區(qū)。您先填充緩沖區(qū)(將您的薪水支票放到載體上)，接著將緩沖“寫”到通道中(將載體進導管中)，然后信息負載就被傳遞到通道另一邊的I/O服務(wù)(銀行出納員)。channel類的繼承關(guān)系如下:

Scatter/Gather

通道提供了一種被稱為Scatter/Gather的重要新功能(有時也被稱為矢量 I/O)。Scatter/Gather是一個簡單卻強大的概念，它是指在多個緩沖區(qū)上實現(xiàn)一個簡單的I/O操作。對于一個write操作而言，數(shù)據(jù)是從幾個緩沖區(qū)按順序抽取(稱為gather)并沿著通道發(fā)送的。對于 read 操作而言，從通道讀取的數(shù)據(jù)會按順序被散布(稱為scatter)到多個緩沖區(qū)，將每個緩沖區(qū)填滿直至通道中的數(shù)據(jù)或者緩沖區(qū)的最大空間被消耗完。

Scatter的意思是分散，Gather的意思是聚集。我們注意到在上面的類層次結(jié)構(gòu)圖中，除了ByteChannel外，各Channel類還都實現(xiàn)了兩個接口，分別是：

ScatteringByteChannel

GatheringByteChannel

public interface ScatteringByteChannel extends ReadableByteChannel
{
   public long read (ByteBuffer [] dsts) throws IOException;
   public long read (ByteBuffer [] dsts, int offset, int length) throws IOException;
}
public interface GatheringByteChannel extends WritableByteChannel
{
   public long write(ByteBuffer[] srcs) throws IOException;
   public long write(ByteBuffer[] srcs, int offset, int length) throws IOException;
}

文件通道

Channel根據(jù)IO服務(wù)的情況主要分為兩大類，按照《Java NIO》的描述，兩類IO分別是：file I/O 和 stream I/O。前者是針對文件讀寫操作的，而后者多是網(wǎng)絡(luò)通信相關(guān)的和Socket相關(guān)的。Channel分類也基本如此，和前者對應(yīng)的FileChannel，以及與后者對應(yīng)的SocketChannel等類對象。

文件通道總是阻塞式的，因此不能被置于非阻塞模式。

Socket通道

新的socket通道類可以運行非阻塞模式并且是可選擇的。全部socket通道類包括DatagramChannel、SocketChannel和ServerSocketChannel
如上面的類圖，所有的socket通道都繼承于AbstractSelectableChannel。

請注意DatagramChannel和SocketChannel 實現(xiàn)定義讀和寫功能的接口而ServerSocketChannel不實現(xiàn)。ServerSocketChannel 負責監(jiān)聽傳入的連接和創(chuàng)建新的SocketChannel對象，它本身從不傳輸數(shù)據(jù)。

ServerSocketChannel

讓我們從最簡單的ServerSocketChannel來開始對socket通道類的討論。以下是ServerSocketChannel的完整API:

public abstract class ServerSocketChannel extends AbstractSelectableChannel{
    public static ServerSocketChannel open() throws IOException
    public abstract ServerSocket socket();
    public abstract ServerSocket accept() throws IOException;
    public final int validOps()
}

ServerSocketChannel是一個基于通道的socket監(jiān)聽器。它同我們所熟悉的java.net.ServerSocket執(zhí)行相同的基本任務(wù)，不過它增加了通道語義，因此能夠在非阻塞模式下運行。

SocketChannel

SocketChannel，它是使用最多的socket通道類，接口如下：

public abstract class SocketChannel
   extends AbstractSelectableChannel
   implements ByteChannel, ScatteringByteChannel,GatheringByteChannel{
       
   public static SocketChannel open() throws IOException
   public static SocketChannel open (InetSocketAddress remote) throws IOException
   public abstract Socket socket();
   public abstract boolean connect (SocketAddress remote) throws IOException;
   public abstract boolean isConnectionPending();
   public abstract boolean finishConnect() throws IOException;
   public abstract boolean isConnected();
   public final int validOps()
}

socket 和 SocketChannel 類封裝點對點、有序的網(wǎng)絡(luò)連接，類似于我們所熟知并喜愛的 TCP/IP 網(wǎng)絡(luò)連接。SocketChannel 演戶端發(fā)起同一個監(jiān)聽服務(wù)器的連接。直到連接成功，它才能到數(shù)據(jù)并且只會從連接到的地址接。

DatagramChannel

正如SocketChannel對應(yīng)Socket， ServerSocketChannel對應(yīng)ServerSocket，每一個DatagramChannel對象也有一個關(guān)聯(lián)的DatagramSocket對象。不過原命名模式在此并未適用: DatagramSocketChannel顯得有點笨拙，因此采用了簡潔的DatagramChannel名稱。

public abstract class DatagramChannel
    extends AbstractSelectableChannel
    implements ByteChannel, ScatteringByteChannel, GatheringByteChannel{

    public static DatagramChannel open( ) throws IOException
    public abstract DatagramSocket socket( );
    public abstract DatagramChannel connect (SocketAddress remote) throws IOException;
    public abstract boolean isConnected( );
    public abstract DatagramChannel disconnect( ) throws IOException;
    public abstract SocketAddress receive (ByteBuffer dst) throws IOException;
    public abstract int send (ByteBuffer src, SocketAddress target)
    public abstract int read (ByteBuffer dst) throws IOException;
    public abstract long read (ByteBuffer [] dsts) throws IOException;
    public abstract long read (ByteBuffer [] dsts, int offset,int length) throws IOException;
    public abstract int write (ByteBuffer src) throws IOException;
    public abstract long write(ByteBuffer[] srcs) throws IOException;
    public abstract long write(ByteBuffer[] srcs, int offset,int length) throws IOException;
}

選擇器

選擇器提供選擇執(zhí)行已經(jīng)就緒的任務(wù)的能力，這使得多元I/O成為可能。選擇器類管理著一個被注冊的通道集合的信息和它們的就緒狀態(tài)。通道是和選擇器一起被注冊的，并且使用選擇器來更新通道的就緒狀態(tài)。當這么做的時候，可以選擇將被激發(fā)的線程掛起，直
到有就緒的的通道。

實例 文件讀取

將文件內(nèi)容讀取到一個字符串中

    public static String readFileToString(String filePath, Charset charset) throws IOException {
        try(FileInputStream in = new FileInputStream(filePath);
            FileChannel channel = in.getChannel()
        ){
            long fileSize = channel.size();
            int bufferSize = 1024;
            if (fileSize < 1024){
                bufferSize = (int)fileSize;
            }
            StringBuilder builder = new StringBuilder((int)(fileSize/2));

            ByteBuffer byteBuffer = ByteBuffer.allocate(bufferSize);
            CharBuffer charBuffer = CharBuffer.allocate(bufferSize/2);
            CharsetDecoder decoder = charset.newDecoder();
            while (channel.read(byteBuffer) != -1) {
                byteBuffer.flip();
                CoderResult rel;
                do{
                    rel = decoder.decode(byteBuffer,charBuffer,false);
                    charBuffer.flip();

                    builder.append(charBuffer.array(),0,charBuffer.limit());
                    charBuffer.clear();
                }while (rel.isOverflow());
                byteBuffer.compact();
            }

            byteBuffer.flip();
            decoder.decode(byteBuffer,charBuffer,true);
            charBuffer.flip();
            builder.append(charBuffer.array(),0,charBuffer.limit());
            charBuffer.clear();

            return builder.toString();
        }
    }

文件寫入

將一串字符串寫入文件中

    public static long writeStringToFile(String filePath, String content, Charset charset) throws IOException {
        long writeSize = 0;
        try(FileOutputStream out = new FileOutputStream(filePath);
            FileChannel channel = out.getChannel()
        ){
            ByteBuffer buffer = ByteBuffer.wrap(content.getBytes(charset));
            while (buffer.hasRemaining()){
                writeSize += channel.write(buffer);
            }
            channel.force(false);
        }
        return writeSize;
    }

簡單的ServerSocketChannel使用

只是一個簡單的ServerSocketChannel

    public static void main(String[] args) throws IOException {
        ServerSocketChannel ssc = ServerSocketChannel.open();
        ssc.socket().bind(new InetSocketAddress(8888));
//        ssc.configureBlocking(false);
        String hello_string = "hello rudy!";
        ByteBuffer buffer = ByteBuffer.wrap(hello_string.getBytes());
        while (true){
//            System.out.println("wait for connections");
            SocketChannel clientSocket = ssc.accept();
            if (null == clientSocket){
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }else{
                System.out.println(String.format("incomimg connection from: %s",clientSocket.getRemoteAddress()));
                buffer.rewind();
                clientSocket.write(buffer);
                clientSocket.close();
            }
        }
    }

簡單的SocketChannel使用

    public static void main(String[] args) throws IOException {
        SocketChannel channel = SocketChannel.open();
        channel.connect(new InetSocketAddress("localhost",8888));
        ByteBuffer buffer = ByteBuffer.allocate(100);
        CharBuffer charBuffer = CharBuffer.allocate(100);
        CharsetDecoder decoder = Charset.defaultCharset().newDecoder();
        channel.read(buffer);
        buffer.flip();
        decoder.decode(buffer,charBuffer,false);
        charBuffer.flip();
        while (charBuffer.hasRemaining()){
            System.out.println(charBuffer.get());
        }
        channel.close();
    }

Selector使用，I/O多路復用

較為綜合的例子

    public static void main(String[] args) throws IOException {
        Selector selector = Selector.open();
        ServerSocketChannel channel = ServerSocketChannel.open();
        channel.bind(new InetSocketAddress("localhost",8888));
        channel.configureBlocking(false);

        SelectionKey selectionKey = channel.register(selector,SelectionKey.OP_ACCEPT);

        ByteBuffer buffer = ByteBuffer.allocate(1024);
        CharBuffer charBuffer = CharBuffer.allocate(1024);
        CharsetDecoder decoder = Charset.defaultCharset().newDecoder();

        while (true){
            int readyNum = selector.select();
            if (readyNum <= 0){
                continue;
            }
            Set readyKey = selector.selectedKeys();
            for (SelectionKey tempKey : readyKey){
                if (tempKey.isAcceptable()){
                    ServerSocketChannel tempChannel = (ServerSocketChannel) tempKey.channel();
                    SocketChannel clientChannel = tempChannel.accept();
                    if (null != clientChannel){
                        System.out.println("one connection:" + clientChannel.getRemoteAddress());
                        clientChannel.configureBlocking(false);
                        clientChannel.register(selector,SelectionKey.OP_READ);
                    }
                }

                if(tempKey.isReadable()){
                    SocketChannel tempChannel = (SocketChannel) tempKey.channel();
                    tempChannel.read(buffer);
                    buffer.flip();
                    decoder.decode(buffer,charBuffer,false);
                    charBuffer.flip();
                    String getData = new String(charBuffer.array(),0,charBuffer.limit());
                    System.out.println(tempChannel.getRemoteAddress() + ":" + getData);
                    buffer.clear();
                    charBuffer.clear();
                    tempChannel.write(ByteBuffer.allocate(0));
                    if (getData.equalsIgnoreCase("exit")){
                        tempChannel.close();
                    }
                }

                if (tempKey.isWritable()){
                    SocketChannel tempChannel = (SocketChannel) tempKey.channel();
//                    System.out.println(tempChannel.getRemoteAddress() + ": read");
                }
                readyKey.remove(tempKey);
            }
        }
    }

UDP服務(wù)端

    public static void main(String[] args) throws IOException {
        DatagramChannel channel = DatagramChannel.open();
        channel.bind(new InetSocketAddress("localhost",8888));
        ByteBuffer buffer = ByteBuffer.allocate(100);
        CharBuffer charBuffer = CharBuffer.allocate(100);
        CharsetDecoder decoder = Charset.defaultCharset().newDecoder();
        while (true){
            buffer.clear();
            charBuffer.clear();
            SocketAddress remoteAddress = channel.receive(buffer);
            buffer.flip();
            decoder.decode(buffer,charBuffer,false);
            charBuffer.flip();
            System.out.println( remoteAddress +":" + new String(charBuffer.array(),0, charBuffer.limit()));
        }

    }

UDP客戶端

    public static void main(String[] args) throws IOException {
        DatagramChannel channel = DatagramChannel.open();
        String sendData = "哈哈哈 hello rudy!";
        ByteBuffer buffer = ByteBuffer.wrap(sendData.getBytes());
        channel.send(buffer, new  InetSocketAddress("localhost",8888));
        System.out.println("send end!");
    }

他山之石

關(guān)于異步，同步，阻塞與非阻塞: http://blog.csdn.net/brainkick/article/details/9312407

Java NIO系列教程: http://ifeve.com/java-nio-all/

官網(wǎng)java7 api文檔: http://docs.oracle.com/javase/7/docs/api/

java NIO詳解: http://zalezone.cn/2014/09/17/NIO%E7%B2%BE%E7%B2%B9/

GPU云服務(wù)器云服務(wù)器 java nio nio java JAVA_NIO java nio實現(xiàn)

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/66273.html

發(fā)表評論

登陸后可評論

0條評論

crossoverJie

男|高級講師

我要關(guān)注我要私信

TA的文章

我家貓老喜歡和我躲貓貓，我用Python趕忙寫了個貓臉檢測器。在哪里都逃不出我的手心。

閱讀 862·2021-11-25 09:43
【測試】頭腦風暴-01-無接口文檔測試推想

閱讀 3692·2021-11-19 09:40
ApiPost與PostMan，你可以任選一款不錯的接口管理工具

閱讀 898·2021-09-29 09:34
cyun：國慶鉅惠,香港cn2 gia/美國cera云服務(wù)器僅14.5元,最低5折起,限量促銷

閱讀 1814·2021-09-26 10:21
云主機選什么系統(tǒng)-如何選擇云主機部署管理軟件？

閱讀 887·2021-09-22 15:24
主機和云服務(wù)器怎么連接-云主機怎么使用？

閱讀 4208·2021-09-22 15:08
程序人生：半路轉(zhuǎn)行再來學軟件測試，能夠成為大牛嗎？

閱讀 3285·2021-09-07 09:58
基于 less,sass,stylus三種預(yù)處理rem

閱讀 2709·2019-08-30 15:55

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

java中的NIO

相關(guān)文章

Java NIO 概覽

**關(guān)于Java IO與NIO知識都在這里**

***Java* IO之*NIO***

**少啰嗦！一分鐘帶你讀懂Java的NIO和經(jīng)典IO的區(qū)別**

Java NIO與IO 區(qū)別

**JDK10都發(fā)布了，nio你了解多少？**

發(fā)表評論

0條評論

crossoverJie

男|高級講師

TA的文章

我家貓老喜歡和我躲貓貓，我用Python趕忙寫了個貓臉檢測器。在哪里都逃不出我的手心。

【測試】頭腦風暴-01-無接口文檔測試推想

ApiPost與PostMan，你可以任選一款不錯的接口管理工具

cyun：國慶鉅惠,香港cn2 gia/美國cera云服務(wù)器僅14.5元,最低5折起,限量促銷

云主機選什么系統(tǒng)-如何選擇云主機部署管理軟件？

主機和云服務(wù)器怎么連接-云主機怎么使用？

程序人生：半路轉(zhuǎn)行再來學軟件測試，能夠成為大牛嗎？

基于 less,sass,stylus三種預(yù)處理rem

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

java中的NIO

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！