資訊專欄INFORMATION COLUMN
摘要：遇到這個(gè)問題，查找網(wǎng)上好多資料，一般都是說(shuō)和不同步導(dǎo)致的，或者防火墻沒開端口，或者和無(wú)法通信導(dǎo)致的。本地需要配置好，然后加上下面這句代碼意思大概就是偽分布式注冊(cè)到的是本機(jī)的，當(dāng)遠(yuǎn)程客戶端連接到得到的的時(shí)候，得到的是，這自然是連接不上的。
019-07-01 16:45:24,933 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 8020, call org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock from 58.211.111.42:63048 Call#3 Retry#0
java.io.IOException: File /a1.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1620)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3350)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:678)
at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock(AuthorizationProviderProxyClientProtocol.java:213)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:491)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2141)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2137)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1835)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2135)
學(xué)些hadoop。遇到這個(gè)問題，查找網(wǎng)上好多資料，一般都是說(shuō)namenode和datanode不同步導(dǎo)致的，或者防火墻沒開50010端口，或者nameNode和datanode無(wú)法通信導(dǎo)致的。
其實(shí)通過(guò)命令行都是可以正常操作的，遠(yuǎn)程調(diào)用的時(shí)候可以創(chuàng)建目錄和文件，但是像文件寫內(nèi)容的時(shí)候，就寫不進(jìn)去，報(bào)如上錯(cuò)誤。
本地host需要配置好，然后加上下面這句代碼
configuration = new Configuration();
configuration.set("dfs.client.use.datanode.hostname", "true");
意思大概就是偽分布式hdfs,datanode注冊(cè)到namenode的ip是本機(jī)的127.0.0.1，當(dāng)遠(yuǎn)程客戶端連接到namenode得到datanode的ip的時(shí)候，得到的是127.0.0.1，這自然是連接不上的。這里的意思大概就是強(qiáng)制本地java客戶端使用hostname去連接datanode,可以連接成功
防火墻端口50010也是必須打開的，因?yàn)閿?shù)據(jù)節(jié)點(diǎn)需要使用這個(gè)端口
參考自鏈接描述
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/75102.html
摘要：優(yōu)點(diǎn)開發(fā)成本低，可以配置加速網(wǎng)絡(luò)三分布式文件系統(tǒng)方案常見的分布式文件系統(tǒng)有，等。它們都不是系統(tǒng)級(jí)的分布式文件系統(tǒng)，而是應(yīng)用級(jí)的分布式文件存儲(chǔ)服務(wù)。 一、小應(yīng)用存儲(chǔ)方案 在開發(fā)中上傳文件存儲(chǔ)是個(gè)問題，而一般小應(yīng)用開發(fā)會(huì)選擇服務(wù)器本地目錄做為存儲(chǔ)地址，通過(guò)保存文件的相對(duì)路徑來(lái)獲取文件，在應(yīng)用不要求高可用的情況下這是一種普遍的方案。 問題: 在每次更新Java版本時(shí)，都需要將文件目錄做一次備...
摘要：優(yōu)點(diǎn)開發(fā)成本低，可以配置加速網(wǎng)絡(luò)三分布式文件系統(tǒng)方案常見的分布式文件系統(tǒng)有，等。它們都不是系統(tǒng)級(jí)的分布式文件系統(tǒng)，而是應(yīng)用級(jí)的分布式文件存儲(chǔ)服務(wù)。 一、小應(yīng)用存儲(chǔ)方案 在開發(fā)中上傳文件存儲(chǔ)是個(gè)問題，而一般小應(yīng)用開發(fā)會(huì)選擇服務(wù)器本地目錄做為存儲(chǔ)地址，通過(guò)保存文件的相對(duì)路徑來(lái)獲取文件，在應(yīng)用不要求高可用的情況下這是一種普遍的方案。 問題: 在每次更新Java版本時(shí)，都需要將文件目錄做一次備...
摘要：對(duì)上的文件進(jìn)行上傳和下載是對(duì)集群的基本操作，在權(quán)威指南一書中，對(duì)文件的上傳和下載都有代碼的實(shí)例，但是對(duì)如何配置客戶端卻是沒有講得很清楚，經(jīng)過(guò)長(zhǎng)時(shí)間的搜索和調(diào)試，總結(jié)了一下，如何配置使用集群的方法，以及自己測(cè)試可用的對(duì)集群上的文件進(jìn)行操作的程 對(duì)HDFS上的文件進(jìn)行上傳和下載是對(duì)集群的基本操作，在《HADOOP權(quán)威指南》一書中，對(duì)文件的上傳和下載都有代碼的實(shí)例，但是對(duì)如何配置HADOOP...
摘要：助輔助做元數(shù)據(jù)的備份。元數(shù)據(jù)存儲(chǔ)在內(nèi)存和磁盤中，這是因?yàn)榇疟P的讀寫效率較低，而保存到內(nèi)存又有斷電消失的隱患。但磁盤中的元數(shù)據(jù)并不是最新的，內(nèi)存中的元數(shù)據(jù)才是實(shí)時(shí)的。將中的和復(fù)制到自身節(jié)點(diǎn)上并加載進(jìn)內(nèi)存，根據(jù)的記錄操作更改元數(shù)據(jù)信息。 HDFS(Hadoop Distributed File System ) 前言：最近正式進(jìn)入了大數(shù)據(jù)框架的學(xué)習(xí)階段，文章來(lái)自個(gè)人OneNote筆記全部...
閱讀 1898·2021-11-17 09:33
閱讀 6497·2021-10-12 10:20
閱讀 2313·2021-09-22 15:50
閱讀 1802·2021-09-22 15:10
閱讀 637·2021-09-10 10:51
閱讀 640·2021-09-10 10:50
閱讀 3070·2021-08-11 11:19
閱讀 1792·2019-08-30 15:55
