本地文件系统上的Hadoop

学习者

我在伪分布式上运行Hadoop。我想通过抽象HDFS为我的工作从本地文件系统读取和写入。我正在使用file:///参数。我点击了此链接。

这是的文件内容core-site.xml

<configuration>
 <property>
  <name>hadoop.tmp.dir</name>
  <value> /home/abimanyu/temp</value>   
 </property>

 <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
 </property>

</configuration>

这是的文件内容mapred-site.xml

<configuration>

 <property>
  <name>mapred.job.tracker</name>
  <value>localhost:54311</value>
 </property>

 <property>
    <name>fs.default.name</name>
    <value>file:///</value>
 </property>

 <property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>1</value>
 </property>

 <property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>1</value>
 </property>

</configuration>

这是的文件内容hdfs-site.xml

<configuration>

 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
</configuration>

这是我尝试启动恶魔时遇到的错误(使用start-dfs或start-all),

localhost: Exception in thread "main" java.lang.IllegalArgumentException: Does not contain a valid host:port authority: file:///
localhost:      at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:212)
localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:244)
localhost:      at org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress(NameNode.java:236)
localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:194)
localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.<init>(SecondaryNameNode.java:150)
localhost:      at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:676)

对我来说奇怪的是,从本地文件系统读取的内容在中完全可以正常运行,hadoop-0.20.2而在中则不能hadoop-1.2.1从最初的发行版到更高的版本有什么变化吗?让我知道如何从Hadoop JAR的本地文件系统读取。

克里斯·怀特

您可以从mapred-site.xml文件中删除fs.default.name值-该值仅应位于core-site.xml文件中。

如果要在本地文件系统上以伪模式运行,通常可以通过以所谓的本地模式运行来实现-通过将core-site.xml中的fs.default.name值设置为file:///(您目前已将其配置为hdfs:// localhost:54310)。

您看到的堆栈跟踪是辅助名称节点正在启动时-在“本地模式”下运行时不需要此操作,因为没有fsimage或2NN可以使用的编辑文件。

修复您的core-site.xml和mapred-site.xml。停止所有hadoop守护程序,然后仅启动map-reduce守护程序(Job Tracker和Task Tracker)。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

无法在本地文件系统上创建Hadoop序列文件

无法将文件从本地文件系统复制到Cloudera上的hadoop / hdfs

Hadoop FileUtils无法从Scala在本地(Unix)文件系统上写入文件

Gradle存储在本地文件系统上

Hadoop 客户端不断从本地文件系统读取

Kubernetes 上的气流:如何从本地文件系统加载 dag 文件?

Hadoop从Hadoop节点的本地文件系统访问第三方库

在本地文件系统上保存 PDF 格式的图像

使用 WORKER 系统上的本地文件进行 DASK

使用 python 从本地系统上传 Ambari Apache 上的文件

将文件从s3://复制到本地(hadoop)文件系统时出现错误

Shell命令将文件从HDFS传输到Hadoop 2.6.9中的本地文件系统

用于将文件从本地文件系统移动到HDFS的Hadoop工具

如何在远程系统上加密文件,加密的文件应直接保存在本地系统中

在本地PC上创建git repo,然后在linux中跨本地文件系统克隆repo

文件不会从文件系统上的文件夹移动或复制到本地存储桶

在Hadoop中导航文件系统

网络文件系统+本地访问

ncrcat:警告,不要使用本地文件* .nc在远程文件系统上搜索/*.nc

在hadoop文件系统中查找文件

如何在hadoop文件系统上为Java程序设置类路径

将文件从foriegn文件系统“装载”到本地文件系统?

查看本地文件系统的文件夹

从本地文件系统加载qml组件/文件

在本地文件系统上的HTML中设置根目录的绝对路径

docker mysql文件在本地系统上的持久存储位置

使用HostPath时,Mac版Docker在本地文件系统上的哪个位置存储PersistentVolume数据?

本地文件系统上的git远程仓库是否应该以file://作为前缀?

Blazor WebAssembly PWA是否可以在用户的文件系统上运行本地桌面应用程序?