hadoop中压缩编解码器和文件格式之间的区别?

卡尔提克

我想知道hadoop中的压缩编解码器和文件格式有何不同。例如,实木复合地板文件格式还可以减小原始文件的大小,并支持文件拆分。Bzip2codec也做同样的事情。请帮助我更好地了解两者之间的区别。

埃里克·施密格罗(Erik Schmiegelow)

压缩和文件格式是完全不同的东西。

文件格式描述了存储在文件中的数据的结构。Avro将包含Avro序列化的对象,SequenceFile将包含一个键(通常是一个数字)和一个值(原始数据)。Parquet是一种特殊的文件格式,允许按列存储,因此非常节省空间。

您可以使用更有效的格式(例如,图像的TIFF和JPG),而不要使用(PSD)。

最重要的是,您可以选择使用不同的压缩编解码器压缩存储中的文件。Bzip,snappy和GZ是常见的方法。在上面的示例中,这将与使用Zip压缩图像相对应。

希望这可以提供一些澄清。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

无损视频压缩编解码器

mapreduce作业未正确设置压缩编解码器

Spring Data Cassandra中的编解码器和转换器之间的区别?

带有较大文件(像素格式,编解码器)的UIGraphicsBeginImageContext中的UIImage失真

什么是编解码器(例如DivX?),它与文件格式(例如MPG)有什么区别?

G.729编解码器变体之间的区别是什么

FFmpeg 中的 HuffYUV 和 ffvhuff 编解码器有什么区别?

更改WAV文件的编解码器

使用 python 编解码器保存文件

在Opencv中以UYVY编解码器录制视频

了解Unicode编解码器

FFProbe获取编解码器

安装媒体编解码器

ir定制编解码器

弹道预测的编解码器

音频编解码器的加密

这两个VLC编解码器标识符之间的区别在哪里?

压缩/解压缩,什么使编解码器可拆分?

应该在视频上使用哪种编解码器,以避免在YouTube和Vimeo中重新压缩

ffmpeg说“ WAVE格式不支持pcm_f32be编解码器”,但文件已创建

gsutil无法上传带有“编解码器无法解码字节”错误的文件

python 3 - UnicodeEncodeError: 'charmap' 编解码器无法编码字符(编码所以它在文件中)

表达式编解码器(grails.views.gsp.codecs.expression)在部署的war文件中似乎被忽略

UnicodeDecodeError: 'charmap' 编解码器无法解码

使用ffmpeg连接2个文件时,在流#1中找不到编解码器pcm_alaw的标签,容器中当前不支持编解码器

逆向工程无损视频编解码器(Photoshop格式视频层)

使用 Videogular 优化“搜索”的最佳视频格式/编解码器

UnicodeDecodeError: 'ascii' 编解码器无法解码 Textranking 代码中的字节

我如何(或有可能)将AVC编解码器配置文件和级别转换为MIME编解码器定义?