大数据分析命令行工具有哪些
715人已读
发布于:2023-02-10 12:53:11
展开目录
展开目录收起
1、wget
2、cat
3、wc
4、head
5、tail
6、find
7、cut
8、uniq
9、awk
10、grep
11、sed
12、history
大数据分析命令行工具包括:wget、cat、wc、head、tail、find、cut、uniq、awk、grep、sed、history.

大数据分析命令性工具有那些

1、wget

wget是一种文件检索实用程序,用于从远程位置下载文件。以其最基本的形式,wget用于下载远程文件:

2、cat

cat是用于将文件内容输出到标准输出的工具。该名称来自串联。更复杂的用例包括将文件组合在一起(实际串联),将文件追加到另一个文件,对文件行编号等。

3、wc

该wc命令用于产生字数,行数,字节数以及与文本文件相关的内容。wc的默认输出在不带选项的情况下运行时,是一行,由左至右,行数,字数(请注意,每行不间断的单个字符串计为一个字),字符数和文件名。

4、head

head将文件的前n行(默认情况下为10)输出到标准输出。可以使用-n选项设置显示的行数。

5、tail

tail命令用途是依照要求将指定的文件的最后部分输出到标准设备,通常是终端,通俗讲来,就是把某个档案文件的最后几行显示到终端上,假设该档案有更新,tail会自己主动刷新,确保你看到最新的档案内容。

6、find

ind是用于在文件系统中搜索特定文件的实用程序。以下内容从当前目录(“。”)开始的树结构中搜索以“ iris”开头并以常规文件类型(“ -type f”组成的任何哑字符(“ -name'iris *””)结尾的任何文件”):

7、cut

cut用于从文件中切出一行文本。尽管可以使用多种标准来制作这些切片,但是cut可以用于从CSV文件中提取列数据。这将使用逗号作为字段分隔符(“ -d','”)输出iris.csv文件的第五列(“ -f 5”):

8、uniq

uniq通过将相同的连续行折叠为一个副本,将文本文件的输出修改为标准输出。单独看来,这似乎并不太有趣,但是当用于在命令行上构建管道时(将一个命令的输出插入另一个命令的输入,依此类推),这可能会变得有用。

9、awk

awk实际上不是“命令”,而是一种完整的编程语言。它用于处理和提取文本,并且可以从命令行以单行命令形式调用。精通awk需要花费一些时间,但是在此之前,这里是它可以完成的示例。考虑到我们的示例文件– iris.csv –相当有限(特别是在涉及文本多样性时),此行将调用awk,在给定文件(“ iris.csv”)中搜索字符串“ setosa”,并逐一打印到它遇到的项目(保存在$ 0变量中)

10、grep

grep 是另一种文本处理工具,用于字符串和正则表达式匹配。如果你在命令行上花费大量时间进行文本处理,那么grep绝对是你会熟悉的工具。

11、sed

sed是一个流编辑器,是另一个文本处理和转换工具,类似于awk。我们在下面使用此行,使用此行将其在iris.csv文件中出现的“ setosa”更改为“ iris-setosa”:

12、history

history 非常简单,但也很有用,尤其是当你要复制在命令行中完成的某些数据准备时。

让数据流动起来,开启业绩增长!

了解500+品牌零售商使用LinkFlow的场景用例