大数据NiFi(十七):NiFi术语

NiFi术语

一、DataFlow Manager

DataFlow Manager(DFM)是NiFi用户,具有添加,删除和修改NiFi数据流组件的权限。

二、FlowFile

FlowFile代表NiFi中的单个数据。FlowFile由属性(attribute)和内容(content)组成。内容是FlowFile表示的数据,属性由键值对组成,提供有关数据的信息或上下文的特征。所有FlowFiles都具有以下标准属性:

uuid:一个通用唯一标识符,用于区分各个FlowFiles。


【资料图】

filename:在将数据存储到磁盘或外部服务时可以使用的可读文件名

path:在将数据存储到磁盘或外部服务时可以使用的分层结构值,以便数据不存储在单个目录中。

三、Processor

处理器是NiFi组件,用于监听传入数据、从外部来源提取数据、将数据发布到外部来源、路由,转换或从FlowFiles中提取信息。

四、Relationship

每个处理器都有零个或多个关系。这些关系指示如何对FlowFile进行处理:处理器处理完FlowFile后,它会将FlowFile路由(传输)到其中一个关系。DFM能够将每一个关系连接到其他组件,以指定FlowFile应该在哪里进行下一步处理。

五、Connection

Connection可以将不同的Processor连接在一起创建自动的数据处理流程。

六、Controller Service

控制器服务是扩展点,在用户界面中由DFM添加和配置后,将在NiFi启动时启动,并提供给其他组件(如处理器或其他控制器服务)需要的信息。

七、Reporting Task

报告任务在后台运行,以提供有关NiFi实例中发生情况的统计报告。

八、Funnel

漏斗是一个NiFi组件,用于将来自多个Connections的数据合并到一个Connection中。

九、Process Group

当数据流变得复杂时,在更高,更抽象的层面上管理数据流是很有用的。NiFi允许将多个组件(如处理器)组合到一个Process group 中。可以通过界面查看组和操作组中的组件。

十、Port

一般用于远程连接NiFi组使用。

十一、Remote Process Group

远程组可以实现将数据从一个NiFi实例传输到另一个NIFI实例。虽然NiFi提供了许多不同的机制来将数据从一个系统传输到另一个系统,但是如果将数据传输到另一个NiFi实例,远程进程组实现是最简单方法。

十二、Bulletin(公告)

NiFi用户界面提供了大量有关应用程序当前状态的监视和反馈。除了每个组件"黄色三角形"的警告以外,每个组件运行有错误时还会报告错误公告,这个错误会显示在处理器的右上角,以红色图标显示。系统级公告显示在页面顶部附近的状态栏上。使用鼠标悬停在该图标上将提供一个工具提示,显示公告相关信息。

十三、Template

DataFlow由许多可以重用的组件组成,NiFi允许DFM选择DataFlow的一部分(或整个DataFlow)并创建模板,达到复用的目的。

十四、flow.xml.gz

用户界面画布的所有组件内容都实时写入一个名为flow.xml.gz的文件,该文件默认位于$NIFI_HOME/conf目录中。在画布上进行的任何更改都会自动保存到此文件中。此外,NiFi在更新时会自动备份此文件,您可以使用这些备份来回滚配置,如果想要回滚,先停止NiFi,将flow.xml.gz替换为所需的备份,然后重新启动NiFi。在集群环境中,停止整个NiFi集群,替换其中一个节点的flow.xml.gz,删除自其他节点的flow.xml.gz,然后重启集群,节点之间会自动同步"flow.xml.gz"备份文件。

关键词: 编程算法

重回“国库”!方正证券10.9亿股股票被追缴、没收

5月19日,证券板块整体跌幅0 09%,但方正证券上涨3 78%,涨幅位居板块第一。消息面上,方正证券发布公告称,大连中院依法作出执行裁定书,

深圳商报 2022-05-20

放开限购、“开门迎客” 大量债基收紧申购门槛

近来,不少权益基金放开限购、开门迎客,其中不乏明星基金经理旗下产品。与此同时,大量债券基金却收紧了申购门槛,个别将限购金额上限定为

深圳商报 2022-05-20

排队11个月后 “国产汽水第一股”冰峰饮料告吹

在排队11个月后,国产汽水第一股冰峰饮料上会前主动撤回申请资料,这意味着其IPO告吹。发审委18日晚称,因冰峰饮料撤回申报材料,故取消19

深圳商报 2022-05-20

23年来 “5·19”科技股行情发生了翻天覆地的变化

23年过去,A股市场发生了翻天覆地的变化。同花顺数据显示,1999年5月19日,A股上市公司只有857家,A股总市值仅有2 05万亿元。而今年5月19日

深圳商报 2022-05-20

再获国家首肯!23家深圳专精特新“小巨人”进入最新名单

深圳创新能力,再获国家首肯。23家深圳专精特新小巨人,进入国家专精特新中小企业高质量发展最新建议支持名单。按照安排,国家将拿出100亿

深圳商报 2022-05-20

各行业工资单出炉!IT类最赚钱,还有这些钱景喜人

  中新经纬11月24日电 (张澍楠)虽说三百六十行,行行出状元,但行业之间的差距,仍然很大。究竟什么行业“最香”?被视为“高富帅”的金

2021-11-24

“狗咬人”事件当事人被撤职 多名干部被问责

  新华社郑州11月23日电(记者冯大鹏)在“狗咬人”舆情发酵后,23日晚,河南安阳通报了对涉“狗咬人”事件责任单位和责任人的处理决定。 

2021-11-24

重回“国库”!方正证券10.9亿股股票被追缴、没收

5月19日,证券板块整体跌幅0 09%,但方正证券上涨3 78%,涨幅位居板块第一。消息面上,方正证券发布公告称,大连中院依法作出执行裁定书,

深圳商报 2022-05-20

放开限购、“开门迎客” 大量债基收紧申购门槛

近来,不少权益基金放开限购、开门迎客,其中不乏明星基金经理旗下产品。与此同时,大量债券基金却收紧了申购门槛,个别将限购金额上限定为

深圳商报 2022-05-20

排队11个月后 “国产汽水第一股”冰峰饮料告吹

在排队11个月后,国产汽水第一股冰峰饮料上会前主动撤回申请资料,这意味着其IPO告吹。发审委18日晚称,因冰峰饮料撤回申报材料,故取消19

深圳商报 2022-05-20

23年来 “5·19”科技股行情发生了翻天覆地的变化

23年过去,A股市场发生了翻天覆地的变化。同花顺数据显示,1999年5月19日,A股上市公司只有857家,A股总市值仅有2 05万亿元。而今年5月19日

深圳商报 2022-05-20

再获国家首肯!23家深圳专精特新“小巨人”进入最新名单

深圳创新能力,再获国家首肯。23家深圳专精特新小巨人,进入国家专精特新中小企业高质量发展最新建议支持名单。按照安排,国家将拿出100亿

深圳商报 2022-05-20

各行业工资单出炉!IT类最赚钱,还有这些钱景喜人

  中新经纬11月24日电 (张澍楠)虽说三百六十行,行行出状元,但行业之间的差距,仍然很大。究竟什么行业“最香”?被视为“高富帅”的金

2021-11-24

“狗咬人”事件当事人被撤职 多名干部被问责

  新华社郑州11月23日电(记者冯大鹏)在“狗咬人”舆情发酵后,23日晚,河南安阳通报了对涉“狗咬人”事件责任单位和责任人的处理决定。 

2021-11-24
x 广告
x 广告
x 广告

Copyright   2015-2022 北方仓储网版权所有  备案号:京ICP备2021034106号-50   联系邮箱: 55 16 53 8@qq.com