我是Flume-ng的新手。我必须编写一个程序，该程序可以将文本文件传输到其他程序（代理）。我知道我们必须了解代理，例如主机IP，端口号等。然后应定义源，接收器和通道。我只想将日志文件传输到服务器。我的客户代码如下。公共类MyRpcClientFacade {
public class MyClient{
private RpcClient client;
private String hostname;
private int port;
public void init(String hostname, int port) {
this.hostname = hostname;
this.port = port;
this.client = RpcClientFactory.getDefaultInstance(hostname, port);
}
public void sendDataToFlume(String data) {
Event event = EventBuilder.withBody(data, Charset.forName("UTF-8"));
try {
client.append(event);
} catch (EventDeliveryException e) {
client.close();
client = null;
client = RpcClientFactory.getDefaultInstance(hostname, port);
}
}
public void cleanUp() {
client.close();
}
}
上面的代码只能将String数据发送到指定的进程。但是我必须发送文件。另外请告诉我是否Source,Channel and Sink必须写入服务器？如果是这样，如何配置和编写这三个。请帮我。给一个小样本Source,Sink And Channel
实际上，您只需要在每个节点上获取Flume客户端即可。然后，您提供一个配置文件，其中提供有关其行为的信息。例如，如果您的节点读取了一个文件（读取每一行，并将它们作为事件发送到channel），然后通过RPC套接字发送文件内容。您的配置将如下所示：
# sources/sinks/channels list
<Agent>.sources = <Name Source1>
<Agent>.sinks = <Name Sink1>
<Agent>.channels = <Name Channel1>
# Channel attribution to a source
<Agent>.sources.<Name Source1>.channels = <Name Channel1>
# Channel attribution to sink
<Agent>.sinks.<Name Sink1>.channels = <Name Channel1>
# Configuration (sources,channels and sinks)
# Source properties : <Name Source1>
<Agent>.sources.<Name Source1>.type = exec
<Agent>.sources.<Name Source1>.command = tail -F test
<Agent>.sources.<Name Source1>.channels = <Name Channel1>
# Channel properties : <Name Channel1>
<Agent>.channels.<Name Channel1>.type = memory
<Agent>.channels.<Name Channel1>.capacity = 1000
<Agent>.channels.<Name Channel1>.transactionCapacity = 1000
# Sink properties : <Name Sink1>
<Agent>.sinks.<Nom Sink1>.type = avro
<Agent>.sinks.<Nom Sink1>.channel = <Nom Channel1>
<Agent>.sinks.<Nom Sink1>.hostname = <HOST NAME or IP>
<Agent>.sinks.<Nom Sink1>.port = <PORT NUMBER>
然后，您将必须设置一个代理，该代理将在同一端口上的avro源上进行读取，并以您想要存储它们的方式处理该事件。希望对您有所帮助；）
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句