flume怎么采集远程服务器上的日志
1、需要配置syslog服务，在发送syslog的机器上配置syslog.conf 或者rsyslog.conf 加入*.* @ip 这样的语句。
2、前提条件：已经在linux服务器上安装并启动了相关的程序：Tomcat7，Hadoop1，Zookeeper6，HBase0.95，Flume5。具体安装步骤请自行查看相关文档。 首先开启Tomcat中的日志记录功能，并选择combined格式。
3、当节点出现故障时，日志能够被传送到其他节点上而不会丢失。
怎样在java程序中使用java启动flume
1、怎样在java程序中使用java启动flume TCP传输需要建立客户端和服务器端，即Socket和Server Socket ， 建立连接后，通过Socket中的IO流进行数据的传输 。传输结束后关闭Socket。客户端和服务器端是两个独立的应用程序。
2、运行exe 文件 Java JDK里已经提供了调用的方法，不在累赘，代码如下。
3、采用Runtime的exec执行程序时，首先要使用Runtime的静态方法得到一个Runtime，然后调用Runtime的exec方法。可以将要执行的外部程序和启动参数、环境变量、工作目录作为参数传递给exec方法，该方法执行后返回一个Process代表所执行的程序。
4、最后试了下改变flume本身的Java内存配置，第一个地方是 flume安装目录/conf/flume-env.sh 中的配置：报错依然存在，第二个地方是 flume安装目录/bin/flume-ng 中 重新启动flume成功。
5、方法首先得看linux服务器的限制，如果服务器允许自定义的登录，并且你在服务器上运行了一个监听某端口（如1234）的程序，写一个client端，用socket连接上去，就可以执行了。
6、然后在main函数中输入System.out.println(hello world！)；意思就是打印出hello world！。在Class上右击，选择Run As ，选择Java Application。如图在控制台中，我们就可以看到打印出的helloworld！。
flume与kafka集成配置
1、当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
2、日志采集。线上数据一般主要是落地文件或者通过socket传输给另外一个系统。这种情况下，你很难推动线上应用或服务去修改接口，直接向kafka里写数据。这时候你可能就需要flume这样的系统帮你去做传输。
3、前面应该还有个数据生产者，比如flume. flume负责生产数据，发送至kafka。 spark streaming作为消费者，实时的从kafka中获取数据进行计算。 计算结果保存至redis，供实时推荐使用。
4、Kafka Channel相关操作在org.apache.flume.channel.kafka包的KafkaChannel类定义，kafka相关参数的默认值在org.apache.kafka.clients.CommonClientConfigs包中的KafkaChannel-Configuration中。
5、理清你的业务流程，数据流向，数据到底是在什么地方丢失的数据，在kafka 之前的环节或者kafka之后的流程丢失？比如kafka的数据是由flume提供的，也许是flume丢失了数据，kafka 自然就没有这一部分数据。
微信扫一扫 
支付宝扫一扫 
