tailwind定义组件的方法:别小看tail,命令它难倒了技术总监
我把自己以往的文章汇总成为了 Github ,欢迎各位大佬 star
https://github.com/crisxuan/bestJavaer
tail命令能够看到日志的滚动,非常方便。于是xjjdog想,既然我们能够用这个命令,看到所有的日志,那能不能使用tail命令,做日志收集呢?
想象归想象,如果你想要一个快速的实时日志收集工具,那tail确实是个非常棒的工具。它比什么flume、logstatsh,比什么FILEbeat之类的,快捷的多。事实上,在工具缺乏的旧年代,我就曾经这么干过,而且它工作的很好。
下面是一段使用Java语言书写的代码。我们可以按行读取日志,然后使用自己喜欢的语言,做任何事情。
import java.io.BufferedReader;import java.io.InputStreamReader;public class TailReader { public static void main(String[] args) throws Exception { processBuilder ps = new ProcessBuilder("tail", "-f", "/tmp/tail0"); //把错误输出也打印 ps.redirectErrorStream(true); Process process = ps.start(); //持续读取tail的输出 try (BufferedReader in = new BufferedReader(new InputStreamReader(process.getInputStream()))) { String line; while ((line = in.readLine()) != null) { setLogToKafka(line); //注意这里不要产生异常,否则会打断while循环 } } } //模拟发送到kafka,我们这里只简单的打印出来 static void setLogToKafka(String line) { System.out.println(line); }}复制代码
主要的思想,就是使用Java的Process启动一个子tail进程,一直监控着文件的输出。然后把标准输出和标准错误流,全部定向到BufferedReader中。接下来,你能做你想要做的任何事。
这有一定的风险,假如tail命令被杀掉了,我们的Java程序就失去了作用。
程序很简单,但xjjdog在这里讨论的却不是这个简单的收集程序,而是tail命令的一些有趣的特性,你可以从中一窥一些日志收集工具对文件的特殊处理。
你知道tail -f和tail -F的区别么?在回答这个问题之前,我们先回忆一下,Java常用的日志框架,对日志的处理。
<configuration> <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"> <!-- Support multiple-JVM writing to the same log file --> <prudent>true</prudent> <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> <fileNamePattern>logFile.%d{yyyy-MM-dd}.log</fileNamePattern> <maxHistory>30</maxHistory> <totalSizeCap>3GB</totalSizeCap> </rollingPolicy> <encoder> <pattern>%-4relative [%thread] %-5level %logger{35} - %msg%n</pattern> </encoder> </appender> <root level="DEBUG"> <appender-ref ref="FILE" /> </root></configuration>复制代码
上面的配置,将在每晚凌晨的时候,滚动形成一个新的文件。
那这个滚动,是如何做的呢?我们可以收工模拟这个过程。
mv run.log run.2020-11-02.logtouch run.log复制代码
测试一下
文件滚动,会生成新的文件,那tail命令还能跟踪到么?
我们来测试一下。
第一步,创建要监控的文件
touch /tmp/tail0复制代码
第二步,启动我们的Java代码
第三步,生成一个不间断的流
watch -n 1 'echo `date` >> /tmp/tail0 '复制代码
上面的命令每隔1秒钟,往我们的文件中打印一下当前的日期,可以看到Java端已经收到了这些数据。
第四步,模拟文件滚动
mv /tmp/tail0 /tmp/tail.baktouch /tmp/tail0复制代码
此时,我们可以看到,Java端此时已经接受不到数据了。
Why?为了看到这是为什么,我们使用两个命令来看一下进程的一些状态。
首先,使用ps命令,查看当前的tail进程。
ps -ef|grep tail 501 21374 21373 0 1:51PM ?? 0:00.01 tail -f /tmp/tail0复制代码
这正是我们的命令。
我们使用lsof命令去查看这个进程所关联的文件。
lsof -p 21374 | awk '{print $4 "\t" $9}'FD NAMEcwd /tmp/txt /usr/bin/tailtxt /usr/lib/dyld3r /private/tmp/tail.bak复制代码
我们看到tail进程所监控的文件,其实是tail.bak文件,已经和tail命令没什么关系了。
我们尝试像tail.bak输入一点内容。
echo "haha: xjjdog, i am from tail.bak" >> /tmp/tail.bak复制代码
此时如我们所愿,Java进程有反应了,正常输出了这句话。
怎么办?就如同我们问题中问的一样,把tail -f换成tail -F就可以了。
tail -f的意思是,根据文件描述符进行追踪。
tail -F的意思是,根据文件名进行追踪,它会有重试的动作。
所以,我们的日志收集程序,毫无疑问是根据日志名称追踪的,应该把f改成F。
End既然知道了这些小区别,我们就对日常工作中遇到的一些灵异问题有了解释。
大家都知道rm命令,能够删除一个文件。如果有这个文件,正在被其他进程所使用,那这些文件你看起来像是删掉了,但它的内容却不释放。
lsof | grep deleted复制代码
上面这个命令,能够看到这些失控的文件。一般你kill掉相应的进程,这些句柄也就释放了。但你删除这些文件的本意,就是为了避免重启应用,这可真让人纠结。
cat /dev/null > logpath复制代码
所以我们在删除文件的时候,一般不会使用rm,而应该使用重定向符号。将万物皆空的/dev/null,发向它们。
作者:小姐姐味道
链接:https://juejin.im/post/6891437856196460552
你好,我是 cxuan,一枚技术人。我一共写了六本 PDF
《Java 核心技术总结》
《HTTP 核心总结》
《程序员必知的基础知识》
《操作系统核心总结》
《Java 核心基础 2.0》
《Java 面试题总结》
现在我把百度链接给大家放出来了,大家可以点击下方的链接领取
链接: https://pan.baidu.com/s/1mYAeS9hIhdMFh2rF3FDk0A 密码: p9rs
- 02-23书法的最高境界是返璞归真讲解:书法理论精髓,三丨形神相依-意境为重
- 03-02泰戈尔经典语句:纪念泰戈尔生如夏花之绚烂
- 12-06国内各大艺术展排名榜 八大艺展即将亮相龙门百花大会
- 01-03舞跳的不好但是气场绝对不能输,舞跳得好,长相是硬伤找舞伴多次被拒
- 06-042025考研必背词汇:7000个考研重点词汇的详解40
- 05-01天津地铁4号线北洋桥地铁站出入口 天津地铁4号线白庙站-北洋桥站区间左线隧道顺利贯通
- 11-30东莞汇星商业中心现状,莞北首家城市综合体来了
- 02-03创业机会一般从哪里来,什么是创业机会我来亲自尝试一下
- 03-25毛笔书法硬笔教学:毛笔全套书法教程免费领取
- 05-30楚河为什么分手了?原来楚河真身是女生看到她旗袍造型后
- 04-04平淡的生活自己调味:平淡生活也生香
- 03-26高贵优雅的天鹅象征:优雅的天鹅有哪些寓意你知道吗
- 12-02南山竹海风景区官网:南山竹海那抹绿沁人心脾
- 05-29万家灯火的城市也有属于我们的家 家庭始终是人们最温暖的港湾
- 10-17薛之谦和大张伟唱意外是两种感觉:南薛北张性格决定一切
- 03-13盘点六种霸王龙你觉得哪种更厉害?实力能与霸王龙匹敌的陆地五大霸主
热门
推荐
- 1学校的运动会总结内容109
- 2杏花的古诗句418
- 3关于以文明交通为话题高中作文439
- 4有关产品质量的承诺书4篇318
- 5小学生假期三国演义读后感134
- 6企业员工工作感悟文章374
- 72020年考研备考:调剂实际规划139
- 8后勤员工年终工作总结188