凌晨两点,手机在床头震了一下。做运维的朋友说,他最怕的不是报警响,而是报警响完之后页面又恢复了——问题没解决,只是暂时躲起来了,谁也不知道刚才那十分钟到底发生了什么。这时候能救命的,往往是一堆平时没人搭理的文本文件:日志。
日志说白了就是程序写给自己的日记。用户点了哪个按钮、一次数据库查询花了多久、哪个接口返回了错误码、谁在什么时间从哪个地址登录进来……一行一行,带时间戳,机械又啰嗦。单拎出一行看,没什么意义;攒起来看,故事就出来了。
为什么这事没想象中简单
很多人对日志的全部想象,是登上服务器敲个 grep,搜一下 error 看看有没有报错。只有一台机器的时候,这招确实管用。可现在的系统动辄几十上百个服务,每个服务还跑好几个副本,一天下来几个 GB 的日志是家常便饭。靠眼睛扫,就像想用肉眼数清一场雨下了多少滴。
于是多了两个关键动作。一个是把散乱的文本“切成块”——把一行日志拆成时间、服务名、请求编号、耗时这些字段,好比把一筐混装的零件按型号分格放进抽屉,后面才好按条件挑。另一个是把不同服务里属于同一次请求的记录串起来。比如用户下单失败,网关、订单、库存各留了一行,单独看每行都正常,串起来才发现是库存那一步卡了四秒。这种“跨服务的因果链”,才是日志分析真正值钱的地方。
几个常见的误会
- 日志打得越多越好?恰恰相反。写日志要占用磁盘和 CPU,写得越碎,真正有用的信号越容易被淹没。成熟的做法是有取舍地记,而不是把所有变量都往外吐。
- 日志里出现“错误”就等于出故障?未必。用户密码输错、优惠券过期,程序都会记一笔错误,这属于正常业务,不是事故。
- 日志分析只用来排障?它的用途其实很杂:观察新功能上线后的真实使用情况、估算容量什么时候不够用、追查异常访问行为,都靠它。
机器是怎么“读”这些日记的
清洗、解析、建索引,这是地基。索引的作用类似书的目录,否则每次查询都要把几百 GB 从头翻一遍。地基打好了,分析方式大致分三层。
最朴素的是规则:五分钟内错误数超过某个阈值就叫人起床。简单可靠,但阈值定多少全凭经验,定松了漏报,定紧了半夜鸡叫。往上一层是和历史比:今天这个接口的响应时间跟上周同一时段差多少,偏离得离谱才提醒。再往上一层是让模型自己学“正常长什么样”,偏离就标记出来。听着聪明,实际用起来门槛不低——误报一多,人就麻木了,最后大家集体无视报警,这比没有报警更危险。
它在这几年落到了哪些地方
大促前夜的电商系统,是最典型的场景。流量冲上来时,某个不太起眼的服务先把连接池耗光,从外面看只是“有点慢”,但日志里那条缓慢爬升的等待时间曲线,往往比监控大盘更早说话。
再比如手机应用闪退。开发者看到的只是一堆崩溃记录,可如果按机型、系统版本、操作路径把日志归归类,常常会发现某一次更新后,特定系统版本的用户在切换到某个页面时集中出问题,范围一下就缩小了。
连家里的小设备也逃不掉。路由器偶尔掉线、智能音箱半夜自己说话,厂商排查时看的也是设备回传的运行记录。只是这类数据量大、价值密度低,怎么在保留有用信息的同时不把用户的隐私捎带进去,是个挺现实的难题。
短板也明摆着
第一是成本。日志存得越久越贵,很多团队最后不得不在“留三个月”和“留三天”之间做取舍。第二是数据本身会骗人:服务器时钟没对齐,两条本该挨着的记录可能差出几分钟;采样率调低了,关键的少数请求根本没被记下来。第三是隐私,日志里很轻易就混进手机号、地址这类信息,采集时没处理好,后面就成了隐患。
所以看日志这件事,本质上不是技术炫技,而是一种克制的判断力:知道该记什么、该忽略什么、什么时候该相信数据的沉默、什么时候该怀疑它的沉默。等哪天这类工具真的足够聪明,也许我们半夜被叫醒的次数会少一些——但在那之前,能读懂系统写的日记,依旧是件挺硬的本事。
