• Ukieweb

    佳的博客

    曾梦想仗剑天涯,后来工作忙没去。

阿里云sls日志服务用业务时间替换系统时间进行搜索

1. 情况说明

正常情况下,我们在搜索【阿里云日志】进行【时间范围】选择的时候,是用的是【系统时间】,但我们也可以用【收集的日志的业务字段】进行替换,这对于【历史数据的导入】非常有效。

阿里云日志1.jpg

需要参考的文档:

日志格式参考:https://help.aliyun.com/document_detail/28980.html

提取日志时间插件说明:https://help.aliyun.com/document_detail/196161.html

  • 使用 processor_strptime 插件

ilogtail 相关启动参数:https://help.aliyun.com/document_detail/32278.html

  • "discard_old_data" : false  是否丢弃历史日志。默认值:true,表示丢弃距离当前时间超过12小时的日志。

2. 接入数据json 默认

如上图设置

3. 接入数据为 mysql 查询

{
    "inputs": [
        {
            "detail": {
                "User": "root",
                "DataBase": "xxx",
                "StateMent": "select * from deploylj_gitlabcommit where id > ?",
                "CheckPointStart": "0",
                "IntervalMs": 60000,
                "PageSize": 100,
                "Password": "hello123",
                "CheckPointSavePerPage": true,
                "CheckPointColumn": "id",
                "CheckPointColumnType": "int64",
                "Address": "1.1.1.1:30326",
                "CheckPoint": true,
                "Limit": true
            },
            "type": "service_mysql"
        }
    ],
    "processors":[
    {
      "type":"processor_strptime",
      "detail": {
        "SourceKey": "commit_authored_date",
        "Format": "%Y-%m-%d %H:%M:%S.000000"
      }
    }
  ]
}





0
0
下一篇:Mysql区分大小写(大小写敏感)配置总结

0 条评论

老佳啊

85后,大专学历,中原人士,家里没矿。

由于年轻时长的比较帅气,导致在别人眼里,我一直不谈恋爱的原因是清高,实则是自己的小自卑。最大的人生目标就是找一个相知相爱相容的人,共度余生。

和人相处时如果能感受到真诚,会非常注重彼此的关系,对别人没有什么心机,即使有利益冲突,一般也会以和为贵,因为在这个世界上,物质的东西,从来不会吸引到我。

特别迷恋那些大山大水,如果现在还能隐居,可能早就去了。对那些宏伟的有底蕴的人文景观比较不感冒。

从事于IT行业,却一直对厨房念念不忘,由于身材魁梧,总觉得自己上辈子是个将军,可惜这辈子没当兵,也不会打架。