日志字段说明
本文介绍如何在logstash上报的日志内容中，各字段的说明。
SQL日志
字段说明
| 字段组 |
字段名称 |
描述 |
| fields |
instance_id |
实例名称。 |
|
node_name |
计算节点pod所在的node名称。 |
|
log_type |
日志类型。 |
|
pod_name |
计算节点pod名称。 |
| message |
log_time |
日志打印时间戳。 |
|
physical_affected_rows |
物理影响行数。 |
|
total_physical_get_connection_time_cost |
物理连接获取耗时, 单位ns。 |
|
sql |
被执行的SQL语句。 |
|
fetched_rows |
从存储拉取的记录行数。 |
|
total_physical_time_cost |
物理执行总耗时，包括物理SQL耗时与物理结果集耗时，单位ns。 |
|
total_physical_sql_execution_time_cost |
物理SQL执行的总耗时之和，单位ns。 |
|
schema |
数据库。 |
|
logical_time_cost |
逻辑层执行耗时（即DRDS层的消耗的CPU时间），单位ns。 |
|
affected_rows |
若执行的是DML，表示受影响的行数；若执行的是查询语句，表示返回结果的行数。 |
|
logical_optimizer_time_cost |
从sql接收到生成Plan的时间，即SQL在优化器的总耗时，单位ns。 |
|
logical_executor_time_cost |
完整执行整个plan的总逻辑耗时（这个指标已去除了物理层总耗时），单位ns。 |
|
workload_type |
SQL执行时的负载类型，取值范围如下：TP：事务类型的负载；AP：分析类型的负载。 |
|
response_time |
响应时间，单位：微秒。 |
|
template_id |
模板SQL的哈希值。 |
|
user |
执行SQL的用户名。 |
|
trace_id |
SQL执行的TRACE ID。 |
|
extra_info |
额外信息。包括客户端地址(ipport)，prepare语句编号(stmt_id)，事物策略(trx)，负载类型(wt)，内核版本(ver) |
例子
{
"_index": "cn_sql_log-2022.11.16",
"_type": "_doc",
"_id": "oz1rf4QB-sddlgYFeymE",
"_version": 1,
"_score": null,
"_source": {
"@version": "1",
"@timestamp": "2022-11-16T07:50:58.507Z",
"host": {
"name": "filebeat-vtggm"
},
"fields": {
"pod_name": "busu-pxchostnet-ql8p-cn-default-84cdc67d84-4w8ww",
"log_type": "cn_sql_log",
"instance_id": "busu-pxchostnet",
"node_name": "cn-beijing.192.168.1.250"
},
"message": {
"total_physical_sql_execution_time_cost": 680097,
"total_physical_get_connection_time_cost": 4544,
"fetched_rows": 0,
"trace_id": "153a4ba63d007000",
"extra_info": "ipport=192.168.0.3:58888 wt=TP ver=5.4.13-20220621",
"affected_rows": 0,
"template_id": "3e4e0512",
"logical_time_cost": -3315586127,
"user": "polardbx_root",
"response_time": 1203,
"physical_affected_rows": 0,
"schema": "polardbx",
"logical_optimizer_time_cost": 27655,
"log_time": "2022-11-16 15:50:58.509",
"sql": "SELECT engine, external_endpoint, file_uri, access_key_id, access_key_secret FROM metadb.file_storage_info",
"total_physical_time_cost": 686243,
"logical_executor_time_cost": -3315613782
},
"tags": [
"beats_input_codec_plain_applied"
]
},
"fields": {
"@timestamp": [
"2022-11-16T07:50:58.507Z"
]
},
"sort": [
1668585058507
]
}
慢日志
字段说明
| 字段组 |
字段名称 |
描述 |
| fields |
instance_id |
实例名称。 |
|
log_type |
日志类型。 |
|
node_name |
计算节点pod所在的node名称。 |
|
pod_name |
计算节点pod名称。 |
| message |
log_time |
日志打印时间。 |
|
time |
执行时间，单位ms。 |
|
host |
客户端ip。 |
|
port |
客户端端口。 |
|
sql |
执行SQL语句。 |
|
affected_rows |
影响行数。 |
|
trace_id |
跟踪编号。 |
|
server_version |
内核版本。 |
|
user |
用户名。 |
|
schema |
数据库名。 |
例子
{
"_index": "cn_slow_log-2022.08.09",
"_type": "_doc",
"_id": "CxdugYIB4-sIO7p8dvv-",
"_version": 1,
"_score": null,
"_source": {
"fields": {
"instance_id": "busu-pxchostnet",
"node_name": "cn-beijing.192.168.0.207",
"log_type": "cn_slow_log",
"pod_name": "busu-pxchostnet-ldcw-cn-default-c754df994-xqhhj"
},
"@version": "1",
"message": {
"log_time": "2022-08-09 15:07:55.720",
"time": "2001",
"host": "127.0.0.1",
"port": "35812",
"sql": "select sleep(2)",
"affected_rows": "1",
"trace_id": "14bacc6508402000",
"server_version": "5.4.13-16534775",
"user": "polardbx_root",
"schema": "busudb"
},
"host": {
"name": "filebeat-wg47m"
},
"@timestamp": "2022-08-09T07:07:55.720Z",
"tags": [
"beats_input_codec_plain_applied"
]
},
"fields": {
"@timestamp": [
"2022-08-09T07:07:55.720Z"
]
},
"highlight": {
"message.schema": [
"@kibana-highlighted-field@busudb@/kibana-highlighted-field@"
]
},
"sort": [
1660028875720
]
}
错误日志
字段说明
| 字段组 |
字段名称 |
描述 |
| fields |
instance_id |
实例名称。 |
|
log_type |
日志类型。 |
|
node_name |
计算节点pod所在的node名称。 |
|
pod_name |
计算节点pod名称。 |
| / |
logger |
打印者名称。 |
|
loglevel |
日子级别 |
|
message |
错误内容 |
|
thread |
线程名称 |
例子
{
"_index": "cn_tddl_log-2022.08.09",
"_type": "_doc",
"_id": "3oWGgYIBMBS_DyGstwZ2",
"_version": 1,
"_score": null,
"_source": {
"loglevel": "WARN",
"thread": "ManagerExecutor-14-thread-160",
"logger": " com.alibaba.polardbx.manager.ManagerConnection",
"host": {
"name": "filebeat-wg47m"
},
"message": "[user=polardbx_root,host=127.0.0.1,port=37150,schema=null] Index: 17, Size: 17\njava.lang.IndexOutOfBoundsException: Index: 17, Size: 17\n\tat java.util.ArrayList.rangeCheck(ArrayList.java:659)\n\tat java.util.ArrayList.get(ArrayList.java:435)\n\tat com.alibaba.polardbx.net.packet.RowDataPacket.getPacketLength(RowDataPacket.java:111)\n\tat com.alibaba.polardbx.net.packet.RowDataPacket.write(RowDataPacket.java:85)\n\tat com.alibaba.polardbx.manager.response.ShowHtc.execute(ShowHtc.java:130)\n\tat com.alibaba.polardbx.manager.handler.ShowHandler.handle(ShowHandler.java:93)\n\tat com.alibaba.polardbx.manager.ManagerQueryHandler.query(ManagerQueryHandler.java:68)\n\tat com.alibaba.polardbx.net.handler.QueryHandler.queryRaw(QueryHandler.java:29)\n\tat com.alibaba.polardbx.net.FrontendConnection.query(FrontendConnection.java:474)\n\tat com.alibaba.polardbx.net.handler.FrontendCommandHandler.handle(FrontendCommandHandler.java:65)\n\tat com.alibaba.polardbx.manager.ManagerConnection.lambda$handleData$0(ManagerConnection.java:62)\n\tat java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)\n\tat java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)\n\tat java.lang.Thread.run(Thread.java:855)\n\tat com.alibaba.wisp.engine.WispTask.runOutsideWisp(WispTask.java:299)\n\tat com.alibaba.wisp.engine.WispTask.runCommand(WispTask.java:274)\n\tat com.alibaba.wisp.engine.WispTask.access$100(WispTask.java:53)\n\tat com.alibaba.wisp.engine.WispTask$CacheableCoroutine.run(WispTask.java:241)\n\tat java.dyn.CoroutineBase.startInternal(CoroutineBase.java:62)",
"fields": {
"instance_id": "busu-pxchostnet",
"node_name": "cn-beijing.192.168.0.207",
"log_type": "cn_tddl_log",
"pod_name": "busu-pxchostnet-ldcw-cn-default-c754df994-xqhhj"
},
"@version": "1",
"tags": [
"beats_input_codec_plain_applied"
],
"@timestamp": "2022-08-09T07:34:16.157Z"
},
"fields": {
"@timestamp": [
"2022-08-09T07:34:16.157Z"
]
},
"sort": [
1660030456157
]
}