You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-04-02 - 06:42
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the 376 highest latencies:
System rackdslot3.osadl.org (updated Wed Apr 02, 2025 00:45:47)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
289302222157,53sleep00-21swapper/019:09:230
137191206172,23phc2sys0-21swapper/319:05:573
286892205172,22sleep10-21swapper/119:06:161
287422202169,22sleep20-21swapper/219:06:562
324382750,1sleep00-21swapper/020:30:150
29273996630,9cyclictest41-21ksoftirqd/323:50:003
29271996523,10cyclictest25-21ksoftirqd/119:55:291
29271996419,9cyclictest25-21ksoftirqd/123:10:171
29273996232,7cyclictest41-21ksoftirqd/321:40:013
29273996224,7cyclictest41-21ksoftirqd/322:50:013
29271996217,7cyclictest25-21ksoftirqd/123:30:171
29273996127,4cyclictest41-21ksoftirqd/320:00:013
29273996123,8cyclictest41-21ksoftirqd/321:55:003
29271996130,7cyclictest25-21ksoftirqd/119:50:331
29273996029,7cyclictest41-21ksoftirqd/322:35:213
29273996025,4cyclictest41-21ksoftirqd/323:35:283
29271996027,11cyclictest25-21ksoftirqd/100:10:151
29273995928,7cyclictest41-21ksoftirqd/320:40:003
29273995928,7cyclictest41-21ksoftirqd/319:55:013
29273995927,3cyclictest41-21ksoftirqd/300:10:143
29273995926,7cyclictest41-21ksoftirqd/319:40:273
29273995926,7cyclictest41-21ksoftirqd/319:40:273
29273995926,5cyclictest41-21ksoftirqd/319:20:003
29273995925,8cyclictest41-21ksoftirqd/300:35:303
29273995925,7cyclictest41-21ksoftirqd/320:35:013
29273995924,10cyclictest41-21ksoftirqd/322:40:153
29273995918,8cyclictest41-21ksoftirqd/320:55:243
29273995829,8cyclictest41-21ksoftirqd/323:50:213
29273995823,7cyclictest41-21ksoftirqd/321:40:173
29271995826,9cyclictest25-21ksoftirqd/120:30:101
29273995728,6cyclictest41-21ksoftirqd/322:15:003
29271995720,7cyclictest25-21ksoftirqd/120:39:161
29273995628,7cyclictest41-21ksoftirqd/322:10:003
29273995628,6cyclictest41-21ksoftirqd/320:30:013
29273995627,3cyclictest41-21ksoftirqd/319:13:213
29273995626,7cyclictest41-21ksoftirqd/320:50:323
29273995626,7cyclictest41-21ksoftirqd/300:30:143
29273995622,9cyclictest41-21ksoftirqd/323:20:263
29273995618,8cyclictest41-21ksoftirqd/300:20:173
29271995618,8cyclictest25-21ksoftirqd/120:55:231
29273995530,10cyclictest41-21ksoftirqd/323:55:213
29273995526,6cyclictest41-21ksoftirqd/322:30:003
29273995524,8cyclictest41-21ksoftirqd/319:39:593
29273995524,8cyclictest41-21ksoftirqd/319:39:593
29273995523,8cyclictest41-21ksoftirqd/320:00:283
29273995523,4cyclictest41-21ksoftirqd/322:55:163
29273995523,3cyclictest41-21ksoftirqd/319:35:013
29273995522,8cyclictest41-21ksoftirqd/300:15:153
29273995522,7cyclictest41-21ksoftirqd/323:15:253
29273995519,8cyclictest41-21ksoftirqd/323:40:223
29271995526,8cyclictest25-21ksoftirqd/120:10:231
29271995524,10cyclictest25-21ksoftirqd/119:45:131
29271995521,6cyclictest25-21ksoftirqd/121:15:141
29271995520,6cyclictest25-21ksoftirqd/123:04:021
29273995428,6cyclictest41-21ksoftirqd/321:05:183
29273995427,6cyclictest41-21ksoftirqd/323:10:003
29273995426,7cyclictest41-21ksoftirqd/320:10:183
29273995426,6cyclictest41-21ksoftirqd/322:55:013
29273995424,8cyclictest41-21ksoftirqd/320:15:213
29273995424,7cyclictest41-21ksoftirqd/322:30:113
29273995423,7cyclictest41-21ksoftirqd/320:10:013
29273995419,7cyclictest41-21ksoftirqd/323:00:163
29273995417,4cyclictest41-21ksoftirqd/320:45:163
29271995425,12cyclictest25-21ksoftirqd/121:44:481
29271995421,11cyclictest25-21ksoftirqd/121:10:171
29273995320,7cyclictest41-21ksoftirqd/319:45:193
29273995320,4cyclictest41-21ksoftirqd/319:25:273
29271995319,8cyclictest25-21ksoftirqd/119:15:241
29270995324,4cyclictest9-21ksoftirqd/020:15:170
29270995320,5cyclictest9-21ksoftirqd/021:05:250
29270995319,7cyclictest9-21ksoftirqd/019:25:140
2927399523,9cyclictest41-21ksoftirqd/322:00:003
29273995226,5cyclictest41-21ksoftirqd/320:40:253
29273995218,7cyclictest41-21ksoftirqd/321:15:183
29273995216,7cyclictest41-21ksoftirqd/300:00:193
29273995215,4cyclictest41-21ksoftirqd/322:00:013
29271995221,9cyclictest25-21ksoftirqd/123:10:001
29271995221,9cyclictest25-21ksoftirqd/120:45:221
29271995221,10cyclictest25-21ksoftirqd/121:05:161
29271995212,4cyclictest25-21ksoftirqd/120:28:211
29270995223,7cyclictest9-21ksoftirqd/023:40:110
29270995223,3cyclictest9-21ksoftirqd/019:45:140
29270995222,6cyclictest9-21ksoftirqd/021:35:140
29273995118,8cyclictest41-21ksoftirqd/323:30:193
29271995119,8cyclictest25-21ksoftirqd/122:50:201
29270995123,4cyclictest9-21ksoftirqd/023:00:000
29270995121,6cyclictest9-21ksoftirqd/022:30:210
29270995120,7cyclictest9-21ksoftirqd/019:50:280
29270995120,6cyclictest9-21ksoftirqd/022:50:090
29270995118,6cyclictest9-21ksoftirqd/022:30:000
2927399505,2cyclictest41-21ksoftirqd/321:20:233
29273995021,9cyclictest41-21ksoftirqd/321:00:223
29273995019,4cyclictest41-21ksoftirqd/321:10:163
29273995015,7cyclictest41-21ksoftirqd/319:20:213
29271995013,7cyclictest25-21ksoftirqd/122:19:141
29271995013,6cyclictest25-21ksoftirqd/122:00:081
29271995010,8cyclictest25-21ksoftirqd/121:49:051
29270995023,4cyclictest9-21ksoftirqd/000:10:000
29273994920,8cyclictest41-21ksoftirqd/323:10:143
29271994919,10cyclictest25-21ksoftirqd/122:10:001
29271994917,7cyclictest25-21ksoftirqd/100:15:131
29270994919,4cyclictest9-21ksoftirqd/022:55:160
2927399481,4cyclictest41-21ksoftirqd/323:30:003
2927199486,3cyclictest25-21ksoftirqd/120:15:191
2927199483,8cyclictest25-21ksoftirqd/120:00:171
29271994818,8cyclictest25-21ksoftirqd/100:20:211
29271994817,6cyclictest25-21ksoftirqd/100:35:141
29271994812,6cyclictest25-21ksoftirqd/122:47:031
29270994832,7cyclictest9-21ksoftirqd/023:20:010
29270994816,4cyclictest9-21ksoftirqd/000:30:280
29270994814,6cyclictest9-21ksoftirqd/000:20:230
2927399476,2cyclictest41-21ksoftirqd/320:20:123
2927399474,3cyclictest41-21ksoftirqd/300:10:013
29273994720,8cyclictest41-21ksoftirqd/322:20:163
29273994714,7cyclictest41-21ksoftirqd/322:15:153
2927199474,3cyclictest25-21ksoftirqd/119:40:181
2927199474,3cyclictest25-21ksoftirqd/119:40:181
29271994727,8cyclictest25-21ksoftirqd/123:50:141
29271994712,9cyclictest25-21ksoftirqd/121:55:261
2927199470,6cyclictest25-21ksoftirqd/100:30:191
29270994719,7cyclictest9-21ksoftirqd/000:30:000
29270994719,4cyclictest9-21ksoftirqd/019:35:270
29270994719,4cyclictest9-21ksoftirqd/019:35:270
29270994717,3cyclictest9-21ksoftirqd/019:55:230
2927099470,3cyclictest29954-21ps19:10:190
2927399467,6cyclictest41-21ksoftirqd/321:35:013
2927199469,8cyclictest25-21ksoftirqd/121:40:011
2927199467,3cyclictest25-21ksoftirqd/100:00:151
2927199465,3cyclictest25-21ksoftirqd/122:10:101
2927199465,3cyclictest25-21ksoftirqd/119:10:271
2927199464,3cyclictest25-21ksoftirqd/122:30:141
2927199461,9cyclictest25-21ksoftirqd/119:35:201
2927199461,9cyclictest25-21ksoftirqd/119:35:191
29271994616,8cyclictest25-21ksoftirqd/121:50:101
29270994630,3cyclictest121rcu_preempt20:40:240
29270994617,3cyclictest9-21ksoftirqd/023:50:140
29270994614,4cyclictest9-21ksoftirqd/021:10:190
29270994614,3cyclictest9-21ksoftirqd/022:10:130
2927099461,3cyclictest121rcu_preempt20:25:000
2927399457,2cyclictest41-21ksoftirqd/321:50:003
2927199455,7cyclictest25-21ksoftirqd/121:35:011
2927199455,6cyclictest25-21ksoftirqd/123:20:281
2927199453,2cyclictest25-21ksoftirqd/120:40:281
29271994528,5cyclictest25-21ksoftirqd/123:00:001
29271994526,7cyclictest25-21ksoftirqd/123:45:001
29271994525,9cyclictest25-21ksoftirqd/123:30:001
29270994515,6cyclictest9-21ksoftirqd/020:15:000
29270994514,7cyclictest9-21ksoftirqd/021:50:090
29270994514,7cyclictest9-21ksoftirqd/021:00:150
29270994514,7cyclictest9-21ksoftirqd/000:35:290
29270994511,5cyclictest9-21ksoftirqd/023:30:200
2927399443,5cyclictest41-21ksoftirqd/321:30:013
2927399443,5cyclictest41-21ksoftirqd/321:30:013
2927199448,2cyclictest121rcu_preempt21:20:251
2927199447,3cyclictest25-21ksoftirqd/123:15:151
2927199445,7cyclictest25-21ksoftirqd/120:20:171
2927199445,6cyclictest25-21ksoftirqd/122:20:191
2927199444,10cyclictest25-21ksoftirqd/100:30:001
2927199443,2cyclictest121rcu_preempt22:45:001
2927199443,2cyclictest121rcu_preempt22:40:011
29270994424,9cyclictest9-21ksoftirqd/020:30:000
29270994416,3cyclictest9-21ksoftirqd/021:20:180
29270994412,7cyclictest9-21ksoftirqd/023:20:010
29270994410,6cyclictest9-21ksoftirqd/000:12:000
2927399431,7cyclictest41-21ksoftirqd/300:30:003
2927199436,6cyclictest25-21ksoftirqd/119:25:171
2927199436,2cyclictest25-21ksoftirqd/123:55:171
2927199435,3cyclictest25-21ksoftirqd/123:40:001
2927199434,3cyclictest25-21ksoftirqd/121:00:191
2927199432,9cyclictest25211-21kworker/1:119:30:261
2927199432,6cyclictest25-21ksoftirqd/119:25:001
2927099431,6cyclictest121rcu_preempt23:55:150
29270994316,3cyclictest9-21ksoftirqd/022:35:150
29270994314,6cyclictest9-21ksoftirqd/020:00:240
29270994312,8cyclictest9-21ksoftirqd/021:40:180
2927099429,4cyclictest9-21ksoftirqd/019:19:590
2927099420,3cyclictest121rcu_preempt22:40:270
29272994133,5cyclictest23207-21cron20:05:002
2927199417,7cyclictest25-21ksoftirqd/120:50:201
2927199414,3cyclictest121rcu_preempt20:10:011
29270994113,8cyclictest9-21ksoftirqd/023:40:000
29270994110,4cyclictest9-21ksoftirqd/000:05:010
2927199405,5cyclictest25-21ksoftirqd/100:06:531
2927199405,3cyclictest25-21ksoftirqd/122:30:001
2927199401,3cyclictest121rcu_preempt21:30:011
2927199401,3cyclictest121rcu_preempt21:30:011
2927099408,9cyclictest9-21ksoftirqd/022:25:000
29270994017,5cyclictest9-21ksoftirqd/020:55:200
2927099401,3cyclictest121rcu_preempt21:15:260
29270994013,6cyclictest9-21ksoftirqd/020:35:220
29270994012,8cyclictest9-21ksoftirqd/019:24:020
29272993933,3cyclictest33-21ksoftirqd/222:54:592
2927199391,3cyclictest121rcu_preempt23:50:001
29270993926,3cyclictest9-21ksoftirqd/023:10:150
29270993910,9cyclictest9-21ksoftirqd/000:15:280
2927099390,5cyclictest121rcu_preempt21:30:000
2927099390,2cyclictest121rcu_preempt22:50:000
29270993825,3cyclictest9-21ksoftirqd/020:45:190
29272993731,4cyclictest33-21ksoftirqd/220:09:462
29272993730,5cyclictest33-21ksoftirqd/221:17:542
2927099378,4cyclictest9-21ksoftirqd/022:02:160
2927099374,7cyclictest9-21ksoftirqd/020:06:060
29270993731,3cyclictest9-21ksoftirqd/021:50:000
29270993727,3cyclictest9-21ksoftirqd/019:30:170
29270993724,3cyclictest9-21ksoftirqd/022:15:220
29270993723,4cyclictest9-21ksoftirqd/019:40:190
29270993723,4cyclictest9-21ksoftirqd/019:40:190
29272993632,3cyclictest33-21ksoftirqd/220:14:232
29272993631,3cyclictest6043-21sshd19:28:232
29272993630,4cyclictest33-21ksoftirqd/220:26:322
29272993630,4cyclictest33-21ksoftirqd/219:20:322
29272993629,5cyclictest33-21ksoftirqd/200:37:532
2927099365,2cyclictest9-21ksoftirqd/021:30:120
29270993631,3cyclictest9-21ksoftirqd/022:10:010
29270993610,9cyclictest9-21ksoftirqd/021:27:490
2927099360,5cyclictest121rcu_preempt21:55:160
29272993529,4cyclictest33-21ksoftirqd/219:59:282
29272993529,4cyclictest33-21ksoftirqd/219:34:532
29272993429,3cyclictest33-21ksoftirqd/223:52:392
29272993429,3cyclictest33-21ksoftirqd/220:30:032
29272993429,3cyclictest33-21ksoftirqd/200:14:252
29272993428,4cyclictest33-21ksoftirqd/221:29:452
29272993428,4cyclictest33-21ksoftirqd/221:29:452
29272993428,4cyclictest33-21ksoftirqd/200:01:412
2927099346,8cyclictest9-21ksoftirqd/023:48:050
29270993429,3cyclictest9-21ksoftirqd/023:10:000
29270993428,3cyclictest9-21ksoftirqd/020:50:200
29272993328,3cyclictest33-21ksoftirqd/223:30:482
29272993327,4cyclictest33-21ksoftirqd/223:39:152
29272993327,4cyclictest33-21ksoftirqd/223:12:312
29272993327,4cyclictest33-21ksoftirqd/222:46:192
29272993327,4cyclictest33-21ksoftirqd/222:34:322
29272993327,4cyclictest33-21ksoftirqd/221:01:082
29272993327,4cyclictest33-21ksoftirqd/219:48:122
29272993326,5cyclictest33-21ksoftirqd/223:02:042
29272993226,4cyclictest33-21ksoftirqd/223:46:452
29272993226,4cyclictest33-21ksoftirqd/223:09:062
29272993226,4cyclictest33-21ksoftirqd/222:36:372
29272993226,4cyclictest33-21ksoftirqd/220:58:212
29272993226,4cyclictest33-21ksoftirqd/220:52:072
29272993226,4cyclictest33-21ksoftirqd/219:52:102
29270993227,3cyclictest9-21ksoftirqd/023:30:010
29272993126,3cyclictest33-21ksoftirqd/220:42:282
29272993125,4cyclictest33-21ksoftirqd/222:20:252
29272993125,4cyclictest33-21ksoftirqd/221:30:492
29272993125,4cyclictest33-21ksoftirqd/221:06:072
29272993125,4cyclictest33-21ksoftirqd/220:23:062
29272993025,3cyclictest33-21ksoftirqd/222:42:222
29272993025,3cyclictest33-21ksoftirqd/222:28:042
29272993025,3cyclictest33-21ksoftirqd/220:18:022
29272993025,3cyclictest33-21ksoftirqd/200:21:192
29272993025,3cyclictest33-21ksoftirqd/200:17:302
29272993024,4cyclictest33-21ksoftirqd/223:57:282
29272993024,4cyclictest33-21ksoftirqd/220:47:182
29272993024,3cyclictest1-21systemd21:37:222
29272992924,3cyclictest33-21ksoftirqd/221:59:552
29272992924,3cyclictest33-21ksoftirqd/219:18:112
29272992924,3cyclictest33-21ksoftirqd/200:25:482
29272992923,4cyclictest33-21ksoftirqd/223:20:062
29272992923,4cyclictest33-21ksoftirqd/222:16:362
29272992923,4cyclictest33-21ksoftirqd/219:37:252
29272992923,4cyclictest33-21ksoftirqd/219:37:252
29272992923,4cyclictest33-21ksoftirqd/219:13:012
29272992823,3cyclictest33-21ksoftirqd/221:44:302
29272992823,3cyclictest33-21ksoftirqd/220:35:582
29272992722,3cyclictest33-21ksoftirqd/222:05:592
29272992721,4cyclictest33-21ksoftirqd/223:28:292
29272992721,4cyclictest33-21ksoftirqd/222:56:372
29272992621,3cyclictest33-21ksoftirqd/200:05:122
29272992620,4cyclictest33-21ksoftirqd/223:43:322
29272992620,4cyclictest33-21ksoftirqd/221:21:312
29272992620,4cyclictest33-21ksoftirqd/200:31:232
29272992520,3cyclictest33-21ksoftirqd/222:01:052
29272992419,3cyclictest33-21ksoftirqd/221:13:222
29272992318,3cyclictest33-21ksoftirqd/223:20:012
29272992217,3cyclictest33-21ksoftirqd/219:41:242
29272992217,3cyclictest33-21ksoftirqd/219:41:242
2927299202,16cyclictest25783-21kworker/2:022:14:462
2927299191,17cyclictest25783-21kworker/2:021:49:212
29272991813,3cyclictest1857-21/usr/sbin/munin21:50:092
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional