You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-04-02 - 04:00

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #6

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  TI
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackeslot6s.osadl.org (updated Wed Apr 02, 2025 00:44:48)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
14092769911781,27cyclictest391ktimers/300:40:013
1409270996623,8cyclictest0-21swapper/020:35:290
140927099661,28cyclictest1439002-21munin-node22:20:120
140927099651,25cyclictest0-21swapper/021:55:020
1409270996434,26cyclictest1426137-21cron20:54:590
1409274996357,4cyclictest30-21rcuc/221:35:012
1409274996357,4cyclictest30-21rcuc/221:35:012
1409273996239,8cyclictest0-21swapper/121:30:001
1409273996210,22cyclictest0-21swapper/123:30:001
1409270996228,3cyclictest0-21swapper/000:35:270
1409270996223,8cyclictest0-21swapper/021:20:240
140927099611,2cyclictest0-21swapper/021:00:000
1409270995927,8cyclictest1453616-21grep00:00:300
140927099591,4cyclictest1412011-21grep19:20:300
1409270995825,9cyclictest0-21swapper/023:40:240
1409270995824,5cyclictest0-21swapper/000:30:220
1409270995821,13cyclictest0-21swapper/021:35:010
1409270995733,20cyclictest20950irq/209-8000000.ethernet21:40:010
1409270995733,20cyclictest20950irq/209-8000000.ethernet21:40:010
1409270995625,4cyclictest20950irq/209-8000000.ethernet22:30:210
1409270995625,4cyclictest20950irq/209-8000000.ethernet22:30:200
1409270995621,4cyclictest0-21swapper/020:40:160
1409274995439,10cyclictest0-21swapper/222:45:012
1409273995425,15cyclictest0-21swapper/120:05:021
1409274995341,8cyclictest1457480-21munin-plugin-st00:35:002
1409270995341,6cyclictest1411200-21munin-run19:20:000
1409270995341,6cyclictest1411200-21munin-run19:20:000
140927399529,37cyclictest1409434-21/usr/sbin/munin19:10:201
1409270995222,24cyclictest0-21swapper/022:10:230
140927399517,13cyclictest22-21rcuc/121:15:021
1409273995138,9cyclictest0-21swapper/122:25:001
1409273995123,14cyclictest0-21swapper/120:15:141
1409270995127,4cyclictest20950irq/209-8000000.ethernet19:50:240
1409270995126,4cyclictest20950irq/209-8000000.ethernet19:40:160
1409270995038,7cyclictest47-21kauditd19:30:000
1409273994932,12cyclictest1417469-21apt-get19:55:161
1409273994917,19cyclictest166650snmpd00:20:151
140927399491,20cyclictest1438143-21/usr/sbin/munin22:15:181
140927099495,9cyclictest0-21swapper/019:35:020
1409270994938,7cyclictest1418116-21sendmail19:59:590
1409270994927,4cyclictest20950irq/209-8000000.ethernet21:05:190
1409273994831,12cyclictest1440993-21apt-get22:35:161
140927099481,13cyclictest0-21swapper/019:40:010
1409274994717,9cyclictest1421076-21/usr/sbin/munin20:20:192
140927399473,15cyclictest0-21swapper/100:20:011
1409270994740,4cyclictest1421939-21munin-plugin-st20:30:000
1409270994724,4cyclictest20950irq/209-8000000.ethernet21:50:110
1409270994724,4cyclictest20950irq/209-8000000.ethernet21:50:100
140927099471,6cyclictest0-21swapper/022:40:020
1409274994639,4cyclictest311ktimers/223:15:012
1409273994625,13cyclictest1448657-21/usr/sbin/munin23:30:141
1409273994625,13cyclictest1434012-21/usr/sbin/munin21:40:291
1409270994639,4cyclictest1449753-21phc2sys23:35:280
1409270994639,4cyclictest1420867-21sendmail20:20:010
1409270994626,4cyclictest20950irq/209-8000000.ethernet19:45:300
1409270994626,4cyclictest20950irq/209-8000000.ethernet19:45:300
140927099461,5cyclictest0-21swapper/020:25:010
1409274994535,6cyclictest1434357-21munin-plugin-st21:50:002
1409274994512,11cyclictest1447528-21/usr/sbin/munin23:20:222
1409274994512,11cyclictest1447528-21/usr/sbin/munin23:20:222
1409273994526,9cyclictest1445326-21grep23:00:301
140927099458,2cyclictest0-21swapper/023:30:010
140927099451,35cyclictest0-21swapper/020:45:140
140927499447,2cyclictest0-21swapper/223:50:012
1409273994438,3cyclictest1413721-21apt-get19:35:021
1409273994422,10cyclictest0-21swapper/100:00:151
1409274994334,6cyclictest293-21systemd-journal22:55:002
1409274994333,7cyclictest1431597-21cron21:29:592
1409274994332,7cyclictest1438703-21grep22:15:282
1409273994333,7cyclictest1427831-21apt-get21:05:061
1409273994325,10cyclictest0-21swapper/119:40:291
1409273994323,12cyclictest1423056-21/usr/sbin/munin20:35:181
1409273994322,9cyclictest0-21swapper/122:00:111
1409273994322,14cyclictest1435439-21/usr/sbin/munin21:55:181
1409274994228,10cyclictest0-21swapper/219:40:292
1409274994227,7cyclictest1447318-21sendmail23:20:002
1409273994236,4cyclictest1414656-21sendmail19:40:001
1409273994231,3cyclictest1431805-21apt-get21:30:121
1409273994226,9cyclictest1445837-21apt-get23:10:121
1409273994226,8cyclictest1442166-21/usr/sbin/munin22:40:271
1409273994225,11cyclictest0-21swapper/120:55:151
1409273994224,10cyclictest1415844-21df19:45:161
1409273994224,10cyclictest1415844-21df19:45:161
1409273994222,13cyclictest1451687-21/usr/sbin/munin23:50:211
1409273994222,12cyclictest1457351-21/usr/sbin/munin00:30:291
1409273994221,9cyclictest0-21swapper/120:10:131
140927399421,27cyclictest0-21swapper/122:30:011
1409270994236,4cyclictest1455564-21sendmail00:20:000
1409270994231,7cyclictest1263-21cron21:49:590
1409274994129,6cyclictest1426111-21grep20:50:362
1409274994126,9cyclictest0-21swapper/221:55:312
1409274994124,12cyclictest311ktimers/200:10:082
140927499411,32cyclictest1417162-21unixbench_multi19:50:352
1409273994131,6cyclictest1454707-21sshd00:12:231
1409273994125,9cyclictest0-21swapper/123:15:181
1409273994125,11cyclictest1422674-21grep20:30:241
1409273994123,10cyclictest0-21swapper/121:00:311
1409270994133,5cyclictest1430436-21cat21:20:000
1409270994132,6cyclictest1422660-21grep20:30:250
140927099413,10cyclictest14-21rcu_preempt22:55:020
1409274994029,6cyclictest0-21swapper/220:40:302
1409274994027,9cyclictest0-21swapper/220:10:002
1409273994031,4cyclictest1452174-21apt-get23:55:151
1409273994027,8cyclictest0-21swapper/123:35:221
1409273994022,10cyclictest0-21swapper/119:50:251
1409273994021,11cyclictest1429997-21/usr/sbin/munin21:15:221
1409273994017,15cyclictest1457982-21/usr/sbin/munin00:35:271
1409273994015,17cyclictest1412506-21/usr/sbin/munin19:25:241
140927099401,4cyclictest0-21swapper/019:15:000
1409274993931,4cyclictest1458311-21cron00:40:002
1409274993922,10cyclictest0-21swapper/200:15:292
1409274993919,16cyclictest14-21rcu_preempt19:45:152
1409274993919,16cyclictest14-21rcu_preempt19:45:142
1409274993918,11cyclictest0-21swapper/220:45:222
1409273993931,3cyclictest1421079-21apt-get20:20:171
1409273993930,5cyclictest1450577-21meminfo23:40:231
1409273993927,7cyclictest1411416-21apt-get19:20:131
1409273993924,9cyclictest0-21swapper/120:50:201
1409273993924,8cyclictest1430656-21apt-get21:20:131
1409270993931,5cyclictest0-21swapper/021:00:120
140927499386,19cyclictest32-21ksoftirqd/221:25:012
140927499384,26cyclictest0-21swapper/220:00:012
1409274993830,5cyclictest0-21swapper/219:10:302
1409274993830,4cyclictest168450irq/135-8000000.ethernet-tx222:30:192
1409274993830,4cyclictest168450irq/135-8000000.ethernet-tx222:30:192
1409274993825,9cyclictest1410554-21/usr/sbin/munin19:15:252
1409274993825,9cyclictest1410554-21/usr/sbin/munin19:15:252
1409273993827,7cyclictest1410554-21/usr/sbin/munin19:15:301
1409273993827,7cyclictest1410554-21/usr/sbin/munin19:15:291
1409273993826,8cyclictest1444003-21/usr/sbin/munin22:55:191
1409273993822,9cyclictest1432712-21diskstats21:35:191
1409273993822,9cyclictest1432712-21diskstats21:35:191
140927099381,35cyclictest0-21swapper/023:15:190
140927099381,2cyclictest0-21swapper/000:30:010
140927499373,30cyclictest32-21ksoftirqd/221:15:022
1409274993729,4cyclictest168450irq/135-8000000.ethernet-tx219:30:322
1409274993728,6cyclictest0-21swapper/223:40:262
1409274993727,7cyclictest0-21swapper/220:55:292
1409274993725,7cyclictest0-21swapper/222:20:222
140927499371,2cyclictest0-21swapper/222:30:012
1409273993725,8cyclictest1434635-21/usr/sbin/munin21:50:151
1409273993725,8cyclictest1434635-21/usr/sbin/munin21:50:151
1409273993718,12cyclictest1451160-21latency_hist23:50:011
140927399371,30cyclictest0-21swapper/120:30:021
1409270993728,6cyclictest0-21swapper/021:40:280
1409270993726,7cyclictest0-21swapper/023:30:240
140927499363,4cyclictest1449714-21kernelversion23:35:252
1409274993630,3cyclictest0-21swapper/200:20:282
1409274993616,16cyclictest311ktimers/220:30:072
1409273993630,4cyclictest0-21swapper/122:10:141
1409273993629,4cyclictest1440064-21/usr/sbin/munin22:30:081
1409273993629,4cyclictest1440064-21/usr/sbin/munin22:30:081
1409273993624,9cyclictest1666-21snmpd20:09:371
1409273993620,12cyclictest1424187-21/usr/sbin/munin20:40:271
1409273993619,12cyclictest0-21swapper/122:50:111
140927399361,2cyclictest0-21swapper/123:25:011
140927399361,2cyclictest0-21swapper/123:25:011
1409270993632,2cyclictest0-21swapper/023:20:150
1409270993632,2cyclictest0-21swapper/023:20:140
1409270993630,4cyclictest20950irq/209-8000000.ethernet21:10:200
140927099361,2cyclictest0-21swapper/023:05:010
140927099361,2cyclictest0-21swapper/022:50:010
1409274993527,4cyclictest168450irq/135-8000000.ethernet-tx220:10:232
1409274993525,6cyclictest0-21swapper/220:00:312
1409273993529,3cyclictest1424672-21apt-get20:45:161
1409273993526,6cyclictest1666-21snmpd00:08:261
1409270993529,4cyclictest20950irq/209-8000000.ethernet22:15:170
1409270993529,4cyclictest20950irq/209-8000000.ethernet20:00:290
1409270993518,10cyclictest0-21swapper/000:20:280
1409270993517,14cyclictest0-21swapper/021:26:280
140927099351,3cyclictest0-21swapper/022:55:040
140927099351,3cyclictest0-21swapper/022:40:150
140927099351,2cyclictest0-21swapper/019:10:020
1409274993427,4cyclictest168450irq/135-8000000.ethernet-tx221:00:292
1409274993426,4cyclictest30-21rcuc/221:50:242
1409274993426,4cyclictest30-21rcuc/221:50:242
1409274993423,7cyclictest1433741-21if_eth121:40:232
1409274993418,9cyclictest0-21swapper/219:25:232
1409273993425,6cyclictest1666-21snmpd22:47:121
1409270993421,9cyclictest0-21swapper/023:50:220
140927099341,29cyclictest0-21swapper/000:06:260
140927499333,3cyclictest1430373-21unixbench_singl21:15:282
1409274993326,4cyclictest168450irq/135-8000000.ethernet-tx222:00:232
140927499332,28cyclictest1452460-21kernelversion23:55:252
140927499331,29cyclictest1423550-21unixbench_singl20:35:292
1409273993324,5cyclictest1456668-21latency_hist00:30:001
1409273993323,7cyclictest1666-21snmpd22:05:411
1409273993323,7cyclictest1666-21snmpd22:05:411
140927099332,29cyclictest1-21systemd00:10:220
1409270993320,9cyclictest0-21swapper/020:10:270
140927099331,4cyclictest0-21swapper/020:10:000
1409274993223,4cyclictest0-21swapper/220:15:232
1409274993220,8cyclictest0-21swapper/222:10:012
1409274993220,8cyclictest0-21swapper/222:10:002
140927499321,24cyclictest0-21swapper/223:00:122
1409273993223,6cyclictest1666-21snmpd21:47:281
1409273993217,9cyclictest1445771-21latency_hist23:10:001
140927099322,7cyclictest1452697-21unixbench_multi23:55:300
1409270993226,4cyclictest20950irq/209-8000000.ethernet22:00:140
1409274993124,4cyclictest0-21swapper/223:00:012
1409274993123,3cyclictest0-21swapper/200:00:302
1409274993122,5cyclictest0-21swapper/222:40:012
1409274993122,5cyclictest0-21swapper/219:20:222
140927499311,5cyclictest1414271-21irqstats19:35:232
140927499311,25cyclictest0-21swapper/222:45:022
1409273993111,13cyclictest1409324-21ls19:10:011
1409270993116,4cyclictest1393618-1kworker/0:1H+mmc_complete23:15:010
1409274993021,6cyclictest0-21swapper/221:05:182
1409274993021,5cyclictest168450irq/135-8000000.ethernet-tx222:10:192
140927099301,17cyclictest0-21swapper/022:26:100
1409274992922,5cyclictest0-21swapper/221:30:122
1409274992922,4cyclictest0-21swapper/223:55:002
1409274992915,7cyclictest1445631-21cron23:10:002
1409274992910,4cyclictest269-21jbd2/mmcblk1p2-800:05:282
1409270992913,4cyclictest0-21swapper/022:07:110
1409270992913,4cyclictest0-21swapper/022:07:110
140927499287,4cyclictest27350irq/343-s-wl18xx20:26:432
140927499281,22cyclictest0-21swapper/223:35:012
140927499281,22cyclictest0-21swapper/200:26:122
1409270992813,4cyclictest0-21swapper/023:07:010
140927099271,20cyclictest0-21swapper/023:50:010
140927499251,22cyclictest0-21swapper/223:29:342
1409274992215,4cyclictest0-21swapper/219:10:022
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional