You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-03-12 - 20:57

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #3, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack3slot3s.osadl.org (updated Wed Mar 12, 2025 12:43:52)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3333646992926,2cyclictest3515991-21apt-get12:00:010
333364999287,17cyclictest3446969-21ntpq10:40:491
3333652992723,3cyclictest3345421-21tracker-extract07:39:382
3333656992623,2cyclictest3382932-21sh09:20:003
3333656992622,2cyclictest712-21tpm2-abrmd12:05:013
3333652992622,2cyclictest3460835-21sendmail11:00:012
3333652992621,3cyclictest3465124-21munin-plugin-st11:05:002
3333656992521,2cyclictest0-21swapper/308:35:013
333365299255,5cyclictest3397095-21sh09:37:292
3333652992522,2cyclictest3515966-21apt-get12:00:002
3333649992521,2cyclictest0-21swapper/112:10:001
3333646992521,2cyclictest715-21in:imuxsock11:00:000
333364999247,3cyclictest3374695-21diskmemload10:24:041
3333656992320,2cyclictest3414210-21sendmail10:00:003
3333656992316,4cyclictest3539344-21sh12:20:543
3333656992315,6cyclictest3345421-40tracker-extract07:39:403
3333656992315,5cyclictest3445451-21cron10:40:013
3333652992318,3cyclictest0-21swapper/211:19:592
333365299231,18cyclictest3540963-21ssh12:22:532
3333649992319,2cyclictest0-21swapper/112:05:001
333364999231,8cyclictest3509920-21sh11:54:221
3333646992319,2cyclictest3394728-21cpuspeed_turbos09:35:140
3333646992311,8cyclictest3532675-21ntp_192.168.11412:15:170
3333656992218,2cyclictest3495187-21turbostat11:40:003
3333656992217,3cyclictest3495658-21cpuspeed_turbos11:40:143
3333656992217,3cyclictest3346963-21pmu-power07:40:203
3333656992213,6cyclictest262-21systemd-journal11:48:133
3333656992212,6cyclictest3424626-21sh10:13:023
3333652992218,2cyclictest3548428-21switchtime12:30:182
3333652992217,4cyclictest3505318-21/usr/sbin/munin11:50:122
333365299221,18cyclictest3449009-21ssh10:43:322
3333649992219,2cyclictest0-21swapper/110:40:011
3333649992218,2cyclictest3351978-21/usr/sbin/munin07:55:121
333364999221,7cyclictest3381819-21ssh09:17:581
3333649992211,8cyclictest726-21gdbus08:55:001
3333649992210,6cyclictest3359860-21strings08:20:141
3333646992219,2cyclictest3362894-21cron08:30:010
3333646992219,2cyclictest3362894-21cron08:30:000
3333646992218,2cyclictest3337530-21sh07:19:590
3333646992217,3cyclictest3488176-21sh11:33:060
3333646992217,3cyclictest3418881-21sh10:05:060
3333646992217,3cyclictest0-21swapper/012:10:010
3333646992212,7cyclictest942-21snmpd11:42:340
333364699220,19cyclictest3440086-21taskset10:32:430
333365699214,4cyclictest3467645-21sh11:09:153
333365699211,7cyclictest3463325-21ssh11:01:493
3333656992114,5cyclictest3361928-21ldconfig08:25:503
3333656992114,5cyclictest3361928-21ldconfig08:25:493
333365699211,18cyclictest3532551-21ssh12:15:153
333365299211,7cyclictest3532354-21smartctl12:15:132
333365299211,7cyclictest3527886-21sh12:10:222
3333652992112,6cyclictest3418077-21runrttasks10:04:122
333365299211,17cyclictest3431019-21/usr/sbin/munin10:20:192
3333652992110,7cyclictest3426138-21grep10:15:152
333365299210,8cyclictest3346826-21ntpq07:40:182
333365299210,3cyclictest0-21swapper/212:26:242
333364999211,7cyclictest3498637-21taskset11:42:231
333364999211,7cyclictest3464163-21ssh11:03:231
3333649992116,3cyclictest3538940-21unixbench_singl12:20:251
3333649992112,6cyclictest3351510-21sshd07:52:241
333364999211,17cyclictest3551229-21runrttasks12:33:281
333364999211,17cyclictest3534893-21ssh12:17:131
3333649992111,7cyclictest3458488-21sed10:55:251
3333649992111,7cyclictest3373733-21ntpq09:05:201
3333649992110,7cyclictest3395836-21cat09:35:251
333364699211,7cyclictest3381023-21ssh09:16:190
3333646992117,2cyclictest712-21tpm2-abrmd09:30:190
3333646992112,7cyclictest3453061-21fschecks_count10:50:120
3333646992112,6cyclictest699-21dbus-daemon08:55:000
3333646992111,6cyclictest262-21systemd-journal11:47:130
3333646992110,8cyclictest3467684-21sshd11:09:180
333365699201,6cyclictest940-21runrttasks08:24:553
3333656992015,3cyclictest3437924-21gltestperf10:30:093
3333656992011,6cyclictest3545007-21ssh12:27:373
3333656992010,6cyclictest3391114-21ssh09:30:163
333365699200,17cyclictest3389614-21taskset09:29:283
333365299208,8cyclictest3470623-21seq11:11:492
333365299202,16cyclictest3374695-21diskmemload10:35:122
333365299201,7cyclictest3440669-21taskset10:33:432
333365299201,7cyclictest3409210-21taskset09:53:312
3333652992017,2cyclictest3390349-21cpuspeed_turbos09:30:092
3333652992017,2cyclictest3358947-21idleruntime-cro08:20:002
3333652992016,3cyclictest421ktimers/211:27:132
3333652992016,3cyclictest3333640-21cyclictest09:10:002
3333652992016,2cyclictest3356330-21latency_hist08:09:592
3333652992016,2cyclictest0-21swapper/212:09:592
3333652992014,5cyclictest3521817-21cron12:05:012
333365299201,17cyclictest3488347-21ssh11:33:192
333365299201,17cyclictest3351512-21sshd07:52:252
333365299201,16cyclictest989-21cron08:35:012
3333652992011,6cyclictest3490298-21sh11:35:132
333365299200,6cyclictest3401708-21runrttasks09:43:182
333364999209,8cyclictest940-21runrttasks11:06:431
333364999209,8cyclictest3422528-21ntpq10:10:131
333364999201,7cyclictest3515639-21sh11:59:381
333364999201,17cyclictest3418039-21sh10:04:061
3333649992011,7cyclictest3408311-21taskset09:51:451
3333649992011,6cyclictest3455470-21ssh10:52:231
333364999201,16cyclictest3419164-21sh10:05:391
333364999201,16cyclictest3374695-21diskmemload09:10:191
333364999200,18cyclictest3481282-21ssh11:25:551
333364999200,18cyclictest3439006-21taskset10:30:211
333364699209,7cyclictest3506240-21/usr/sbin/munin11:50:160
333364699201,7cyclictest3463420-21taskset11:02:060
3333646992016,2cyclictest3548383-21mailstats12:30:170
3333646992016,2cyclictest3478983-21sh11:21:530
3333646992015,3cyclictest0-21swapper/012:14:590
3333646992012,6cyclictest3495152-21cron11:40:000
333364699201,16cyclictest3401050-21seq09:42:060
333365699199,8cyclictest0-21swapper/311:30:113
333365699198,8cyclictest3375619-21sed09:10:213
3333656991916,2cyclictest703-21polkitd10:55:233
3333656991916,2cyclictest3402946-21apt-key09:45:013
3333656991915,2cyclictest940-21runrttasks11:56:033
3333656991915,2cyclictest0-21swapper/312:33:543
3333656991914,3cyclictest940-21runrttasks12:09:463
3333656991914,3cyclictest3340037-21fschecks_time07:25:133
3333656991913,4cyclictest3407500-21sh09:50:243
3333656991912,5cyclictest3469039-21tail11:10:123
333365699191,16cyclictest3509259-21sh11:53:333
3333656991911,5cyclictest3473650-21/usr/sbin/munin11:15:463
333365699190,17cyclictest3371095-21seq09:00:113
333365299199,6cyclictest3479906-21sh11:24:072
3333652991911,6cyclictest3454255-21taskset10:50:232
3333652991910,6cyclictest3351995-21/usr/sbin/munin07:55:112
333365299190,6cyclictest3435318-21runrttasks10:26:562
333365299190,17cyclictest3387262-21ssh09:25:122
333365299190,17cyclictest3379887-21ntpq09:15:192
333365299190,16cyclictest3376815-21sh09:11:072
333364999194,3cyclictest3529777-21ssh12:12:481
3333649991914,3cyclictest3346184-21cpuspeed_turbos07:40:121
3333649991911,6cyclictest3545696-21ssh12:28:291
3333649991911,6cyclictest3469271-21ssh11:10:171
333364999191,16cyclictest3387246-21sh09:25:101
333364999190,6cyclictest3489082-21ssh11:34:151
333364999190,17cyclictest3412583-21ssh09:56:471
333364699199,6cyclictest3442337-21ntp_kernel_pll_10:35:180
333364699194,2cyclictest3475147-21sh11:17:120
333364699191,6cyclictest3342499-21modprobe07:30:230
3333646991915,3cyclictest3433551-21kworker/u16:1-nfsiod10:25:330
3333646991915,3cyclictest221rcuc/012:23:350
3333646991912,5cyclictest3374695-21diskmemload12:37:320
3333646991912,5cyclictest3353970-21/usr/sbin/munin08:00:190
3333646991912,1cyclictest0-21swapper/009:20:120
3333646991911,6cyclictest3545443-21ssh12:28:100
333364699191,16cyclictest3374695-21diskmemload09:45:400
3333646991911,2cyclictest3406085-21apt-get09:50:070
3333646991910,6cyclictest262-21systemd-journal07:29:140
333364699190,7cyclictest3378127-21taskset09:13:480
333365699189,6cyclictest3482179-21seq11:27:183
333365699189,6cyclictest262-21systemd-journal07:22:323
333365699187,7cyclictest942-21snmpd08:35:323
333365699181,8cyclictest3451589-21ssh10:47:573
333365699181,6cyclictest3370880-21latency_hist09:00:013
3333656991814,3cyclictest3335558-21idleruntime-cro07:14:593
3333656991814,2cyclictest3529491-21sh12:12:283
3333656991814,2cyclictest3384868-21sh09:20:483
3333656991812,4cyclictest3374695-21diskmemload10:42:043
333365699181,15cyclictest3420762-21sh10:08:523
3333656991811,5cyclictest3415647-21taskset10:00:253
333365699181,15cyclictest3374695-21diskmemload10:52:243
333365699181,14cyclictest3335811-21/usr/sbin/munin07:15:203
333365699181,12cyclictest3430393-21/usr/sbin/munin10:20:133
333365699180,6cyclictest3555381-21runrttasks12:36:513
333365699180,6cyclictest3351994-21/usr/sbin/munin07:55:113
333365699180,15cyclictest3405396-21ssh09:49:153
333365299188,6cyclictest3422544-21ntpq10:10:142
3333652991814,3cyclictest421ktimers/211:42:242
3333652991813,3cyclictest3340128-21gltestperf07:25:132
3333652991812,4cyclictest3341739-21/usr/sbin/munin07:30:202
333365299181,14cyclictest3450057-21sh10:45:042
3333652991810,6cyclictest3554343-21ssh12:35:312
3333652991810,6cyclictest3501173-21runrttasks11:45:152
3333652991810,6cyclictest3403291-21ssh09:45:162
3333652991810,5cyclictest942-21snmpd09:20:322
333364999189,6cyclictest942-21snmpd11:35:331
333364999189,6cyclictest3405287-21ssh09:49:001
333364999189,6cyclictest3339201-21sshd07:21:141
333364999181,5cyclictest3390685-21ssh09:30:121
3333649991815,2cyclictest488-21hwrng09:23:581
3333649991814,2cyclictest3374695-21diskmemload11:47:441
3333649991813,3cyclictest0-21swapper/111:20:141
333364999181,15cyclictest3374695-21diskmemload10:26:031
3333649991811,4cyclictest3429103-21sh10:19:001
3333649991810,6cyclictest3553891-21ssh12:35:191
333364999180,6cyclictest3450092-21runrttasks10:45:081
333364699189,6cyclictest3371571-21memory09:00:140
333364699189,6cyclictest3364552-21awk08:35:490
333364699186,9cyclictest3334582-21ntpq07:10:440
333364699181,6cyclictest3481986-21ssh11:27:020
3333646991813,3cyclictest3350325-21gltestperf07:50:160
3333646991812,4cyclictest3430231-21tr10:20:110
3333646991812,4cyclictest3357903-21ntpq08:15:180
3333646991811,5cyclictest3448162-21sh10:41:570
333364699181,14cyclictest3450729-21sh10:46:130
3333646991810,6cyclictest3471439-21ssh11:13:100
3333646991810,6cyclictest3418524-21ssh10:04:550
333364699180,7cyclictest3519995-21taskset12:02:430
333364699180,6cyclictest3338538-21ld07:20:500
333364699180,1cyclictest0-21swapper/009:25:270
333365699179,5cyclictest940-21runrttasks10:16:303
333365699171,6cyclictest3396587-21rm09:36:283
3333656991713,3cyclictest3357949-21ntp_kernel_pll_08:15:183
333365699171,2cyclictest3477702-21ntpq11:20:163
333365699171,14cyclictest3370007-21sshd08:54:043
333365299178,6cyclictest3359507-21perl08:20:112
333365299177,7cyclictest3366332-21memory08:40:152
333365299176,7cyclictest3410376-21sh09:55:022
333365299171,7cyclictest3367954-21seq08:47:572
3333652991715,1cyclictest488-21hwrng08:50:102
3333652991714,2cyclictest488-21hwrng08:35:502
3333652991712,3cyclictest3337922-21cpuspeed_turbos07:20:452
333365299171,13cyclictest3420962-21ssh10:09:122
3333652991710,5cyclictest3361456-21tune2fs08:25:462
3333652991710,5cyclictest3361456-21tune2fs08:25:452
333365299170,4cyclictest3353970-21/usr/sbin/munin08:00:252
333364999179,6cyclictest3361742-21latency08:25:481
333364999179,6cyclictest3361742-21latency08:25:471
333364999179,6cyclictest3334579-21/usr/sbin/munin07:10:441
3333649991713,3cyclictest331ktimers/107:30:161
3333649991712,3cyclictest3341086-21unixbench_singl07:25:241
3333649991712,3cyclictest0-21swapper/108:35:001
333364999171,14cyclictest3475215-21ssh11:17:191
333364999170,8cyclictest3345399-21systemd07:39:381
333364999170,15cyclictest3365781-21/usr/sbin/munin08:40:101
333364999170,14cyclictest3398746-21taskset09:40:071
333364699178,6cyclictest942-21snmpd10:18:340
333364699178,6cyclictest3365952-21diskstats08:40:120
333364699178,6cyclictest3345106-21sshd07:36:140
333364699176,6cyclictest0-21swapper/010:10:100
333364699171,5cyclictest3411370-21ssh09:55:210
3333646991715,1cyclictest488-21hwrng08:08:120
3333646991714,2cyclictest488-21hwrng08:34:480
3333646991712,3cyclictest3356672-21sshd08:11:230
333364699171,14cyclictest3359424-21/usr/sbin/munin08:20:110
3333646991711,4cyclictest3349066-21/usr/sbin/munin07:45:230
3333656991612,2cyclictest3374695-21diskmemload10:29:253
3333656991612,2cyclictest0-21swapper/308:14:593
3333656991611,3cyclictest3365915-21cpuspeed_turbos08:40:123
333365299167,6cyclictest3348225-21diskstats07:45:132
333365299164,7cyclictest3465357-21sh11:05:022
3333652991614,1cyclictest488-21hwrng08:56:192
3333652991614,1cyclictest488-21hwrng08:10:142
333365299160,5cyclictest3371449-21/usr/sbin/munin09:00:132
333364999167,6cyclictest3348869-21seq07:45:191
3333649991612,2cyclictest3364600-21ntpq08:35:501
3333649991612,2cyclictest3361169-21kworker/u16:2-ext4-rsv-conversion09:00:011
333364999161,13cyclictest3372273-21grep09:00:231
333364999160,6cyclictest3354136-21df08:00:131
333364999160,14cyclictest3357216-21/usr/sbin/munin08:15:241
3333646991614,1cyclictest488-21hwrng08:48:080
333364699161,11cyclictest3374708-21munin-run09:09:590
333365699157,5cyclictest262-21systemd-journal08:47:553
333365699156,6cyclictest3373379-21smartctl09:05:163
3333656991511,2cyclictest3354141-21/usr/sbin/munin08:00:143
3333656991511,2cyclictest3342069-21gltestperf07:30:183
333365699150,6cyclictest3348047-21/usr/sbin/munin07:45:123
333365299156,6cyclictest3337065-21grep07:15:252
333364999156,6cyclictest3336523-21ntpq07:15:181
333364699151,13cyclictest0-21swapper/007:55:120
3333646991511,2cyclictest3370109-21perf08:59:560
333365699149,3cyclictest3350723-21/usr/sbin/munin07:50:213
333365299148,4cyclictest3333843-21/usr/sbin/munin07:10:372
333364999145,6cyclictest942-21snmpd08:46:331
333365699131,8cyclictest940-21runrttasks08:06:513
333364999135,5cyclictest3356129-21seq08:07:371
333364999130,12cyclictest0-21swapper/108:13:361
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional