You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-11-23 - 17:33
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Sat Nov 23, 2024 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
155602301265,24sleep00-21swapper/00
158062288251,25sleep20-21swapper/22
1601499279275,2cyclictest0-21swapper/33
156952262190,24sleep30-21swapper/33
157632250212,25sleep10-21swapper/11
1600699235230,3cyclictest0-21swapper/11
1600499190185,3cyclictest21952-21strings0
1601199119115,3cyclictest0-21swapper/22
83072550,2sleep11600699cyclictest1
162552460,3sleep10-21swapper/11
304482390,1sleep20-21swapper/22
297912390,13sleep335-21ksoftirqd/33
275192390,2sleep00-21swapper/00
1601199371,18cyclictest505-21dbus-daemon2
171822300,2sleep10-21swapper/11
16011992913,14cyclictest500-21latency_hist2
16014992825,2cyclictest341rcuc/33
1601499267,18cyclictest0-21swapper/33
1601199265,18cyclictest2082-21systemd-journal2
1601499250,10cyclictest4579-21sed3
1601199258,14cyclictest28956-21latency_hist2
1601499242,8cyclictest25709-21munin-run3
16014992417,5cyclictest4350-21needreboot3
1601499240,9cyclictest35-21ksoftirqd/33
1601499240,10cyclictest27782-21kernelversion3
1601199242,6cyclictest19328-21apt-get2
16011992421,2cyclictest21894-21kworker/2:22
16011992415,5cyclictest17153-21apt-get2
1600699241,14cyclictest28985-21sendmail1
1601499234,2cyclictest39402ntp_kernel_pll_3
1601499233,6cyclictest341rcuc/33
1601499232,7cyclictest35-21ksoftirqd/33
1601499231,7cyclictest0-21swapper/33
1601499230,9cyclictest12539-21sendmail-mta3
1601499230,13cyclictest35-21ksoftirqd/33
1601199236,15cyclictest6478-21latency_hist2
1601199233,17cyclictest4671-21cat2
1601199231,18cyclictest9297-21perf2
113462230,1sleep10-21swapper/11
1601499222,7cyclictest35-21ksoftirqd/33
16014992215,5cyclictest20323-21cat3
1601499220,9cyclictest35-21ksoftirqd/33
1601199222,17cyclictest7291-21latency_hist2
1601199222,15cyclictest27153-21apt-get2
16011992215,5cyclictest8763-21seq2
1601199221,18cyclictest2082-21systemd-journal2
1601199221,18cyclictest17675-21latency_hist2
1600699224,7cyclictest0-21swapper/11
1600699223,16cyclictest16426-21cut1
16006992215,4cyclictest3969-21df_inode1
1600499222,19cyclictest0-21swapper/00
1600499222,17cyclictest32750-21sed0
16004992216,4cyclictest31930-21missed_timers0
16004992216,4cyclictest13775-21cut0
1601499213,6cyclictest35-21ksoftirqd/33
1601499212,6cyclictest31625-21cstates3
1601499212,5cyclictest0-21swapper/33
1601499211,7cyclictest35-21ksoftirqd/33
1601499211,7cyclictest35-21ksoftirqd/33
1601499211,7cyclictest35-21ksoftirqd/33
1601499211,7cyclictest35-21ksoftirqd/33
1601499211,6cyclictest35-21ksoftirqd/33
16014992116,3cyclictest24906-21turbostat.cron3
16014992115,3cyclictest8527-21processes3
16014992114,4cyclictest13387-21cat3
16014992114,4cyclictest13387-21cat3
1601499210,9cyclictest35-21ksoftirqd/33
1601499210,8cyclictest35-21ksoftirqd/33
1601499210,8cyclictest35-21ksoftirqd/33
1601499210,6cyclictest24764-21taskset3
1601199216,12cyclictest10333-21gdbus2
1601199212,17cyclictest16737-21cat2
1601199212,16cyclictest16887-21latency_hist2
16011992115,4cyclictest32761-21seq2
16011992115,3cyclictest6842-21pluginstate2
16011992114,4cyclictest18528-21apt-get2
16011992114,4cyclictest15334-21seq2
16011992113,4cyclictest23695-21cron2
1601199211,17cyclictest2708-21latency_hist2
1601199211,16cyclictest2082-21systemd-journal2
1601199210,18cyclictest31758-21ls2
16006992118,2cyclictest0-21swapper/11
16006992115,3cyclictest13632-21idleruntime-cro1
16006992115,3cyclictest13632-21idleruntime-cro1
1600499212,16cyclictest27717-21sh0
16004992115,4cyclictest28574-21seq0
16004992115,4cyclictest2082-21systemd-journal0
16004992114,5cyclictest8133-21cat0
115182211,16sleep00-21swapper/00
345322014,3sleep13558-21ntpq1
1601499202,6cyclictest35-21ksoftirqd/33
16014992017,2cyclictest341rcuc/33
1601499201,6cyclictest35-21ksoftirqd/33
1601499201,6cyclictest21329-21taskset3
16014992015,3cyclictest6661-21uptime3
16014992015,3cyclictest30243-21sed3
16014992015,3cyclictest29680-21forks3
16014992015,3cyclictest13171-21aten2_r9power_e3
16014992014,4cyclictest28563-21cat3
16014992014,4cyclictest17226-21forks3
16014992014,4cyclictest13761-21forks3
16014992014,4cyclictest12770-21awk3
16014992014,4cyclictest12770-21awk3
16014992013,4cyclictest26648-21cat3
1601499201,16cyclictest31672-21cut3
1601499200,6cyclictest35-21ksoftirqd/33
1601499200,6cyclictest35-21ksoftirqd/33
1601499200,6cyclictest35-21ksoftirqd/33
1601199206,12cyclictest28-21ksoftirqd/22
1601199202,16cyclictest292-21jbd2/mmcblk0p2-2
16011992016,2cyclictest15651-21cstates2
16011992015,3cyclictest3551-21apt-get2
16011992015,3cyclictest23899-21missed_timers2
16011992015,3cyclictest22409-21unixbench-2d2
16011992014,4cyclictest30702-21sed2
1601199201,3cyclictest6506-1kworker/2:2H2
16011992013,4cyclictest6431-21sed2
1601199201,16cyclictest0-21swapper/22
1601199200,18cyclictest0-21swapper/22
1601199200,17cyclictest13618-21munin-run2
1601199200,17cyclictest13618-21munin-run2
1600699204,6cyclictest0-21swapper/11
16006992015,3cyclictest9085-21/usr/sbin/munin1
16006992015,3cyclictest17321-21/usr/sbin/munin1
16006992014,4cyclictest23804-21cat1
16006992014,3cyclictest30156-21processes1
16006992012,4cyclictest505-21dbus-daemon1
1600499202,15cyclictest20838-21cron0
16004992015,3cyclictest5578-21nfs4_client0
16004992015,3cyclictest3378-21aten2_r9power_v0
16004992015,3cyclictest312-21needreboot0
16004992014,4cyclictest30856-21seq0
16004992014,4cyclictest16207-21seq0
16004992014,3cyclictest3025-21latency_hist0
16004992013,4cyclictest505-21dbus-daemon0
16004992013,4cyclictest23268-21hostname0
16004992010,5cyclictest17340-21apt-get0
223002190,1sleep00-21swapper/00
1601499191,6cyclictest35-21ksoftirqd/33
16014991914,3cyclictest341rcuc/33
16014991914,3cyclictest11913-21needreboot3
16014991913,4cyclictest2755-21cat3
16014991913,3cyclictest2344-21users3
16014991912,4cyclictest1943-21ntpq3
1601499190,6cyclictest7185-21runrttasks3
1601499190,6cyclictest35-21ksoftirqd/33
1601499190,6cyclictest35-21ksoftirqd/33
1601499190,6cyclictest35-21ksoftirqd/33
1601499190,6cyclictest29146-21taskset3
1601499190,6cyclictest26608-21taskset3
16011991916,2cyclictest0-21swapper/22
1601199191,4cyclictest19105-21apt-get2
16011991913,4cyclictest3451-21cat2
16011991913,4cyclictest28-21ksoftirqd/22
16011991913,3cyclictest22451-21grep2
1601199191,16cyclictest4926-21procmail2
1601199191,16cyclictest19070-21latency_hist2
1601199191,15cyclictest14990-21latency_hist2
1601199191,15cyclictest0-21swapper/22
1601199191,13cyclictest1088-21apt-get2
16011991910,5cyclictest505-21dbus-daemon2
1601199190,3cyclictest6506-1kworker/2:2H2
1601199190,17cyclictest26859-21latency_hist2
1600699194,9cyclictest8751-21apt-get1
16006991914,3cyclictest6716-21/usr/sbin/munin1
16006991914,3cyclictest25903-21missed_timers1
16006991914,3cyclictest25627-21sed1
16006991914,3cyclictest23945-21/usr/sbin/munin1
16006991914,3cyclictest19280-21cpu1
16006991914,3cyclictest17460-21latency1
16006991913,4cyclictest30165-21sort1
16006991913,4cyclictest21528-21ls1
16006991913,4cyclictest2082-21systemd-journal1
16006991913,3cyclictest3337-21grep1
16006991912,4cyclictest9713-21df1
16006991912,4cyclictest32442-21grep1
1600699191,15cyclictest30972-21sh1
16004991916,2cyclictest0-21swapper/00
16004991914,3cyclictest9-21ksoftirqd/00
16004991914,3cyclictest7673-21cat0
16004991914,3cyclictest32402-21cat0
16004991914,3cyclictest29819-21expr0
16004991914,3cyclictest24451-21gltestperf0
16004991914,3cyclictest22010-21open_files0
16004991914,3cyclictest21399-21cat0
16004991914,3cyclictest17163-21sed0
16004991914,3cyclictest16755-21ls0
16004991914,3cyclictest16753-21date0
16004991914,3cyclictest12068-21proc_pri0
16004991913,4cyclictest7148-21aten2_r9power_e0
16004991913,4cyclictest29205-21cat0
16004991913,4cyclictest27346-21cat0
16004991913,4cyclictest26348-21cat0
16004991913,4cyclictest25165-21apt-get0
16004991913,4cyclictest1902-21cat0
16004991913,4cyclictest10974-21seq0
16004991912,4cyclictest9030-21expr0
1600499191,16cyclictest15052-21cron0
16014991813,3cyclictest7080-21/usr/sbin/munin3
16014991813,3cyclictest17254-21missed_timers3
1601499180,7cyclictest35-21ksoftirqd/33
1601499180,7cyclictest35-21ksoftirqd/33
1601199188,5cyclictest23964-21apt-get2
16011991816,1cyclictest0-21swapper/22
16011991814,2cyclictest27474-21aten2_r9power_p2
16011991813,3cyclictest26256-21ntp_kernel_err2
16011991813,3cyclictest2094-21vmstat2
16011991812,4cyclictest11601-21sh2
16011991811,4cyclictest30530-21tail2
16011991811,4cyclictest26346-21grep2
16011991811,3cyclictest23409-21apt-get2
16011991810,4cyclictest505-21dbus-daemon2
16011991810,4cyclictest505-21dbus-daemon2
16011991810,4cyclictest2082-21systemd-journal2
1600699188,6cyclictest21107-21apt-get1
16006991816,1cyclictest0-21swapper/11
16006991816,1cyclictest0-21swapper/11
1600699181,5cyclictest0-21swapper/11
16006991815,2cyclictest0-21swapper/11
16006991814,3cyclictest21-21ksoftirqd/11
16006991814,2cyclictest27968-21/usr/sbin/munin1
16006991813,3cyclictest665-21runrttasks1
16006991813,3cyclictest4151-21sh1
16006991813,3cyclictest28283-21sh1
16006991813,3cyclictest21-21ksoftirqd/11
16006991813,3cyclictest19066-21/usr/sbin/munin1
16006991813,3cyclictest18584-21pmu-power1
16006991813,3cyclictest16895-21expr1
16006991813,3cyclictest14073-21grep1
16006991813,3cyclictest14073-21grep1
16006991813,3cyclictest13276-21sed1
16006991813,3cyclictest11089-21/usr/sbin/munin1
16006991812,4cyclictest708-21timerwakeupswit1
16006991812,4cyclictest5589-21cut1
16006991812,4cyclictest18191-21acpi1
16006991811,4cyclictest2030-21gltestperf1
16006991810,5cyclictest10520-21lldpd1
16004991816,1cyclictest0-21swapper/00
16004991815,2cyclictest19085-21apt-get0
16004991814,2cyclictest23390-21/usr/sbin/munin0
16004991814,2cyclictest13987-21aten2_r9power_v0
16004991814,2cyclictest10723-21/usr/sbin/munin0
16004991813,3cyclictest5681-21cat0
16004991813,3cyclictest27331-21date0
16004991813,3cyclictest24891-21perf0
16004991813,3cyclictest19135-21basename0
16004991813,3cyclictest17570-21df0
16004991813,3cyclictest14603-21sed0
16004991813,3cyclictest14603-21sed0
16004991813,3cyclictest1307-21if_enp3s00
16004991812,4cyclictest4795-21seq0
16004991812,4cyclictest1-21systemd0
16011991712,3cyclictest20455-21unixbench_singl2
16006991715,1cyclictest0-21swapper/11
16006991713,2cyclictest708-21/usr/sbin/munin1
16006991712,3cyclictest665-21runrttasks1
16006991712,3cyclictest32510-21cat1
16006991712,3cyclictest15293-21/usr/sbin/munin1
16006991712,3cyclictest14586-21cat1
16006991712,3cyclictest1312-21cstates1
16006991710,4cyclictest6001-21wc1
16004991712,3cyclictest6762-21cat0
16004991712,3cyclictest665-21runrttasks0
16004991712,3cyclictest11891-21aten2_r9power_c0
16004991712,3cyclictest11891-21aten2_r9power_c0
16004991712,3cyclictest10715-21ntpq0
16004991711,4cyclictest18486-21cut0
16004991711,4cyclictest16722-21needreboot0
1600499170,16cyclictest0-21swapper/00
1600499170,16cyclictest0-21swapper/00
1601199169,5cyclictest9103-21apt-get2
16006991614,1cyclictest0-21swapper/11
16006991612,2cyclictest7523-21/usr/sbin/munin1
16006991611,3cyclictest27745-21if_err_enp2s01
16006991611,3cyclictest24027-21ntpq1
1600499148,4cyclictest0-21swapper/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional