You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-04-03 - 11:34
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Thu Apr 03, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
158462307270,24sleep00-21swapper/00
158272287251,24sleep10-21swapper/11
157492280242,25sleep30-21swapper/33
152062280177,17sleep20-21swapper/22
1618399242234,5cyclictest22711-21awk1
1618899191187,2cyclictest0-21swapper/22
1617999152146,3cyclictest22708-21perf0
1619099127123,2cyclictest0-21swapper/33
1618899511,32cyclictest340-21apt-key2
16188994811,15cyclictest9444-21grep2
16188994211,17cyclictest15014-21latency_hist2
1618899418,18cyclictest2927-21gltestperf2
16188994111,20cyclictest11378-21latency_hist2
296862390,1sleep20-21swapper/22
1618899381,18cyclictest2363-21latency_hist2
1618899380,23cyclictest4586-21sed2
1618899380,22cyclictest21635-21df2
1618899378,16cyclictest27165-21cstates2
1618899370,22cyclictest9425-21sed2
1618899360,21cyclictest17835-21chrt2
1618899351,18cyclictest20208-21unixbench_multi2
1618899350,19cyclictest6775-21apt-key2
1618899350,19cyclictest26118-21ntpq2
1618899350,18cyclictest28952-21apt-get2
1618899340,20cyclictest4419-21df2
1618899340,20cyclictest2642-21irqstats2
1618899340,19cyclictest16670-21aten2.4-expect2
1618899340,19cyclictest1383-21irqstats2
1618899331,29cyclictest26723-21grep2
1618899330,18cyclictest15490-21ps2
1618899330,18cyclictest15297-21aten2_r9power_c2
1618899321,15cyclictest0-21swapper/22
1618899320,30cyclictest0-21swapper/22
1618899310,18cyclictest0-21swapper/22
1618899310,16cyclictest0-21swapper/22
1618899310,14cyclictest0-21swapper/22
1618899301,15cyclictest0-21swapper/22
1618899301,13cyclictest0-21swapper/22
1618899300,27cyclictest2082-21systemd-journal2
1618899300,27cyclictest0-21swapper/22
1618899300,16cyclictest0-21swapper/22
1618899290,13cyclictest0-21swapper/22
1619099280,26cyclictest30512-21kworker/3:03
1618899280,26cyclictest0-21swapper/22
1618899279,15cyclictest10333-21gdbus2
1618899271,24cyclictest1772-21perf2
1618899271,23cyclictest31034-21aten2.4-expect2
16188992712,13cyclictest26981-21cut2
16188992711,13cyclictest13259-21load2
16188992711,13cyclictest12258-21cat2
1618899270,24cyclictest7957-21taskset2
1618899270,24cyclictest22587-21latency_hist2
16179992721,4cyclictest9-21ksoftirqd/00
1618899268,15cyclictest14316-21/usr/sbin/munin2
1618899261,22cyclictest30585-21munin-run2
1618899261,22cyclictest13001-21cstates2
1618899260,23cyclictest8373-21munin-run2
1618899260,23cyclictest3104-21df2
1618899260,23cyclictest26147-21latency_hist2
16188992520,3cyclictest1138-21grep2
1618899251,21cyclictest17528-21sed2
1618899251,20cyclictest18303-21/usr/sbin/munin2
16188992511,12cyclictest31176-21cstates2
1618899250,22cyclictest3104-21munin-run2
1618899250,22cyclictest18488-21sed2
1618899250,21cyclictest8506-21/usr/sbin/munin2
16179992516,5cyclictest14516-21apt-get0
16179992512,4cyclictest9-21ksoftirqd/00
1618899242,18cyclictest24946-21apt-get2
1618899241,20cyclictest7316-21grep2
1618899241,20cyclictest27597-21awk2
1618899241,20cyclictest27597-21awk2
1618899241,20cyclictest24700-21perf2
1618899241,20cyclictest22855-21/usr/sbin/munin2
1618899240,21cyclictest21995-21idleruntime-cro2
1618899231,19cyclictest20721-21chrt2
1618899231,19cyclictest14000-21cron2
1618899230,20cyclictest23584-21/usr/sbin/munin2
1617999231,14cyclictest111rcu_preempt0
187572220,1sleep10-21swapper/11
16179992213,3cyclictest9-21ksoftirqd/00
16179992212,3cyclictest9-21ksoftirqd/00
1617999220,19cyclictest20677-21pluginstate0
16190992116,3cyclictest31736-21open_files3
16190992116,3cyclictest16281-21apt3
16190992114,4cyclictest3146-21sed3
16190992114,4cyclictest19063-21ls3
16190992110,6cyclictest25238-21apt-get3
1618399212,16cyclictest31356-21head1
16183992116,3cyclictest17515-21proc_pri1
16179992117,3cyclictest9-21ksoftirqd/00
16179992114,4cyclictest27117-21awk0
82172200,2sleep10-21swapper/11
16190992015,3cyclictest6923-21diskstats3
16190992015,3cyclictest4538-21ls3
16190992015,3cyclictest30727-21open_inodes3
16190992015,3cyclictest16011-21cron3
16190992015,3cyclictest11335-21ntp_kernel_err3
16190992013,4cyclictest8725-21cat3
16190992013,4cyclictest25218-21expr3
16190992013,4cyclictest24184-21which3
16190992013,4cyclictest23288-21expr3
1618399205,4cyclictest21-21ksoftirqd/11
16183992016,2cyclictest665-21runrttasks1
16183992015,3cyclictest6008-21/usr/sbin/munin1
16183992014,4cyclictest4461-21cut1
16183992014,4cyclictest29496-21cat1
16183992014,4cyclictest14364-21date1
16179992015,3cyclictest9-21ksoftirqd/00
16179992015,3cyclictest9-21ksoftirqd/00
16179992015,3cyclictest9-21ksoftirqd/00
16179992015,3cyclictest5697-21processes0
16179992015,3cyclictest25220-21/usr/sbin/munin0
16179992014,4cyclictest8614-21/usr/sbin/munin0
16179992014,4cyclictest8500-21apt-get0
16179992014,4cyclictest3216-21date0
16179992014,3cyclictest9-21ksoftirqd/00
16179992013,4cyclictest2082-21systemd-journal0
16179992011,5cyclictest22224-21apt-get0
16190991915,2cyclictest29269-21df_inode3
16190991914,3cyclictest6632-21ps3
16190991914,3cyclictest4212-21seq3
16190991914,3cyclictest28295-21head3
16190991914,3cyclictest22081-21ntpq3
16190991914,3cyclictest19497-21if_enp2s03
16190991914,3cyclictest1612-21ntp_offset3
16190991914,3cyclictest15391-21ntp_states3
16190991913,4cyclictest4431-21date3
16190991913,4cyclictest357-21date3
16190991913,4cyclictest31286-21df3
16190991913,4cyclictest29827-21sh3
16190991913,4cyclictest10186-21cat3
16190991913,3cyclictest18288-21sh3
16190991912,4cyclictest23195-21expr3
16190991912,4cyclictest17710-21df3
16190991911,5cyclictest10637-21apt-get3
16190991910,5cyclictest8632-21apt-get3
1618399196,4cyclictest3096-21cron1
16183991917,1cyclictest0-21swapper/11
16183991916,2cyclictest0-21swapper/11
16183991915,2cyclictest24208-21/usr/sbin/munin1
16183991915,2cyclictest14249-21/usr/sbin/munin1
16183991915,2cyclictest1-21systemd1
16183991914,3cyclictest358-21/usr/sbin/munin1
16183991914,3cyclictest29761-21date1
16183991914,3cyclictest28777-21date1
16183991914,3cyclictest24378-21seq1
16183991914,3cyclictest21962-21latency_hist1
16183991914,3cyclictest21199-21/usr/sbin/munin1
16183991914,3cyclictest1514-21processes1
16183991914,3cyclictest15014-21latency_hist1
16183991914,3cyclictest1233-21sed1
16183991913,4cyclictest6993-21expr1
16183991913,4cyclictest4542-21expr1
16183991912,4cyclictest26117-21grep1
16183991912,4cyclictest17072-21cat1
16179991915,2cyclictest9610-21/usr/sbin/munin0
16179991915,2cyclictest28472-21irqstats0
16179991915,2cyclictest27709-21ntp_states0
16179991914,3cyclictest9-21ksoftirqd/00
16179991914,3cyclictest31835-21awk0
16179991914,3cyclictest29625-21expr0
16179991914,3cyclictest19988-21seq0
16179991914,3cyclictest1555-21sed0
16179991914,3cyclictest15260-21/usr/sbin/munin0
16179991914,2cyclictest26255-21/usr/sbin/munin0
16179991913,4cyclictest30825-21/usr/sbin/munin0
16179991913,4cyclictest2272-21seq0
16179991913,3cyclictest505-21dbus-daemon0
16179991913,3cyclictest505-21dbus-daemon0
16179991913,3cyclictest22581-21vmstat0
16190991814,2cyclictest4817-21aten2_r9power_v3
16190991814,2cyclictest26918-21/usr/sbin/munin3
16190991813,3cyclictest4721-21cpuspeed_turbos3
16190991813,3cyclictest28878-21apt3
16190991813,3cyclictest28151-21date3
16190991813,3cyclictest24936-21acpi3
16190991813,3cyclictest24439-21ls3
16190991813,3cyclictest21208-21cat3
16190991813,3cyclictest19371-21idleruntime3
16190991813,3cyclictest13539-21cat3
16190991813,3cyclictest13100-21if_enp3s03
16190991812,4cyclictest16535-21cat3
1619099180,16cyclictest0-21swapper/33
1618399187,9cyclictest27585-21sh1
1618399187,9cyclictest27585-21sh1
16183991816,1cyclictest0-21swapper/11
16183991816,1cyclictest0-21swapper/11
16183991816,1cyclictest0-21swapper/11
16183991814,2cyclictest9610-21/usr/sbin/munin1
16183991814,2cyclictest8614-21/usr/sbin/munin1
16183991814,2cyclictest26255-21/usr/sbin/munin1
16183991814,2cyclictest24928-21/usr/sbin/munin1
16183991814,2cyclictest1633-21sh1
16183991814,2cyclictest10619-21/usr/sbin/munin1
16183991813,3cyclictest665-21runrttasks1
16183991813,3cyclictest4824-21expr1
16183991813,3cyclictest25825-21cat1
16183991813,3cyclictest23338-21expr1
16183991813,3cyclictest20813-21cat1
16183991813,3cyclictest2039-21sh1
16183991813,3cyclictest18362-21sed1
16183991812,4cyclictest20000-21cat1
16183991812,3cyclictest29427-21grep1
16183991811,4cyclictest6066-21awk1
16183991811,4cyclictest27381-21gltestperf1
1618399180,16cyclictest0-21swapper/11
1617999189,3cyclictest9-21ksoftirqd/00
16179991814,3cyclictest9-21ksoftirqd/00
16179991814,2cyclictest7611-21/usr/sbin/munin0
16179991814,2cyclictest12506-21/usr/sbin/munin0
16179991813,3cyclictest9-21ksoftirqd/00
16179991813,3cyclictest665-21runrttasks0
16179991813,3cyclictest665-21runrttasks0
16179991813,3cyclictest3580-21ls0
16179991813,3cyclictest31170-21expr0
16179991813,3cyclictest23209-21expr0
16179991813,3cyclictest17950-21sed0
16179991813,3cyclictest16326-21aten2_r9power_e0
16179991813,3cyclictest14249-21/usr/sbin/munin0
16179991813,3cyclictest1298-21cut0
16179991813,3cyclictest1182-21sed0
16179991812,4cyclictest20595-21cat0
16179991812,3cyclictest6203-21idleruntime0
16179991812,3cyclictest25191-21cat0
16179991812,3cyclictest14227-21latency_hist0
1619099179,5cyclictest366-21acpi3
16190991713,2cyclictest32734-21sh3
16190991713,2cyclictest22921-21latency3
16190991712,3cyclictest6577-21cat3
16190991712,3cyclictest35-21ksoftirqd/33
16190991712,3cyclictest19937-21expr3
16190991712,3cyclictest16752-21expr3
16190991712,3cyclictest1645-21seq3
16190991712,3cyclictest11700-21sh3
16190991712,3cyclictest10229-21latency_hist3
16190991711,4cyclictest27743-21ls3
1619099170,15cyclictest0-21swapper/33
16183991715,1cyclictest0-21swapper/11
16183991713,2cyclictest5641-21/usr/sbin/munin1
16183991713,2cyclictest23256-21gzip1
16183991712,3cyclictest665-21runrttasks1
16183991712,3cyclictest28830-21/usr/sbin/munin1
16183991712,3cyclictest19094-21tr1
16183991712,3cyclictest11299-21needreboot1
1618399171,10cyclictest29832-21apt-get1
1618399170,15cyclictest0-21swapper/11
16179991713,3cyclictest9-21ksoftirqd/00
16179991712,3cyclictest30113-21sed0
16179991712,3cyclictest25788-21ntpq0
16179991711,4cyclictest8448-21date0
16179991711,4cyclictest7902-21date0
16179991711,4cyclictest4673-21latency0
16179991711,4cyclictest20448-21sed0
16179991710,4cyclictest505-21dbus-daemon0
16179991710,4cyclictest16879-21cat0
1619099169,4cyclictest8368-21cron3
16190991611,3cyclictest665-21runrttasks3
16190991610,4cyclictest851-21ls3
16190991610,3cyclictest27575-21latency_hist3
16190991610,3cyclictest27575-21latency_hist3
1619099160,1cyclictest0-21swapper/33
1618399163,8cyclictest14516-21apt-get1
1618399160,1cyclictest0-21swapper/11
1617999169,4cyclictest21342-21gltestperf0
1617999167,2cyclictest9604-21kworker/0:00
16179991611,3cyclictest28749-21latency_hist0
16190991511,3cyclictest20381-21apt-config3
16190991511,2cyclictest4686-21unixbench_singl3
16183991510,3cyclictest7445-21latency_hist1
16183991510,3cyclictest20956-21latency_hist1
16183991410,2cyclictest14040-21sendmail-mta1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional