You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-11-22 - 01:54
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Thu Nov 21, 2024 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
161122317280,24sleep20-21swapper/22
160262312274,25sleep10-21swapper/11
1637899277271,4cyclictest21197-21perf1
159982274213,47sleep00-21swapper/00
160532255218,24sleep30-21swapper/33
1638999251243,5cyclictest21218-21basename3
1637599208202,3cyclictest21220-21tr0
1638699177172,3cyclictest21206-21sendmail2
241372480,1sleep20-21swapper/22
179082300,2sleep20-21swapper/22
16378992919,3cyclictest21-21ksoftirqd/11
16389992715,3cyclictest3564-21tail3
16378992719,2cyclictest21-21ksoftirqd/11
16378992718,3cyclictest21-21ksoftirqd/11
16378992717,3cyclictest21-21ksoftirqd/11
16378992621,3cyclictest21-21ksoftirqd/11
291992250,2sleep329200-21needreboot3
1638699256,16cyclictest0-21swapper/22
16378992515,3cyclictest21-21ksoftirqd/11
1637899251,22cyclictest10520-21lldpd1
16378992416,2cyclictest21-21ksoftirqd/11
18892230,2sleep00-21swapper/00
16389992316,5cyclictest7666-21cron3
1638699238,12cyclictest0-21swapper/22
1638699234,17cyclictest3796-21cat2
1638699230,10cyclictest134472uptime2
16378992319,2cyclictest201rcuc/11
16378992315,2cyclictest21-21ksoftirqd/11
16389992211,6cyclictest16100-21apt-get3
1638999220,9cyclictest177152ntp_states3
1638699224,16cyclictest17712-21cat2
1638699224,16cyclictest17712-21cat2
1638699221,18cyclictest11690-21munin-run2
1638699220,4cyclictest1275-1kworker/2:2H2
16378992218,3cyclictest21-21ksoftirqd/11
16378992216,3cyclictest844-21cron1
16378992214,2cyclictest21-21ksoftirqd/11
16378992213,2cyclictest21-21ksoftirqd/11
16375992215,4cyclictest12507-21df_inode0
1638999212,16cyclictest30069-21cut3
16389992116,3cyclictest27731-21users3
16389992114,4cyclictest2082-21systemd-journal3
1638699212,17cyclictest28222-21cat2
16386992116,3cyclictest25234-21munin-run2
16386992116,3cyclictest25189-21/usr/sbin/munin2
16386992116,3cyclictest19728-21sh2
16386992115,4cyclictest11072-21seq2
16386992115,3cyclictest2082-21systemd-journal2
1638699211,3cyclictest29284-21munin-run2
1638699211,3cyclictest11835-21perf2
1638699210,3cyclictest20091-21munin-run2
1638699210,18cyclictest7726-21latency_hist2
1637899212,2cyclictest111rcu_preempt1
16378992116,3cyclictest21-21ksoftirqd/11
16378992116,3cyclictest21-21ksoftirqd/11
16378992115,4cyclictest12926-21seq1
16378992112,3cyclictest21-21ksoftirqd/11
16378992112,3cyclictest111rcu_preempt1
16375992116,3cyclictest17234-21ntp_states0
16375992115,4cyclictest6417-21proc_pri0
16375992115,4cyclictest6417-21proc_pri0
16375992115,4cyclictest1553-21seq0
16375992114,5cyclictest505-21dbus-daemon0
16389992016,2cyclictest30235-21aten2_r9power_v3
16389992016,2cyclictest14961-21ntp_states3
16389992015,3cyclictest2846-21ntpq3
16389992015,3cyclictest1556-21sh3
16389992014,4cyclictest505-21dbus-daemon3
16389992014,4cyclictest12566-21cat3
1638699208,3cyclictest30712-21cstates2
16386992016,2cyclictest6937-21irqstats2
16386992016,2cyclictest17725-21users2
16386992015,3cyclictest28433-21processes2
16386992015,3cyclictest11193-21ntp_states2
16386992015,3cyclictest1018-21switchtime2
1638699201,3cyclictest15720-21sendmail2
1638699201,17cyclictest505-21dbus-daemon2
1638699201,16cyclictest6034-21cmp2
1638699200,3cyclictest19226-21munin-run2
1637899204,4cyclictest21-21ksoftirqd/11
16378992015,3cyclictest7499-21idleruntime-cro1
16378992015,3cyclictest28670-21ls1
16378992015,3cyclictest27498-21cat1
16378992015,3cyclictest23907-21cut1
16378992015,3cyclictest21-21ksoftirqd/11
16378992015,3cyclictest13223-21sed1
16378992014,3cyclictest21-21ksoftirqd/11
16378992011,3cyclictest21-21ksoftirqd/11
16378992011,2cyclictest111rcu_preempt1
16378992010,3cyclictest21-21ksoftirqd/11
1637899200,18cyclictest11952-21sed1
1637599209,9cyclictest845-21cron0
16375992015,3cyclictest9194-21ntpq0
16375992014,4cyclictest3643-21seq0
16375992014,4cyclictest29957-21ls0
16375992014,4cyclictest10555-21ls0
16375992013,5cyclictest24065-21cat0
1637599201,17cyclictest30120-21turbostat.cron0
1638999192,10cyclictest23495-21taskset3
16389991916,2cyclictest0-21swapper/33
16389991915,2cyclictest31026-21kernelversion3
16389991915,2cyclictest26908-21apt-get3
16389991915,2cyclictest24501-21switchtime3
16389991914,3cyclictest9679-21sh3
16389991914,3cyclictest4987-21processes3
16389991914,3cyclictest31491-21wc3
16389991914,3cyclictest25069-21proc_pri3
16389991914,3cyclictest21873-21perf3
16389991912,5cyclictest13826-21dump-pmu-power3
1638999190,1cyclictest111rcu_preempt3
1638999190,17cyclictest15256-21cat3
16386991915,2cyclictest13699-21users2
16386991914,3cyclictest9175-21latency_hist2
16386991914,3cyclictest31810-21sed2
16386991914,3cyclictest29691-21awk2
16386991914,3cyclictest2098-21latency2
16386991914,3cyclictest14687-21expr2
16386991914,2cyclictest6063-21if_err_enp3s02
16386991914,2cyclictest6063-21if_err_enp3s02
16386991913,4cyclictest27219-21cat2
16386991913,4cyclictest23806-21seq2
16386991910,6cyclictest11445-21apt-get2
1638699190,3cyclictest6868-21munin-run2
1638699190,3cyclictest32417-21sort2
1638699190,3cyclictest25215-1kworker/2:0H2
1638699190,2cyclictest22123-21perf2
1638699190,17cyclictest29877-21munin-run2
1637899199,3cyclictest21-21ksoftirqd/11
1637899198,3cyclictest21-21ksoftirqd/11
1637899194,3cyclictest21-21ksoftirqd/11
16378991915,3cyclictest21-21ksoftirqd/11
16378991915,3cyclictest21-21ksoftirqd/11
16378991915,2cyclictest241172sleep11
16378991915,2cyclictest21-21ksoftirqd/11
16378991914,3cyclictest5810-21sed1
16378991914,3cyclictest5428-21/usr/sbin/munin1
16378991914,3cyclictest5428-21/usr/sbin/munin1
16378991914,3cyclictest31326-21idleruntime-cro1
16378991914,3cyclictest30719-21sed1
16378991914,3cyclictest21418-21awk1
16378991914,3cyclictest21-21ksoftirqd/11
16378991914,3cyclictest21-21ksoftirqd/11
16378991914,3cyclictest14666-21sed1
16378991914,3cyclictest12460-21aten2.4-expect1
16378991913,4cyclictest2323-21wc1
16378991912,4cyclictest519-21basename1
16378991912,4cyclictest10066-21basename1
16378991910,3cyclictest21-21ksoftirqd/11
16378991910,2cyclictest21-21ksoftirqd/11
16375991915,2cyclictest32197-21apt-config0
16375991915,2cyclictest24749-21irqstats0
16375991915,2cyclictest20251-21sh0
16375991914,3cyclictest9135-21seq0
16375991914,3cyclictest6651-21cat0
16375991914,3cyclictest5453-21seq0
16375991914,3cyclictest3652-21seq0
16375991914,3cyclictest31975-21apt-key0
16375991914,3cyclictest27969-21diskstats0
16375991914,3cyclictest24027-21cat0
16375991914,3cyclictest17955-21find0
16375991914,3cyclictest13963-21apt-get0
16375991913,4cyclictest15096-21seq0
16375991913,4cyclictest11881-21cat0
16375991913,4cyclictest11696-21idleruntime-cro0
16375991913,4cyclictest10602-21basename0
16375991913,3cyclictest18767-21sh0
16375991912,4cyclictest26917-21basename0
16375991910,6cyclictest25454-21apt-get0
16375991910,5cyclictest24365-21apt-get0
1638999181,7cyclictest11669-21sed3
16389991816,1cyclictest0-21swapper/33
16389991813,3cyclictest7675-21cat3
16389991813,3cyclictest7616-21sed3
16389991813,3cyclictest7057-21sed3
16389991813,3cyclictest31680-21aten2_r9power_v3
16389991813,3cyclictest17466-21/usr/sbin/munin3
16389991813,3cyclictest16758-21cat3
16389991813,3cyclictest14506-21ls3
16389991813,3cyclictest12872-21basename3
16389991812,4cyclictest665-21runrttasks3
16389991812,4cyclictest28346-21uname3
1638999181,16cyclictest0-21swapper/33
16389991810,5cyclictest505-21dbus-daemon3
1638999180,16cyclictest0-21swapper/33
1638699189,6cyclictest21461-21apt-get2
1638699183,9cyclictest25494-21apt-get2
16386991816,1cyclictest0-21swapper/22
16386991813,3cyclictest9796-21latency_hist2
16386991813,3cyclictest6299-21expr2
16386991813,3cyclictest30035-21gltestperf2
16386991813,3cyclictest29818-21wc2
16386991813,3cyclictest24347-21/usr/sbin/munin2
16386991813,3cyclictest19470-21acpi2
16386991813,3cyclictest16961-21ntpq2
16386991813,3cyclictest14501-21gzip2
16386991812,4cyclictest31626-21hostname2
16386991812,4cyclictest19615-21seq2
1638699181,15cyclictest5151-21cron2
1637899189,3cyclictest21-21ksoftirqd/11
1637899188,6cyclictest5134-21apt-get1
1637899188,2cyclictest111rcu_preempt1
1637899187,2cyclictest21-21ksoftirqd/11
1637899187,2cyclictest21-21ksoftirqd/11
1637899186,3cyclictest21-21ksoftirqd/11
1637899183,3cyclictest0-21swapper/11
16378991816,1cyclictest0-21swapper/11
16378991814,2cyclictest7418-21/usr/sbin/munin1
16378991813,3cyclictest11964-21basename1
16378991812,4cyclictest665-21runrttasks1
16375991816,1cyclictest0-21swapper/00
16375991816,1cyclictest0-21swapper/00
16375991814,2cyclictest20471-21sh0
16375991813,3cyclictest9428-21acpi0
16375991813,3cyclictest9164-21cat0
16375991813,3cyclictest8319-21expr0
16375991813,3cyclictest665-21runrttasks0
16375991813,3cyclictest665-21runrttasks0
16375991813,3cyclictest665-21runrttasks0
16375991813,3cyclictest23329-21date0
16375991813,3cyclictest23235-21latency_hist0
16375991813,3cyclictest19186-21cat0
16375991813,3cyclictest15359-21rt-features0
16375991813,3cyclictest1409-21/usr/sbin/munin0
16375991813,3cyclictest14087-21awk0
16375991812,4cyclictest7180-21seq0
16375991812,4cyclictest32489-21cat0
16375991812,4cyclictest22331-21seq0
16375991812,4cyclictest19857-21expr0
16375991812,4cyclictest16983-21cat0
16375991812,4cyclictest16444-21grep0
16375991812,4cyclictest16444-21grep0
16375991812,3cyclictest31490-21xargs0
16375991811,4cyclictest58150irq/130-enp2s00
16375991810,5cyclictest15458-21apt-get0
1638999177,6cyclictest3420-21apt-get3
1638999173,9cyclictest15983-21apt-get3
1638999173,9cyclictest15983-21apt-get3
16389991715,1cyclictest0-21swapper/33
16389991715,1cyclictest0-21swapper/33
16389991713,2cyclictest8391-21aten2_r9power_p3
16389991713,2cyclictest22775-21df3
16389991713,2cyclictest21535-21sh3
16389991712,3cyclictest5471-21cut3
16389991712,3cyclictest5471-21cut3
16389991712,3cyclictest32400-21hostname3
16389991712,3cyclictest31948-21cut3
16389991712,3cyclictest25981-21sed3
16389991712,3cyclictest20143-21cut3
16389991712,3cyclictest18349-21grep3
16389991712,3cyclictest14715-21expr3
16389991712,3cyclictest12516-21sed3
1638999171,15cyclictest0-21swapper/33
16389991711,4cyclictest19085-21cut3
1638999170,16cyclictest0-21swapper/33
1638999170,16cyclictest0-21swapper/33
1638999170,15cyclictest0-21swapper/33
16386991712,3cyclictest665-21runrttasks2
16386991712,3cyclictest665-21runrttasks2
16386991712,3cyclictest25998-21basename2
16386991712,3cyclictest1091-21/usr/sbin/munin2
1638699171,13cyclictest9156-21/usr/sbin/munin2
1638699170,16cyclictest0-21swapper/22
16378991711,4cyclictest9248-21tail1
16378991711,3cyclictest10334-21expr1
16375991713,2cyclictest665-21runrttasks0
16375991712,3cyclictest665-21runrttasks0
16375991712,3cyclictest5741-21if_err_enp3s00
16375991712,3cyclictest28455-21expr0
16375991712,3cyclictest17523-21aten2_r9power_e0
16375991712,3cyclictest14410-21seq0
16375991711,4cyclictest2082-21systemd-journal0
16375991711,4cyclictest18037-21cut0
16389991612,2cyclictest15439-21/usr/sbin/munin3
16389991611,3cyclictest665-21runrttasks3
1638999160,15cyclictest0-21swapper/33
16386991613,2cyclictest0-21swapper/22
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional