You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-12-27 - 06:58
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri Dec 27, 2024 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
207082301271,17sleep00-21swapper/00
222562272210,33sleep20-21swapper/22
2260599265258,4cyclictest11030-21sendmail2
222552253182,26sleep10-21swapper/11
224282238161,43sleep30-21swapper/33
2259699210198,10cyclictest11029-21perf0
2260799186180,3cyclictest11007-21munin-run3
2260199171163,5cyclictest11053-21awk1
274982730,2sleep10-21swapper/11
8232500,2sleep10-21swapper/11
243142500,1sleep20-21swapper/22
214212490,2sleep30-21swapper/33
235722410,1sleep10-21swapper/11
22605993614,19cyclictest3691-21df_inode2
22605993614,19cyclictest29176-21munin-run2
22605993311,4cyclictest18217-21expr2
2260599321,28cyclictest18369-1kworker/2:1H2
2260599315,23cyclictest0-21swapper/22
2260599311,3cyclictest13335-21munin-run2
2260599311,3cyclictest13335-21munin-run2
22605993113,3cyclictest31396-21perf2
22605993014,13cyclictest10832-21unixbench_singl2
2260599299,3cyclictest24914-21apt-config2
2260599296,5cyclictest2082-21systemd-journal2
2260599289,4cyclictest23381-21latency_hist2
2260599288,3cyclictest7921-21cut2
2260599281,11cyclictest32751-21cut2
22605992810,3cyclictest27335-21wc2
2260599280,26cyclictest0-21swapper/22
2260599280,1cyclictest0-21swapper/22
2260599279,3cyclictest11370-21grep2
2260599278,3cyclictest9516-21cpuspeed_turbos2
2260599271,3cyclictest7855-21fw_packets2
22605992710,3cyclictest446-21latency_hist2
2260599269,3cyclictest42422sleep22
2260599268,3cyclictest5703-21forks2
2260599264,8cyclictest11580-21cstates2
22605992612,3cyclictest757-21/usr/sbin/munin2
2260599259,3cyclictest7057-21gltestperf2
2260599258,3cyclictest0-21swapper/22
2260599257,15cyclictest0-21swapper/22
22605992511,3cyclictest665-21runrttasks2
22605992511,2cyclictest665-21runrttasks2
22605992510,3cyclictest26242-21if_err_enp3s02
22605992510,2cyclictest1674-21latency_hist2
2260599250,3cyclictest8253-21memory2
2260599250,13cyclictest22535-21latency_hist2
2260599244,17cyclictest3477-21cat2
2260599241,20cyclictest15005-21latency_hist2
22605992410,3cyclictest665-21runrttasks2
2260599240,1cyclictest0-21swapper/22
2260599234,4cyclictest0-21swapper/22
2260599234,17cyclictest19335-21latency_hist2
22596992317,4cyclictest29433-21cron0
22596992316,4cyclictest505-21dbus-daemon0
22596992316,4cyclictest31425-21cron0
104462230,1sleep30-21swapper/33
2260799228,12cyclictest505-21dbus-daemon3
22607992215,4cyclictest4239-21apt-get3
2260599229,2cyclictest665-21runrttasks2
2260599229,2cyclictest665-21runrttasks2
2260599221,18cyclictest27201-21perf2
2260599220,1cyclictest0-21swapper/22
22601992215,4cyclictest26282-21pluginstate1
22596992216,3cyclictest2082-21systemd-journal0
119692220,2sleep10-21swapper/11
83012210,2sleep30-21swapper/33
285912210,2sleep20-21swapper/22
250042210,1sleep20-21swapper/22
250042210,1sleep20-21swapper/22
2260799216,12cyclictest111rcu_preempt3
22607992115,4cyclictest23964-21cat3
22607992114,4cyclictest31583-21df3
22605992118,2cyclictest9485-21kworker/2:12
2260599211,4cyclictest30906-21cron2
2260599211,3cyclictest427-1kworker/2:2H2
2260599211,18cyclictest10333-21gdbus2
2260599210,4cyclictest22265-21/usr/sbin/munin2
2260599210,18cyclictest21370-21grep2
22601992116,3cyclictest25608-21/usr/sbin/munin1
22601992115,4cyclictest30864-21seq1
22601992111,6cyclictest6571-21apt-get1
2260199210,19cyclictest0-21swapper/11
2259699216,10cyclictest6576-21taskset0
22596992116,3cyclictest9224-21/usr/sbin/munin0
22596992116,3cyclictest9-21ksoftirqd/00
22596992116,3cyclictest9-21ksoftirqd/00
22596992115,4cyclictest19374-21tr0
22596992115,3cyclictest5263-21grep0
22596992114,4cyclictest2082-21systemd-journal0
22596992111,2cyclictest111rcu_preempt0
22607992015,3cyclictest35-21ksoftirqd/33
22607992015,3cyclictest30811-21timerandwakeup3
22607992015,3cyclictest29845-21cpuspeed3
22607992015,3cyclictest13005-21proc_pri3
22607992014,4cyclictest8589-21date3
22607992014,4cyclictest7135-21date3
22607992014,4cyclictest23761-21grep3
22607992014,4cyclictest18985-21needreboot3
22607992014,3cyclictest11010-21which3
22607992013,4cyclictest1849-21cat3
22607992013,4cyclictest1686-21sendmail3
22607992010,6cyclictest29170-21apt-get3
22605992015,3cyclictest5907-21expr2
22605992015,3cyclictest30164-21diskstats2
2260599201,17cyclictest3968-21cat2
2260599200,17cyclictest17896-21cron2
22601992016,3cyclictest21-21ksoftirqd/11
22601992016,2cyclictest20041-21sh1
22601992015,3cyclictest772-21seq1
22601992015,3cyclictest5813-21diskstats1
22601992015,3cyclictest31615-21gltestperf1
22601992015,3cyclictest29920-21cpuspeed1
22601992015,3cyclictest27422-21find1
22601992014,4cyclictest9558-21seq1
22601992014,4cyclictest13685-21seq1
22601992013,4cyclictest28051-21expr1
22601992013,4cyclictest28051-21expr1
2260199200,19cyclictest0-21swapper/11
2259699208,10cyclictest2997-21munin-run0
2259699202,15cyclictest25327-21cut0
2259699202,15cyclictest25327-21cut0
22596992015,3cyclictest29618-21/usr/sbin/munin0
22596992015,3cyclictest1723-21grep0
22596992015,3cyclictest12015-21/usr/sbin/munin0
22596992014,4cyclictest20132-21sed0
22596992014,4cyclictest11144-21sed0
22596992013,4cyclictest26100-21sh0
22596992013,4cyclictest14672-21gltestperf0
2259699201,16cyclictest31694-21apt-get0
22607991915,2cyclictest31676-21/usr/sbin/munin3
22607991915,2cyclictest14015-21df_inode3
22607991914,3cyclictest35-21ksoftirqd/33
22607991914,3cyclictest35-21ksoftirqd/33
22607991914,3cyclictest31943-21cpu3
22607991914,3cyclictest3096-21ntp_kernel_pll_3
22607991914,3cyclictest27380-21ls3
22607991914,3cyclictest18807-21cat3
22607991914,3cyclictest14140-21uname3
22607991913,4cyclictest18767-21ntpq3
22607991913,4cyclictest14533-21cat3
22607991913,4cyclictest13094-21sed3
22607991913,3cyclictest28311-21ntpq3
22607991913,3cyclictest21951-21cat3
22607991912,4cyclictest505-21dbus-daemon3
22607991912,4cyclictest11955-21df3
22605991915,2cyclictest11526-21/usr/sbin/munin2
22605991913,4cyclictest16815-21ls2
22601991917,1cyclictest0-21swapper/11
22601991915,2cyclictest1662-21df1
22601991915,2cyclictest14135-21/usr/sbin/munin1
22601991914,3cyclictest7958-21gltestperf1
22601991914,3cyclictest5576-21sh1
22601991914,3cyclictest4320-21awk1
22601991914,3cyclictest24769-21cut1
22601991914,3cyclictest22498-21cut1
22601991914,3cyclictest19365-21seq1
22601991914,3cyclictest17038-21sh1
22601991914,3cyclictest14615-21awk1
22601991914,3cyclictest11537-21cat1
22601991914,3cyclictest10629-21seq1
22601991913,4cyclictest7986-21cat1
22601991913,4cyclictest20501-21cat1
22601991913,4cyclictest19292-21seq1
22601991912,4cyclictest9644-21cpu1
2259699196,3cyclictest9-21ksoftirqd/00
22596991913,4cyclictest6402-21sed0
22596991913,4cyclictest20834-21cut0
22596991912,4cyclictest28143-21gltestperf0
22596991912,4cyclictest28143-21gltestperf0
22596991912,4cyclictest2775-21grep0
22596991911,5cyclictest24304-21perf0
22596991910,5cyclictest505-21dbus-daemon0
2260799183,9cyclictest27646-21apt-get3
2260799183,9cyclictest27646-21apt-get3
2260799182,10cyclictest26562-21apt-get3
2260799181,4cyclictest35-21ksoftirqd/33
22607991814,3cyclictest35-21ksoftirqd/33
22607991814,2cyclictest29721-21/usr/sbin/munin3
22607991813,3cyclictest3261-21basename3
22607991813,3cyclictest31911-21sendmail-mta3
22607991812,4cyclictest8841-21head3
22607991812,4cyclictest6648-21sed3
22607991812,4cyclictest505-21dbus-daemon3
22607991812,4cyclictest23222-21fw_packets3
22607991812,3cyclictest20612-21latency_hist3
22607991811,4cyclictest22259-21cron3
2260799180,16cyclictest35-21ksoftirqd/33
2260799180,16cyclictest35-21ksoftirqd/33
2260799180,16cyclictest0-21swapper/33
22605991814,2cyclictest9765-21latency_hist2
22605991814,2cyclictest19231-21swap2
22605991813,3cyclictest12866-21nfs4_client2
22605991812,3cyclictest24725-21apt-key2
2260599181,15cyclictest21747-21cat2
2260599180,3cyclictest427-1kworker/2:2H2
22601991814,2cyclictest7372-21aten2_r9power_v1
22601991814,2cyclictest27687-21/usr/sbin/munin1
22601991814,2cyclictest26579-21aten2_r9power_c1
22601991814,2cyclictest12015-21/usr/sbin/munin1
22601991813,3cyclictest665-21runrttasks1
22601991813,3cyclictest665-21runrttasks1
22601991813,3cyclictest4274-21sh1
22601991813,3cyclictest3886-21expr1
22601991813,3cyclictest31869-21aten2_r9power_v1
22601991813,3cyclictest29673-21aten2_r9power_e1
22601991813,3cyclictest26985-21seq1
22601991813,3cyclictest24834-21aten2_r9power_c1
22601991813,3cyclictest24834-21aten2_r9power_c1
22601991813,3cyclictest16027-21diskstats1
22601991813,3cyclictest12188-21cat1
22601991813,3cyclictest12188-21cat1
22601991812,4cyclictest2865-21seq1
22601991812,4cyclictest22260-21seq1
22601991812,4cyclictest1695-21turbostat1
22601991812,4cyclictest15413-21seq1
22601991812,3cyclictest505-21dbus-daemon1
22596991816,1cyclictest0-21swapper/00
22596991816,1cyclictest0-21swapper/00
22596991816,1cyclictest0-21swapper/00
22596991816,1cyclictest0-21swapper/00
22596991815,2cyclictest0-21swapper/00
22596991814,3cyclictest9-21ksoftirqd/00
22596991814,2cyclictest5369-21/usr/sbin/munin0
22596991814,2cyclictest5028-21perf0
22596991814,2cyclictest26544-21/usr/sbin/munin0
22596991814,2cyclictest19601-21/usr/sbin/munin0
22596991813,3cyclictest665-21runrttasks0
22596991813,3cyclictest4002-21if_err_enp3s00
22596991813,3cyclictest16368-21sed0
22596991812,4cyclictest665-21runrttasks0
22596991812,4cyclictest10224-21seq0
22596991812,3cyclictest11233-21acpi0
22596991811,4cyclictest7445-21sort0
22596991811,4cyclictest32218-21grep0
22596991810,6cyclictest28909-21latency_hist0
22596991810,5cyclictest505-21dbus-daemon0
22596991810,5cyclictest25690-21timerandwakeup0
2260799173,8cyclictest22532-21apt-get3
22607991715,1cyclictest0-21swapper/33
22607991714,2cyclictest74992sleep33
22607991713,2cyclictest7443-21ntp_states3
22607991713,2cyclictest3374-21/usr/sbin/munin3
22607991713,2cyclictest16227-21aten2.4-expect3
22607991712,3cyclictest505-21dbus-daemon3
22607991712,3cyclictest505-21dbus-daemon3
22607991712,3cyclictest21049-21grep3
22607991711,4cyclictest25092-21basename3
22607991711,4cyclictest1930-21fw_packets3
22607991711,3cyclictest9981-21missed_timers3
2260199178,5cyclictest18184-21apt-get1
2260199172,9cyclictest5265-21apt-get1
22601991714,2cyclictest29678-21/usr/sbin/munin1
22601991714,2cyclictest22514-21/usr/sbin/munin1
22601991712,3cyclictest23170-21seq1
22601991712,3cyclictest11880-21cut1
2259699172,2cyclictest111rcu_preempt0
22596991713,2cyclictest29151-21/usr/sbin/munin0
22596991712,3cyclictest665-21runrttasks0
22596991712,3cyclictest665-21runrttasks0
22596991712,3cyclictest5563-21cut0
22596991712,3cyclictest23604-21/usr/sbin/munin0
22596991712,3cyclictest2082-21systemd-journal0
22596991712,3cyclictest13277-21latency_hist0
22596991711,4cyclictest665-21runrttasks0
22596991711,3cyclictest58150irq/130-enp2s00
22596991711,3cyclictest29174-21latency_hist0
22596991711,3cyclictest15627-21latency_hist0
22596991710,4cyclictest8693-21unixbench_multi0
2259699170,16cyclictest0-21swapper/00
22607991611,3cyclictest9765-21latency_hist3
22607991611,3cyclictest26736-21find3
22607991611,3cyclictest16131-21cpuspeed_turbos3
2260599168,5cyclictest505-21dbus-daemon2
22605991611,3cyclictest665-21runrttasks2
22601991611,3cyclictest1997-21apt-key1
22596991611,3cyclictest665-21runrttasks0
22601991510,3cyclictest28818-21seq1
22601991510,3cyclictest20594-21cat1
22596991510,3cyclictest2748-21sed0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional