You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-04-02 - 04:07
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Wed Apr 02, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
20312308270,25sleep00-21swapper/00
21622260203,44sleep20-21swapper/22
253999250246,2cyclictest0-21swapper/33
20272234195,26sleep10-21swapper/11
253399233226,5cyclictest0-21swapper/22
22762230181,36sleep30-21swapper/33
252699198193,3cyclictest0-21swapper/00
253299173167,3cyclictest9590-21apt-get1
1812021610,3sleep3253999cyclictest3
221902570,1sleep30-21swapper/33
19252490,2sleep30-21swapper/33
132672460,1sleep00-21swapper/00
129052410,1sleep00-21swapper/00
11832410,1sleep00-21swapper/00
2539992714,3cyclictest293922ls3
56362260,3sleep35641-21pmu-power3
2533992317,4cyclictest16391-21sed2
253399231,4cyclictest4748-21munin-run2
253399231,20cyclictest6053-21cups-browsed2
253399231,19cyclictest2176-21munin-run2
2533992311,11cyclictest28-21ksoftirqd/22
253399230,21cyclictest7102-21kworker/2:02
2526992317,4cyclictest3328-21ntpq0
2526992317,3cyclictest25640-21cron0
2526992317,3cyclictest25640-21cron0
253399229,11cyclictest22708-21apt-get2
253399223,17cyclictest4455-21sendmail2
253399223,17cyclictest24395-21df2
253399223,17cyclictest12931-21cat2
253399221,3cyclictest13039-21users2
253399221,18cyclictest17790-21munin-run2
252699229,11cyclictest0-21swapper/00
2526992215,4cyclictest30572-21idleruntime-cro0
2539992112,5cyclictest505-21dbus-daemon3
253999211,16cyclictest22719-21run-parts3
253399216,13cyclictest11359-21latency_hist2
253399213,17cyclictest13699-21cut2
2533992116,3cyclictest6772-21munin-run2
2533992116,3cyclictest6772-21munin-run2
2533992116,3cyclictest14784-21idleruntime-cro2
2533992115,3cyclictest31538-21latency2
253399211,3cyclictest505-21dbus-daemon2
253399211,2cyclictest19041-21apt-get2
253399211,18cyclictest27728-21munin-run2
253399211,18cyclictest23618-21cstates2
253399210,3cyclictest14026-21munin-run2
253399210,2cyclictest20711-21munin-run2
253299218,10cyclictest20792-21dump-pmu-power1
2532992115,4cyclictest1929-21seq1
2532992115,4cyclictest18778-21cron1
2526992114,4cyclictest2082-21systemd-journal0
2526992113,5cyclictest23248-21grep0
252699211,17cyclictest3686-21sort0
293942200,2sleep10-21swapper/11
253999209,5cyclictest182202chrt3
2539992015,3cyclictest27988-21apt-get3
2539992015,3cyclictest24771-21sed3
2539992015,3cyclictest12128-21sed3
2539992014,4cyclictest13598-21wc3
2539992012,5cyclictest505-21dbus-daemon3
2533992016,2cyclictest9513-21aten2_r9power_v2
2533992015,3cyclictest6446-21turbostat.cron2
2533992015,3cyclictest18199-21acpi2
2533992015,3cyclictest15045-21ntp_kernel_pll_2
2533992015,3cyclictest14105-21aten2_r9power_p2
2533992014,4cyclictest32012-21seq2
2533992014,4cyclictest28362-21mktemp2
2533992014,4cyclictest19851-21awk2
2533992014,4cyclictest10409-21users2
253399201,3cyclictest2413-21munin-run2
253399201,17cyclictest9325-21cron2
253399200,3cyclictest28894-21/usr/sbin/munin2
253399200,3cyclictest26419-21cat2
253399200,17cyclictest13769-21munin-run2
2532992016,2cyclictest20710-21sh1
2532992015,3cyclictest5189-21cut1
2532992015,3cyclictest20958-21/usr/sbin/munin1
2532992015,3cyclictest19006-21kernelversion1
2532992015,3cyclictest11778-21apt-config1
2532992015,3cyclictest11014-21/usr/sbin/munin1
2532992014,4cyclictest9400-21date1
2532992014,4cyclictest8521-21seq1
2532992014,4cyclictest3018-21cat1
2532992013,4cyclictest505-21dbus-daemon1
252699202,16cyclictest754-21cut0
252699202,11cyclictest28486-21runrttasks0
2526992016,2cyclictest14005-21/usr/sbin/munin0
2526992015,3cyclictest6360-21sed0
2526992015,3cyclictest2660-21/usr/sbin/munin0
2526992014,4cyclictest8731-21sed0
2526992014,3cyclictest20642-21sh0
2526992014,3cyclictest17974-21sh0
2526992014,3cyclictest13191-21grep0
2526992012,5cyclictest505-21dbus-daemon0
252699201,17cyclictest29739-21basename0
2526992010,6cyclictest505-21dbus-daemon0
253999194,9cyclictest11910-21apt-get3
253999193,8cyclictest661-21apt-get3
2539991916,2cyclictest0-21swapper/33
2539991915,2cyclictest27625-21sed3
2539991914,3cyclictest5116-21cron3
2539991914,3cyclictest16180-21aten2.4-expect3
2539991913,4cyclictest31355-21ntp_kernel_pll_3
2539991912,5cyclictest12423-21ls3
2539991912,4cyclictest755-21sh3
2539991911,6cyclictest6053-21cups-browsed3
2539991911,5cyclictest4422-21sendmail3
253999190,17cyclictest0-21swapper/33
253399192,13cyclictest7029-21apt-get2
2533991914,3cyclictest8384-21ls2
2533991914,3cyclictest5364-21expr2
2533991914,3cyclictest3873-21open_inodes2
2533991914,3cyclictest2937-21gltestperf2
2533991913,4cyclictest2495-21seq2
2533991913,4cyclictest23852-21seq2
2533991913,4cyclictest17471-21grep2
2533991913,4cyclictest15862-21seq2
2533991912,5cyclictest18521-21seq2
253399191,16cyclictest9126-21latency_hist2
253399191,16cyclictest25623-21cron2
253399191,16cyclictest23706-21cron2
253399191,13cyclictest5384-21apt-get2
253399190,2cyclictest11396-1kworker/2:2H2
253399190,17cyclictest24679-21cat2
253399190,17cyclictest21937-21cron2
253299192,2cyclictest0-21swapper/11
2532991914,3cyclictest5780-21expr1
2532991914,3cyclictest5780-21expr1
2532991914,3cyclictest26532-21seq1
2532991914,3cyclictest25648-21seq1
2532991914,3cyclictest25648-21seq1
2532991914,3cyclictest25306-21seq1
2532991914,3cyclictest22064-21latency1
2532991914,3cyclictest21503-21ls1
2532991914,3cyclictest20202-21/usr/sbin/munin1
2532991914,3cyclictest20045-21cut1
2532991914,3cyclictest11713-21seq1
2532991913,4cyclictest32150-21seq1
2532991913,4cyclictest30286-21seq1
2532991913,4cyclictest29922-21sed1
2532991913,4cyclictest2686-21seq1
2532991913,4cyclictest24167-21cat1
2532991913,4cyclictest16450-21seq1
2532991913,4cyclictest14176-21acpi1
2532991913,4cyclictest11063-21seq1
2532991913,3cyclictest13736-21seq1
2532991912,4cyclictest16841-21basename1
2526991916,2cyclictest0-21swapper/00
2526991916,2cyclictest0-21swapper/00
2526991915,2cyclictest14175-21/usr/sbin/munin0
2526991914,3cyclictest9-21ksoftirqd/00
2526991914,3cyclictest31655-21sed0
2526991914,3cyclictest26757-21sed0
2526991914,3cyclictest26078-21find0
2526991914,3cyclictest22703-21latency_hist0
2526991913,4cyclictest665-21runrttasks0
2526991912,4cyclictest773-21basename0
2526991912,4cyclictest30334-21sh0
2539991816,1cyclictest0-21swapper/33
2539991816,1cyclictest0-21swapper/33
2539991816,1cyclictest0-21swapper/33
2539991816,1cyclictest0-21swapper/33
2539991816,1cyclictest0-21swapper/33
2539991816,1cyclictest0-21swapper/33
2539991816,1cyclictest0-21swapper/33
2539991815,2cyclictest0-21swapper/33
2539991813,3cyclictest7550-21sed3
2539991813,3cyclictest15336-21timerandwakeup3
2539991812,4cyclictest2082-21systemd-journal3
2539991812,4cyclictest15562-21tail3
2539991811,4cyclictest505-21dbus-daemon3
2539991810,4cyclictest27733-21readlink3
253999180,3cyclictest11368-21cron3
2533991814,2cyclictest29706-21/usr/sbin/munin2
2533991814,2cyclictest0-21swapper/22
2533991813,3cyclictest24822-21cat2
2533991813,3cyclictest24822-21cat2
2533991813,3cyclictest21533-21if_enp2s02
2533991813,3cyclictest18718-21expr2
2533991813,3cyclictest11156-21latency_hist2
2533991812,4cyclictest30004-21seq2
253399181,1cyclictest0-21swapper/22
253399180,16cyclictest726-21cat2
2532991814,2cyclictest23389-21df_inode1
2532991813,3cyclictest9028-21seq1
2532991813,3cyclictest6231-21ntpq1
2532991813,3cyclictest5192-21cat1
2532991813,3cyclictest3893-21sh1
2532991813,3cyclictest32322-21latency_hist1
2532991813,3cyclictest2949-21seq1
2532991813,3cyclictest2948-21expr1
2532991813,3cyclictest26006-21aten2_r9power_e1
2532991813,3cyclictest21-21ksoftirqd/11
2532991813,3cyclictest17856-21gpgv1
2532991813,3cyclictest16600-21cat1
2532991813,3cyclictest14005-21/usr/sbin/munin1
2532991812,4cyclictest26552-21cat1
2532991812,4cyclictest14784-21idleruntime-cro1
2532991812,4cyclictest10755-21seq1
2532991812,3cyclictest16105-21latency_hist1
2532991812,3cyclictest12909-21sh1
2532991811,4cyclictest30825-21acpi1
2532991811,4cyclictest28106-21hostname1
252699189,5cyclictest505-21dbus-daemon0
252699183,8cyclictest9412-21apt-get0
2526991816,1cyclictest0-21swapper/00
2526991816,1cyclictest0-21swapper/00
2526991816,1cyclictest0-21swapper/00
2526991814,2cyclictest22182-21/usr/sbin/munin0
2526991814,2cyclictest17037-21/usr/sbin/munin0
2526991813,3cyclictest5227-21cat0
2526991813,3cyclictest5227-21cat0
2526991813,3cyclictest3602-21cat0
2526991813,3cyclictest11997-21sed0
2526991812,4cyclictest6025-21grep0
2526991812,4cyclictest6015-21sed0
2526991812,4cyclictest505-21dbus-daemon0
2526991812,4cyclictest10333-21gdbus0
2526991812,3cyclictest11707-21aten2.4-expect0
2526991811,4cyclictest19568-21gltestperf0
2526991810,6cyclictest31037-21gltestperf0
2526991810,5cyclictest665-21runrttasks0
2526991810,5cyclictest2082-21systemd-journal0
2539991715,1cyclictest0-21swapper/33
2539991715,1cyclictest0-21swapper/33
2539991715,1cyclictest0-21swapper/33
2539991715,1cyclictest0-21swapper/33
2539991715,1cyclictest0-21swapper/33
2539991713,2cyclictest779-21sendmail-mta3
2539991712,3cyclictest35-21ksoftirqd/33
2539991712,3cyclictest23348-21cat3
2539991712,3cyclictest18783-21latency_hist3
2539991712,3cyclictest15547-21expr3
253999171,1cyclictest0-21swapper/33
253999171,1cyclictest0-21swapper/33
2539991711,3cyclictest10385-21proc_pri3
2539991710,4cyclictest11772-21turbostat3
253999170,2cyclictest0-21swapper/33
253999170,16cyclictest0-21swapper/33
253999170,16cyclictest0-21swapper/33
253999170,15cyclictest0-21swapper/33
253999170,15cyclictest0-21swapper/33
2533991713,2cyclictest22347-21processes2
2532991715,1cyclictest0-21swapper/11
2532991712,3cyclictest23537-21seq1
2532991712,3cyclictest22585-21cat1
2532991712,3cyclictest16792-21load1
2532991712,3cyclictest10617-21cat1
2532991711,4cyclictest8396-21cat1
2532991711,4cyclictest7413-21latency_hist1
2532991711,4cyclictest1180-21expr1
2532991711,3cyclictest6948-21gdbus1
2532991710,4cyclictest26820-21acpi1
2526991715,1cyclictest0-21swapper/00
2526991715,1cyclictest0-21swapper/00
2526991712,3cyclictest32031-21sed0
2526991712,3cyclictest25710-21latency_hist0
2526991712,3cyclictest11575-21ls0
252699171,15cyclictest0-21swapper/00
2526991711,4cyclictest9-21ksoftirqd/00
2526991711,4cyclictest8251-21cut0
252699170,16cyclictest0-21swapper/00
252699170,15cyclictest0-21swapper/00
253999163,8cyclictest24219-21apt-get3
253999163,8cyclictest24219-21apt-get3
2539991614,1cyclictest0-21swapper/33
2539991612,2cyclictest21538-21head3
253999161,1cyclictest111rcu_preempt3
2539991611,3cyclictest28840-21cut3
2539991611,3cyclictest24066-21cat3
2533991614,1cyclictest0-21swapper/22
253999159,3cyclictest0-21swapper/33
2532991510,3cyclictest665-21runrttasks1
2526991511,2cyclictest665-21runrttasks0
2526991510,3cyclictest9-21ksoftirqd/00
2526991510,3cyclictest24503-21cat0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional