You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-04-18 - 22:38
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri Apr 18, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
120722285251,22sleep00-21swapper/00
121882277218,47sleep10-21swapper/11
1247299276271,3cyclictest0-21swapper/22
122452275190,70sleep20-21swapper/22
1247799237232,3cyclictest14396-21awk3
1246899233225,4cyclictest14381-21munin-run1
121202233196,24sleep30-21swapper/33
1246499121116,3cyclictest14394-21perf0
283652680,2sleep21247299cyclictest2
283652680,2sleep21247299cyclictest2
12468995115,24cyclictest24020-21seq1
12468995115,24cyclictest24020-21seq1
12468995010,27cyclictest18802-21seq1
218682470,2sleep00-21swapper/00
150082450,3sleep10-21swapper/11
1246899449,20cyclictest29722-21seq1
1246899449,20cyclictest29722-21seq1
12468994412,18cyclictest16689-21seq1
63252410,1sleep30-21swapper/33
12477993411,20cyclictest20559-21which3
12477993314,17cyclictest20380-21apt-config3
12468993317,13cyclictest8490-21grep1
12468993317,13cyclictest15250-21aten2_r9power_c1
12468993312,18cyclictest24566-21awk1
1247799329,4cyclictest12951-21expr3
1247799329,4cyclictest12951-21expr3
12477993214,16cyclictest6643-21interrupts3
12477993214,15cyclictest25310-21perf3
12477993214,15cyclictest15888-21cut3
12477993213,16cyclictest21783-21cat3
12477993212,19cyclictest21682-21diskstats3
12468993217,13cyclictest25564-21grep1
12477993112,16cyclictest9776-21idleruntime-cro3
12477993112,16cyclictest32519-21grep3
1246899319,20cyclictest20898-21cpuspeed_turbos1
1246899319,19cyclictest22053-21sed1
12468993112,16cyclictest22981-21sed1
12468993112,16cyclictest20919-21seq1
12468993112,16cyclictest1492-21cat1
12468993111,18cyclictest19496-21cat1
12468993111,17cyclictest7782-21ntp_states1
12468993111,17cyclictest26276-21cat1
12468993110,18cyclictest18135-21ntp_states1
1246899310,4cyclictest1199-21grep1
12477993013,15cyclictest18988-21latency_hist3
12477993011,3cyclictest1266-21expr3
1246899309,18cyclictest18230-21date1
12468993012,16cyclictest11353-21cat1
12468993011,16cyclictest7946-21in:imuxsock1
12468993010,17cyclictest2133-21cron1
1247799299,3cyclictest15452-21sed3
1247799298,4cyclictest864-21sed3
12477992912,4cyclictest12111-21cat3
12477992912,2cyclictest3451-21cron3
12477992911,3cyclictest24195-21kernelversion3
12477992910,4cyclictest14162-21cat3
12468992913,14cyclictest29973-21cat1
12468992912,14cyclictest29009-21seq1
1246899290,3cyclictest11654-21/usr/sbin/munin1
12477992810,3cyclictest26522-21ps3
12477992810,3cyclictest20087-21latency_hist3
12477992810,3cyclictest15784-21ntpq3
1246899289,16cyclictest22219-21latency1
1246899289,16cyclictest2082-21systemd-journal1
1246899287,19cyclictest10799-21cat1
12468992813,12cyclictest31319-21/usr/sbin/munin1
12468992812,14cyclictest24057-21cut1
12468992812,13cyclictest25527-21/usr/sbin/munin1
12468992810,16cyclictest17285-21/usr/sbin/munin1
12468992810,16cyclictest13989-21wc1
1247799278,3cyclictest5279-21cat3
1247799278,3cyclictest23964-21grep3
1247799278,3cyclictest23964-21grep3
1247799277,4cyclictest23526-21grep3
1247799271,13cyclictest28672-21unixbench_singl3
12477992711,3cyclictest26014-21date3
12477992710,2cyclictest3459-21latency_hist3
1247799270,3cyclictest31713-21seq3
1246899279,15cyclictest4632-21pmu-power1
1246899278,17cyclictest13654-21processes1
1246899278,17cyclictest13654-21processes1
1246899277,18cyclictest32672-21cat1
1246899277,18cyclictest19213-21awk1
1246899277,17cyclictest28509-21which1
1246899277,17cyclictest1964-21cpuspeed_turbos1
1246899275,4cyclictest505-21dbus-daemon1
1246899275,4cyclictest306-21cat1
1246899272,20cyclictest10651-21apt-get1
1246899271,23cyclictest26697-21gltestperf1
12468992712,13cyclictest27528-21/usr/sbin/munin1
12468992710,14cyclictest15848-21sh1
1247799269,3cyclictest25830-21grep3
1247799268,4cyclictest0-21swapper/33
1247799266,4cyclictest3325-21df_inode3
1247799262,6cyclictest90622sleep33
12477992610,2cyclictest19267-21aten2_r9power_c3
12472992617,5cyclictest19040-21munin-run2
1246899268,15cyclictest63932chrt1
1246899267,17cyclictest6108-21switchtime1
12468992611,13cyclictest31183-21cstates1
1247799259,3cyclictest30467-21pluginstate3
1247799258,3cyclictest31632-21sh3
1247799257,3cyclictest2471-21basename3
1247799256,4cyclictest0-21swapper/33
12472992511,11cyclictest14614-21munin-node2
1247299251,10cyclictest10432-21latency_hist2
1246899253,4cyclictest8355-21unixbench_singl1
1246899253,4cyclictest1355-21/usr/sbin/munin1
1246899251,5cyclictest2082-21systemd-journal1
1247799249,3cyclictest4834-21timerandwakeup3
1247799248,2cyclictest26670-21gltestperf3
1247799246,4cyclictest16291-21/usr/sbin/munin3
1247299241,5cyclictest11443-21sleep2
12472992410,4cyclictest17473-21basename2
1246899242,5cyclictest505-21dbus-daemon1
1246899242,5cyclictest29561-21apt-get1
1246899242,5cyclictest29550-21apt-get1
1246899241,4cyclictest4774-21munin-run1
1246899241,4cyclictest24388-21apt-get1
1246899241,4cyclictest0-21swapper/11
1246899241,3cyclictest0-21swapper/11
1246899240,7cyclictest27269-21cat1
1247799238,4cyclictest35-21ksoftirqd/33
1247799236,3cyclictest7905-21ntpq3
12477992310,2cyclictest207082sleep33
1247299234,17cyclictest25365-21cat2
1247299234,17cyclictest25242-21cat2
12472992318,3cyclictest4789-21ls2
1246899236,3cyclictest31523-21seq1
1246899233,4cyclictest505-21dbus-daemon1
1246899231,4cyclictest3746-21ntp_kernel_err1
1246899230,5cyclictest29528-21cups-browsed1
1246899230,4cyclictest10168-21find1
1246499232,18cyclictest16691-21plymouth0
1247799227,2cyclictest30215-21ntp_offset3
1247799224,3cyclictest0-21swapper/33
1247299221,4cyclictest818-21cron2
1247299221,4cyclictest2082-21systemd-journal2
1247299221,18cyclictest21342-21munin-run2
1247299221,17cyclictest19013-21perf2
1247299220,4cyclictest10814-21basename2
1247299220,19cyclictest1407-21grep2
12464992217,3cyclictest9-21ksoftirqd/00
1247799219,2cyclictest270932sleep33
12477992116,3cyclictest22357-21load3
1247299213,16cyclictest16489-21cat2
1247299212,17cyclictest14397-21latency_hist2
1247299212,17cyclictest14397-21latency_hist2
12472992115,3cyclictest26922-21latency2
1247299211,4cyclictest20999-21perf2
1247299211,3cyclictest29275-21cron2
1247299211,3cyclictest29104-21sendmail2
1247299211,18cyclictest2402-1kworker/2:2H2
12464992116,3cyclictest16482-21grep0
12477992015,3cyclictest17690-21diskstats3
1247299207,11cyclictest0-21swapper/22
1247299203,10cyclictest12939-21apt-get2
1247299202,5cyclictest19258-21apt-get2
12472992015,3cyclictest3193-21sed2
12472992015,3cyclictest15420-21latency_hist2
12472992015,3cyclictest1463-21sed2
1247299201,4cyclictest507-21cron2
12472992014,4cyclictest32098-21sed2
12472992014,3cyclictest5407-21grep2
1247299201,3cyclictest25978-1kworker/2:2H2
12472992013,4cyclictest2082-21systemd-journal2
12472992012,4cyclictest665-21runrttasks2
1247299201,17cyclictest8657-21latency_hist2
1247299201,17cyclictest25978-1kworker/2:2H2
1247299201,17cyclictest16776-21cat2
1247299201,16cyclictest29279-21munin-run2
12464992016,2cyclictest10899-21/usr/sbin/munin0
12464992015,3cyclictest665-21runrttasks0
12464992015,3cyclictest27528-21/usr/sbin/munin0
12464992015,3cyclictest27409-21sed0
12464992015,3cyclictest24384-21basename0
12464992015,3cyclictest24384-21basename0
12464992015,3cyclictest21295-21aten2_r9power_e0
12464992015,3cyclictest20305-21switchtime0
12464992014,3cyclictest4948-21date0
12464992013,4cyclictest13888-21sed0
12464992013,4cyclictest13888-21sed0
12464992012,5cyclictest829-21idleruntime-cro0
12477991914,3cyclictest12519-21ls3
12477991914,3cyclictest12114-21fw_packets3
12477991913,4cyclictest23990-21cron3
12477991913,4cyclictest11551-21date3
12477991913,3cyclictest7432-21tail3
1247299192,11cyclictest20624-21chrt2
12472991915,2cyclictest31472-21cat2
12472991915,2cyclictest17246-21/usr/sbin/munin2
12472991914,3cyclictest32375-21swap2
1247299191,3cyclictest15155-1kworker/2:0H2
12472991913,4cyclictest12469-21cat2
12472991912,4cyclictest23843-21seq2
1247299190,3cyclictest17232-1kworker/2:1H2
1247299190,2cyclictest32584-21latency_hist2
12464991915,2cyclictest14668-21/usr/sbin/munin0
12464991914,3cyclictest665-21runrttasks0
12464991914,3cyclictest665-21runrttasks0
12464991914,3cyclictest19197-21cut0
12464991914,3cyclictest19007-21idleruntime-cro0
12464991914,3cyclictest18743-21seq0
12464991914,3cyclictest14816-21sed0
12464991914,3cyclictest10261-21timerwakeupswit0
12464991913,4cyclictest7816-21grep0
12464991913,4cyclictest29537-21acpi0
12464991913,4cyclictest25443-21cat0
12464991913,4cyclictest12901-21date0
1246499191,15cyclictest29100-21perf0
178652180,2sleep30-21swapper/33
12477991816,1cyclictest0-21swapper/33
12477991816,1cyclictest0-21swapper/33
12477991814,2cyclictest8940-21aten2_r9power_c3
12477991813,3cyclictest31173-21cat3
12477991813,3cyclictest30388-21nfs4_client3
12472991816,1cyclictest0-21swapper/22
12472991814,2cyclictest27281-21latency_hist2
12472991813,3cyclictest302932sleep22
12472991813,3cyclictest29340-21acpi2
12472991813,3cyclictest26056-21latency_hist2
12472991813,3cyclictest1460-21latency_hist2
12472991812,3cyclictest8959-21cut2
1247299181,15cyclictest7743-21cron2
12472991811,4cyclictest30669-21latency_hist2
12464991816,1cyclictest0-21swapper/00
12464991814,2cyclictest6002-21/usr/sbin/munin0
12464991814,2cyclictest29543-21/usr/sbin/munin0
12464991814,2cyclictest23520-21/usr/sbin/munin0
12464991813,3cyclictest9346-21diskstats0
12464991813,3cyclictest8448-21seq0
12464991813,3cyclictest677-21which0
12464991813,3cyclictest665-21runrttasks0
12464991813,3cyclictest665-21runrttasks0
12464991813,3cyclictest4979-21aten2_r9power_p0
12464991813,3cyclictest4689-21which0
12464991813,3cyclictest28671-21df0
12464991813,3cyclictest28671-21df0
12464991813,3cyclictest28669-21sed0
12464991813,3cyclictest23336-21cut0
12464991813,3cyclictest22745-21wc0
12464991813,3cyclictest2082-21systemd-journal0
12464991813,3cyclictest19584-21/usr/sbin/munin0
12464991813,3cyclictest15698-21/usr/sbin/munin0
12464991812,4cyclictest31691-21expr0
12464991812,4cyclictest20580-21grep0
12464991810,5cyclictest4188-21perf0
12477991715,1cyclictest0-21swapper/33
12477991715,1cyclictest0-21swapper/33
12477991715,1cyclictest0-21swapper/33
12477991715,1cyclictest0-21swapper/33
12477991712,3cyclictest14714-21rt-features3
12472991713,2cyclictest12027-21vmstat2
12472991712,3cyclictest4589-21ntp_states2
12472991712,3cyclictest27209-21seq2
12472991712,3cyclictest25757-21cat2
12472991711,4cyclictest505-21dbus-daemon2
12472991711,4cyclictest23373-21load2
12472991711,4cyclictest23373-21load2
12472991711,4cyclictest22394-21sed2
12472991711,4cyclictest11629-21cat2
1246499178,6cyclictest505-21dbus-daemon0
12464991715,1cyclictest0-21swapper/00
12464991713,2cyclictest29331-21/usr/sbin/munin0
12464991712,3cyclictest665-21runrttasks0
12464991712,3cyclictest1907-21which0
12464991712,3cyclictest12802-21timerandwakeup0
1246499170,16cyclictest0-21swapper/00
1246499170,15cyclictest25383-21cut0
12477991614,1cyclictest0-21swapper/33
12472991611,3cyclictest3463-21munin-run2
1246499164,7cyclictest376-21apt-get0
1246499163,7cyclictest18320-21apt-get0
12464991612,2cyclictest665-21runrttasks0
12464991612,2cyclictest1096-21/usr/sbin/munin0
12464991611,3cyclictest665-21runrttasks0
12464991611,3cyclictest11578-21latency_hist0
12464991610,4cyclictest18035-21seq0
1246499160,1cyclictest0-21swapper/00
1246499160,1cyclictest0-21swapper/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional