You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-07-16 - 08:37
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Mon Jul 15, 2024 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
35372266182,69sleep10-21swapper/11
40922258177,50sleep00-21swapper/00
40942248180,55sleep20-21swapper/22
35442237185,39sleep30-21swapper/33
2838621550,2sleep20-21swapper/22
293512470,2sleep30-21swapper/33
4418994310,18cyclictest0-21swapper/22
192252420,1sleep319228-21sort3
58752410,3sleep3442299cyclictest3
440599402,22cyclictest24503-21runrttasks0
4405993911,25cyclictest6736-21cat0
440599362,27cyclictest14202-21apt-get0
4405993615,19cyclictest8313-21cat0
4405993615,19cyclictest6014-21seq0
441899350,32cyclictest17959-21sendmail-mta2
4405993514,18cyclictest29262-21processes0
4405993513,19cyclictest18681-21fw_packets0
4405993512,20cyclictest3546-21seq0
4405993511,21cyclictest2727-21awk0
440599350,3cyclictest13198-21/usr/sbin/munin0
4418993414,17cyclictest8955-21sed2
4418993412,19cyclictest12963-21sed2
4405993414,18cyclictest6522-21munin-node0
4405993413,19cyclictest6003-21cat0
4405993413,18cyclictest27439-21sh0
4405993412,20cyclictest24657-21forks0
4405993412,19cyclictest22491-21date0
4405993410,21cyclictest27498-21grep0
440599340,3cyclictest31295-21memory0
440599339,21cyclictest12788-21seq0
4405993314,16cyclictest16148-21/usr/sbin/munin0
4405993312,19cyclictest5783-21seq0
4405993312,18cyclictest30971-21seq0
4405993311,19cyclictest4480-21cut0
4405993310,20cyclictest17063-21grep0
440599330,3cyclictest9028-21ntp_states0
440599330,3cyclictest26664-21df_inode0
440599330,2cyclictest9270-21seq0
441899324,26cyclictest1788-21procmail2
440599329,21cyclictest3456-21seq0
440599329,20cyclictest518-21entropy0
440599329,20cyclictest19081-21ntpq0
4405993211,18cyclictest24317-21sh0
4405993211,18cyclictest1532-21/usr/sbin/munin0
4405993210,19cyclictest7928-21date0
440599320,2cyclictest9641-21df0
441899310,28cyclictest0-21swapper/22
440599319,20cyclictest10650-21entropy0
440599319,19cyclictest3817-21cut0
440599319,19cyclictest22924-21unixbench-2d0
440599316,22cyclictest21037-21/usr/sbin/munin0
440599311,25cyclictest10155-21apt-get0
4405993110,18cyclictest26863-21sh0
4405993110,18cyclictest1241-21seq0
440599310,3cyclictest4571-21diskstats0
440599310,3cyclictest22302-21/usr/sbin/munin0
440599310,3cyclictest13594-21seq0
440599310,3cyclictest12762-21basename0
440599310,2cyclictest87832sleep00
440599310,2cyclictest17774-21df0
440599310,2cyclictest15043-21ntp_states0
441899301,26cyclictest12621-21df2
4418993010,17cyclictest1-21systemd2
440599309,18cyclictest20732-21cat0
440599302,25cyclictest14187-21/usr/sbin/munin0
4405993011,16cyclictest30475-21cpuspeed_turbos0
440599300,2cyclictest300782sleep00
440599300,2cyclictest23653-21apt-get0
441899298,18cyclictest10521-21cpuspeed_turbos2
4418992914,12cyclictest5559-21latency_hist2
441899291,25cyclictest29995-21sendmail-mta2
4418992912,15cyclictest30032-21cat2
441899290,25cyclictest2082-21systemd-journal2
440599299,17cyclictest19526-21pmu-power0
440599295,21cyclictest19979-21grep0
440599291,25cyclictest17132-21sendmail-mta0
440599291,25cyclictest17132-21sendmail-mta0
4405992910,17cyclictest31813-21latency_hist0
440599290,2cyclictest0-21swapper/00
441899289,16cyclictest21348-21needreboot2
4418992811,15cyclictest994-21open_files2
4418992811,14cyclictest28-21ksoftirqd/22
4418992811,14cyclictest21556-21users2
4418992810,15cyclictest14972-21turbostat.cron2
4418992810,15cyclictest14972-21turbostat.cron2
441899280,26cyclictest0-21swapper/22
440599287,18cyclictest10333-21gdbus0
440599283,22cyclictest29550-21grep0
440599283,22cyclictest1066-21unixbench_multi0
440599280,25cyclictest22224-21apt-get0
440599280,1cyclictest0-21swapper/00
441899278,16cyclictest713-21pmu-power2
441899276,4cyclictest7162-21processes2
441899273,7cyclictest14543-21cstates2
441899273,6cyclictest30222-21apt-get2
4418992713,12cyclictest6205-21kernelversion2
4418992710,14cyclictest28114-21cpu2
441899270,3cyclictest26920-21cut2
441899270,24cyclictest7203-21/usr/sbin/munin2
441899270,24cyclictest19543-21tail2
441899270,1cyclictest0-21swapper/22
440599278,17cyclictest13319-21aten2_r9power_p0
440599270,2cyclictest6143-21apt-get0
441899269,14cyclictest30751-21missed_timers2
441899269,14cyclictest22555-21cstates2
441899269,14cyclictest17256-21swap2
441899268,4cyclictest23157-21pmu-power2
441899264,19cyclictest0-21swapper/22
441899261,23cyclictest0-21swapper/22
441899260,23cyclictest0-21swapper/22
441899259,3cyclictest17721-21cat2
441899259,13cyclictest25072-21idleruntime2
441899257,4cyclictest10814-21irqstats2
441899256,5cyclictest505-21dbus-daemon2
441899256,3cyclictest24547-21ls2
441899256,16cyclictest0-21swapper/22
441899252,7cyclictest26240-21apt-get2
441899251,5cyclictest19659-21apt-get2
441899250,23cyclictest0-21swapper/22
440599255,17cyclictest16192-21acpi0
440599250,5cyclictest32543-21cstates0
442299244,19cyclictest0-21swapper/33
441899247,14cyclictest0-21swapper/22
441899246,3cyclictest31376-21cat2
441899244,17cyclictest5878-21latency_hist2
441899242,5cyclictest12205-21apt-get2
441899241,5cyclictest9864-21cron2
441899241,5cyclictest8989-21grep2
441899241,5cyclictest32221-21apt-get2
441899240,21cyclictest0-21swapper/22
441899239,1cyclictest0-21swapper/22
441899237,3cyclictest3860-21latency_hist2
441899237,3cyclictest2247-21forks2
441899234,4cyclictest29526-21proc_pri2
441899233,4cyclictest7102-21pmu-power2
441899233,4cyclictest16765-21grep2
441899232,3cyclictest23778-21head2
441899231,7cyclictest11653-21perf2
441899231,5cyclictest28052-21grep2
4410992317,3cyclictest22757-21cut1
4410992316,4cyclictest9563-21sh1
441099230,5cyclictest0-21swapper/11
4422992214,6cyclictest505-21dbus-daemon3
441899228,2cyclictest32285-21munin-run2
441899226,2cyclictest10472chrt2
4418992216,4cyclictest13647-21df_inode2
441099228,8cyclictest20229-21apt-get1
4410992214,4cyclictest30293-21dump-pmu-power1
442299214,4cyclictest0-21swapper/33
4422992115,4cyclictest9673-21cut3
4422992114,4cyclictest29291-21grep3
4410992115,4cyclictest6914-21sed1
4410992115,4cyclictest30391-21df1
4410992115,3cyclictest22642-21proc_pri1
4410992115,3cyclictest20988-21grep1
4410992114,4cyclictest5879-21turbostat.cron1
4410992114,4cyclictest25386-21cron1
4410992113,5cyclictest10333-21gdbus1
4410992113,4cyclictest17944-21cron1
4410992111,5cyclictest505-21dbus-daemon1
264902210,1sleep30-21swapper/33
4422992015,3cyclictest23408-21ntp_offset3
4422992014,4cyclictest13254-21swap3
4422992014,4cyclictest10041-21date3
4422992013,4cyclictest9648-21df_inode3
442299200,4cyclictest0-21swapper/33
4410992016,2cyclictest18230-21aten2_r9power_e1
4410992015,3cyclictest14144-21/usr/sbin/munin1
4410992014,4cyclictest14243-21aten2_r9power_e1
4410992014,3cyclictest28555-21tr1
4410992013,4cyclictest31123-21cat1
441099201,15cyclictest11639-21sh1
190072200,2sleep3442299cyclictest3
442299192,15cyclictest0-21swapper/33
4422991914,3cyclictest9638-21sshd3
4422991914,3cyclictest7845-21/usr/sbin/munin3
4422991914,3cyclictest4676-21ntpq3
4422991914,3cyclictest27453-21open_inodes3
4422991914,3cyclictest2034-21cat3
4422991914,3cyclictest19609-21packagekitd3
4422991914,3cyclictest16335-21cat3
4422991914,3cyclictest16335-21cat3
4422991914,3cyclictest14591-21sh3
4422991913,4cyclictest6725-21expr3
4422991913,4cyclictest6576-21fw_packets3
4422991913,4cyclictest14995-21wc3
4422991913,3cyclictest14227-21hostname3
4422991912,4cyclictest313-21cat3
442299190,18cyclictest30942-21kworker/3:13
441099199,5cyclictest18235-21apt-get1
441099198,6cyclictest505-21dbus-daemon1
441099193,9cyclictest30235-21apt-get1
4410991915,2cyclictest30203-21/usr/sbin/munin1
4410991915,2cyclictest211ksoftirqd/11
4410991915,2cyclictest1808-21/usr/sbin/munin1
4410991915,2cyclictest13245-21rt-features1
4410991914,3cyclictest9488-21grep1
4410991914,3cyclictest5541-21/usr/sbin/munin1
4410991914,3cyclictest4587-21/usr/sbin/munin1
4410991914,3cyclictest32529-21/usr/sbin/munin1
4410991914,3cyclictest16773-21savelog1
4410991914,3cyclictest16773-21savelog1
4410991914,3cyclictest16190-21/usr/sbin/munin1
4410991914,3cyclictest10137-21/usr/sbin/munin1
4410991913,4cyclictest505-21dbus-daemon1
4410991913,4cyclictest25660-21find1
4410991913,4cyclictest1985-21cat1
4410991913,4cyclictest17595-21cat1
4410991913,4cyclictest14183-21/usr/sbin/munin1
4410991913,3cyclictest3862-21sh1
4410991913,3cyclictest32490-21sed1
4410991912,4cyclictest13475-21grep1
4410991912,4cyclictest11697-21grep1
4410991911,4cyclictest21-21ksoftirqd/11
4422991816,1cyclictest0-21swapper/33
4422991816,1cyclictest0-21swapper/33
4422991816,1cyclictest0-21swapper/33
4422991816,1cyclictest0-21swapper/33
4422991816,1cyclictest0-21swapper/33
4422991816,1cyclictest0-21swapper/33
4422991816,1cyclictest0-21swapper/33
4422991816,1cyclictest0-21swapper/33
4422991813,3cyclictest3569-21pluginstate3
4422991813,3cyclictest32247-21hostname3
4422991813,3cyclictest31372-21sed3
4422991813,3cyclictest30521-21idleruntime3
4422991813,3cyclictest30177-21cut3
4422991813,3cyclictest25509-21cut3
4422991813,3cyclictest25012-21sed3
4422991813,3cyclictest2496-21expr3
4422991813,3cyclictest23989-21basename3
4422991813,3cyclictest21709-21sed3
4422991813,3cyclictest16560-21expr3
4422991812,4cyclictest24863-21cat3
4422991812,4cyclictest11258-21cat3
442299181,16cyclictest30942-21kworker/3:13
442299180,9cyclictest12092-21ntp_offset3
441099183,8cyclictest9225-21apt-get1
441099183,8cyclictest13228-21apt-get1
4410991816,1cyclictest0-21swapper/11
4410991816,1cyclictest0-21swapper/11
4410991816,1cyclictest0-21swapper/11
4410991816,1cyclictest0-21swapper/11
4410991814,2cyclictest24509-21/usr/sbin/munin1
4410991813,3cyclictest6831-21cat1
4410991813,3cyclictest6522-21munin-node1
4410991813,3cyclictest314-21cat1
4410991813,3cyclictest22523-21/usr/sbin/munin1
4410991811,4cyclictest23122-21awk1
441099181,11cyclictest26240-21apt-get1
441099180,16cyclictest0-21swapper/11
441099180,16cyclictest0-21swapper/11
4422991712,3cyclictest31964-21sh3
4422991712,3cyclictest30608-21hostname3
4422991712,3cyclictest27101-21cat3
4422991712,3cyclictest26471-21cat3
4422991712,3cyclictest22490-21grep3
4422991712,3cyclictest18173-21/usr/sbin/munin3
4422991712,3cyclictest16761-21tail3
4422991712,2cyclictest0-21swapper/33
4422991711,4cyclictest2082-21systemd-journal3
4422991711,3cyclictest1892-21ls3
441099173,8cyclictest20180-21apt-get1
4410991712,3cyclictest8145-21aten2_r9power_c1
4410991712,3cyclictest29960-21latency_hist1
4422991611,3cyclictest665-21runrttasks3
4422991611,2cyclictest24239-21aten2_r9power_c3
442299160,15cyclictest0-21swapper/33
441099169,4cyclictest12913-21latency1
441099169,4cyclictest11554-21sed1
441099163,6cyclictest26552-21apt-get1
4410991611,3cyclictest24555-21cstates1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional