Add handling of supplementary files of traces

lttng: Use a different CtfTmfTrace object for every test

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

Clean up code.

lttng: Make sure we assign a value to all created quarks

Rework the fix in f3013ba. If a quark gets created but is never
ever used over the span of the whole history, it ends up not
having any value whatsover, not even null. At query time, it
would query the empty space in the HT nodes for its value,
returning 0 most of the time.

Now we manually assign a value to all Thread sub-attributes,
depending on the event type.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Use static final's for the StateValue types

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Make HistoryBuilder use a TMF request for its events

Initially, the IStateChangeInput object would have to open
the trace itself, and merely send state changes. Rework this
interface so that we now have to pass it the events. This
allows HistoryBuilder to hook into TMF's event requests, and
benefit from the coalescing.

This will be tweaked a bit more soon, when we put all indexing
requests together.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Clarify why CtfTmfEvent's constructor is public

The default constructor for null event should be accessed
via the static singleton constructor in normal cases. I tried
to change it back to private, but it breaks some OSGI stuff
because this is used in extension points.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

Change tabs for commas to separate fields.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Clean up Parser and Lexer. Some fixes are more for findbugs than actual
bugs.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

make Resolution enum public, since it is used in public API

lttng: Split process status in user and kernel modes

The attribute Thread/Status will now also track if the
thread is in kernel mode (in a system call) or in user mode.
This will match more closely what is wanted in the Control
Flow View.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Ensure we don't return null on GSS queries

This would indicate a problem with the backend anyway, since
by design there should be no "holes" in a state history.

But since this can still happen, if there's a problem with the
backend or if the file is corrupted for example, then we should
catch (and log) the error here, and guarantee what is sent up
is non-null.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Synchronize accesses to the history files

It seems the file channel positions are saved in each thread's
context on Linux, but not on Windows. This makes concurrent
queries to the state history very prone to breakage. This
small change makes sure a complete node is read before a
thread can be preempted.

In pratice the performance impact shouldn't be too big, since
both threads would be blocked by the same disk even if we
allowed concurrent access.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Change syscalls to a flat attribute instead of a stack

This will not show nested syscalls correctly, but those were
very rare in the first place, and have been completely removed
in recent kernel versions.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Provide a way to get the number of attributes in a system

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

improve test coverage in CtfLocation

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Fix seek behaviour in CtfAdaptor

Improve test coverage.
Fix EventDeclaration.equals()

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Add toString to CtfLocation to allow easier debugging.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Improve API.
Update test cases.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Fix test case. It really is supposed to return true.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Fix for Linux tree item height bug.

Increase GUI delay value for GUI test case

Update internal packages export in LTTng 2.0 control + update java doc

Improve package tangle index for LTTng 2.0 control design

ctf: Allow finalizing CTFTrace's if validation failed

A NPE could happen during finalize() if an exception was thrown
before the constructor could complete. Move the new-ification of
the FileChannel container to the beginning, and use a List instead
of a static array.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>
Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Move raw event viewer widget to its own package.

tmf: Don't close the input stream in the SHS constructor

This stream belongs to the History Tree itself, so if we close
it here we could hit ClosedChannelExceptions later on, under
certain conditions.

Instead, don't keep a local reference to this stream, so static
analysis tools don't expect us to close it.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

Improve test cases. Coverage of 85%+ and fix bugs.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Add javadoc and comments

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

More fixes of static analysis warnings for UML2SD

Fix for Linux display bugs in TimeGraphCombo.

Bug 378402: Implementation of ControlFlow view and Resources view for
LTTng 2.0.

Bug 378401: Implementation of time graph widget.

Remove bookmarks file on drag&drop trace copy.

Move legacy time analysis widget to lttng.ui and create initial copy in
tmf.ui.

Remove warnings and fix a windows bug with CtfTmfTrace.getName()

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Improve CTF timestamp output, will now output in y/m/d, h:m:s.ns or ns or s (double)

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Fix static analysis warnings for UML2SD

Java Doc and API clean up of TMF UML Sequence diagram framework

Improve test cases, speed and accuracy.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

tmf: Provide a special interval end time return value for views

The complete state model in TMF is based on the fact that states
end *before* the next state is started. This ensures we cannot
have 2 active states for a given attribute at a given timestamp.

However, this is not ideal for the viewers, because it leaves
gaps between intervals if we use those timestamps as-is. After
much head-banging, the simplest solution that was found was to
add a method in the ITmfStateInterval interface that viewers can
use to get their own version of the interval's end time.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Correctly save the history backend's end time

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Rework the IRQ event handler

Implement the softIrq handlers. Drop the IRQ_stack sub-tree,
put the IRQ stuff under Resources/IRQs and Resources/Soft_IRQs.

This matches more closely what is needed by the Resource view.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Use scope-limiting braces in the event handler

This will prevent event-specific variables from leaking
from one case to another.

I used to get weird compiler errors with OpenJDK 7 about one
year ago when trying to do this, but I just retested with a more
recent version and it seems to work fine now.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Cache all top-level attribute nodes

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Always create the sub-attributes of TID nodes

This makes the history slightly bigger, but it avoids having
to catch all sort of exceptions in the views, for the cases
where the expected sub-attributes never get populated. Now
they will simply contain a "null" value for the whole duration.

Also relaxed the test cases a bit, changed it so we won't have
to update them every time we make a single change to the state
provider.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Don't update previous data wrt sched_switch trace event

Some event types in the event handler update past data
(to correctly identify "unknown" threads for example),
but this should not be done in the case of sched_switch.

The problem is that sched_switch is always called after
a sched_exit, and since the sched_exit's handler deletes
all information related to this process, we do not want
the following sched_switch to restore the Exec_name for
example.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Add icons for CTF and LTTng trace types

fix empty trace bug

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

tmf: Internalize all the core state system implementation

Also renamed the old .helpers package to simply tmf.core.statesystem,
which only consists of the exported API now.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Move all GSS exceptions to tmf.core.exceptions

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Rework unneeded throw in the GSS backend

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Split StateHistorySystem into two interfaces

This will offer a query-only interface, which has no method
to write to or modify the state history in any way. This is
much safer, now that the views are starting to use it.

As part of the process, the history-less StateSystem is no
longer easily available. It was never much used in practice,
but if it's ever needed in the future it should be relatively
easy to bring it back.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

Fix findbugs

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Add test cases for float definitions.
Fix build error caused by rebase.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Add support for lost events
Fix display of sequences and arrays

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Fix problem with multiple channels including empty channels and ones
created after start.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

fix empty stream bug.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Add support for CTF in Sequence Diagram view

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Fix alignment issue. Now traces using more than one alignment can be
read.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Fix bug when tracefile is not aligned. Now supports exotic architectures.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Add support for float fields in a string output.

Signed-off-by: Matthew Khouzam <matthew.khouzam@ericsson.com>

Add floating point support and Loglevel support

tmf: Refresh the project once we're done loading a trace

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Add the start time to the history file header

The previous method for getting the start time was bugged
anyway, it's much simpler to just save it in the header.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Check for correct start/end times in the tests

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Update queries' tests

Since we dropped statistics (in 2967f37), the quark numbers
changed, so the expected results of the getQuarks() tests
had to be updated.

While at it, updated the file to use the references in
Attributes.java, which was recently introduced.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Fix wrong interval returns in the history backend

Since intervals are sorted (by end time) in their nodes,
the algorithm to pick the correct interval during a query
would first find the "starting point", where the intervals
can begin intersecting the target time.

Then, it would iterate over the remainder of the list, but only
comparing the *start* times, since we know that at this point,
the end times should all fit in.

Turns out this is not the case! It's possible for a node's end
time to be greater than its last intervals' end times. So if a
query was done in this "empty space", the node could wrongly
return an interval whose start time fits, but not its end time!

If every other condition is respected, now we additionally check
the end time too. This avoids a potential infinite loop during
range queries.

Also updated the tests accordingly.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Be more lenient with GSS range queries

In the case where t2 (the end time of the range) is greater
than the end time of the trace/history, simply stop doing
queries once we reach the end, instead of throwing errors left
and right.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Update history construction unit tests

Now that builder.run() returns immediately, we have to call
.close() to actually wait until the complete history is built
before we start the tests.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Centralize all event and attribute names in dedicated classes

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Move CTF dummy state provider to the test package

It's still kept around, since it's very useful for benchmarks.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Make HistoryBuilder build its index asynchronously

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Expose a method to retrieve an attribute's name

In the past, the only way to retrieve quarks was to pass its
exact name, so it implied we knew the name in the first place...

But with wildcard methods like getQuarks(), we won't necessarily
know the name of the quarks we receive. This new method will
allow the user to do a reverse lookup on the name.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Explicitely return a StateHistorySystem in kernel traces

We build it ourselves, so we'll know what the type is.
Also fixed a missing assignement to the class field.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Handle existing but invalid state index files

If a ".ht" file already exists we try to re-use it first. But if
this step fails, now we'll just scrap the existing file and build
a new one.

Other than the many possible error causes, this will be useful
for dealing with incompatible changes to the file format, for example.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Replace CTF- class prefix by Ctf-

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Disable statistics in the state provider for now

One state change per event makes the resulting history HUGE!

Statistics-coming-from-the-state aren't used yet, hopefully the
partial histories are ready by the time those statistics are
implemented, this will pretty much solve any space problems
we might have.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Rework the trace type extension points

Move the LTTng 2.0 kernel type to lttng2.kernel.ui.

Also add a "Generic CTF" trace type, which lives directly in tmf.ui,
since TMF contains the CtfAdaptor, so it can read any kind of CTF
trace (albeit with little specific information).

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: First draft of CtfKernelTrace

This extension of CtfTmfTrace will connect the correct state provider
with the GSS in tmf.core, and will build a history if there is none
already present in the trace's directory.

Also added references to the trace's state system in CtfTmfTrace.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

ctf: Actually close the filechannels to the streams

Once we get the option to unload a trace from an experiment,
we can call .finalize(), which will ensure the descriptors are
closed.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

ctf: Refactor CTFTrace's constructor

Squash 4-5 private methods that were only used by the constructor
into the constructor itself. This allows us to use 'final' fields
more efficiently.

Also ran the formatter on the whole file.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

ctf: Plug some resource leaks in the metadata parsing

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

ctf: Fix some simple warnings in the code and tests

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Update kernel provider tests to the new trace location

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

ctf: Update the script that downloads test traces

Centralize all the CTF traces under the CTF plugin. Also simplified
the script a bit, and updated the locations.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Remove unneeded annotations in the CTF adaptor

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Fix potential resource leaks in the GSS

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Add a proper toString() to history tree intervals

or else printing intervals for debug is not very informative...

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Fix indentation of a previous commit

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Use getEventName() in the kernel state provider

getSource() now does what it's supposed to do.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Update timestamp used in tests

CTF timestamps are now in UTC absolute time, and
not relative to the start time of the machine.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Small regression test for the new range queries

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Add option to specify a resolution to range queries

When we want to populate a view using intervals from the state system,
we don't usually care about the information we can't even show in the
view (for example, for states whose duration are smaller than the length
of one pixel at the current zoom level).

This new variant to queryHistoryRange() adds a 'resolution' parameter,
which is a minimum timestamp between query points. This is only a
minimum: if the current interval is longer than the pixel, we won't
do useless queries in between.

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Make the basic query method multi-thread safe

Merge the functionality of queryState() into loadStateAtTime(). Now
loadStateAtTime() will return a List of ITmfStateInterval directly,
instead of keeping a single array internally and returning different
references of it.

If the caller wants to multi-thread its access to the returned list,
it's completely up to it now.

Also updated the Javadoc to reflect the new behavior.

Fixes bug #376426

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Fix statesystem-related FindBugs warnings in tmf.core

Fixes bug #376225

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Fix FindBugs warnings in lttng2.kernel.core.tests

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

tmf: Enforce existing sv types when reusing attributes

Once we assign an Integer or String statevalue to an attribute, make
sure every subsequent modification keeps using statevalues of the
same type.

This is a new restriction that was not there before, but it makes
sense to add it to the design. It also helps to isolate problems
in the state provider.

Fixes Eclipse bug #375878

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>

lttng: Fix the last StateSystem unit test

It's a stack attribute, the top-level only returns
the depth of the stack...

Fixes bug #375459

Signed-off-by: Alexandre Montplaisir <alexmonthy@voxpopuli.im>