Tests: Add event packet header accessors test

Tests: Don't use diag() to output errors from child processes

diag() appends a newline character to the child processes' output
which causes the test's output to have extra blank lines.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: line over 80 chars

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add support for custom event headers

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Use a switch case instead of conditionals

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Field types native byte order refers to the trace

Following a misunderstanding of the CTF specification, the native
byte order was implemented as meaning the host's endianness. It should
refer to the Trace's endianness.

This modification ensures that stream classes, event classes and field
types correctly inherit the trace's endianness when "native" is used.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: duplicate function declaration in stream.h

bt_ctf_stream_set_event_context() should be
bt_ctf_stream_set_event_header().

Fixes #874

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Test: Add a test that validates that empty streams are valid

Empty streams should be backed by a file of size 0 and be readable
by a CTF reader. This test validates that the problem described in
28362f2b is fixed.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lazy-mmap() streams when flushing

This fixes an issue when empty streams are created as the stream
creation will mmap() the file in preparation for the first event.

This results in "empty" stream files ending up with a non-zero size
which is invalid since no packet headers are found by the reader.

This change ensures that stream files are only mmap'ed on the first
stream flush and that empty streams are stored as size-0 files.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: lock stream class after assigning stream id

Fixes a bug that was introduced by 2f100782 which made it possible
to set custom stream class IDs.

The stream class is frozen when a stream of its type is instanciated.
However, the trace or writer must still assign a unique ID to the stream
class if none were set prior. This modification moves the stream class
locking (freeze) after the ID assignment check.

Reported-by: Jiri Olsa <jolsa@redhat.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: handle 64-bit trace IDs on 32-bit systems

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: print format type mismatch warnings on 32-bit

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add utility function to validate CTF identifiers

Introduces bt_ctf_validate_identifier() which validates a given
identifier against the list of CTF reserved keywords.

This function may evolve to perform additional validity checks in
the future as the CTF specification moves forward.

Acked-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Revert "Add event header accessors and support for custom event headers"

This reverts commit 9f476966aa40bd0de2cd0654623ea03f8a3254eb.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: missing parenthesis in offset_align_floor

Is currently unused. Triggers a compile error when used.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add event header accessors and support for custom event headers

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Add tests for stream class accessor

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add missing stream class accessor

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Typo in bt_ctf_field_type_integer_create's documentation

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Add tests for trace packet header accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add stream packet header accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add trace packet header accessors and support custom headers

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Only allow setting a stream class when not frozen

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: allow empty CTF files

There are expected situtations in which CTF producers (like LTTng) can
generate empty CTF trace files. The current babeltrace behavior is to
trigger an error when an empty file is encountered. Change this to allow
reading the rest of the trace anyway.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Revert test fix: uncomment trace unlink

8c627304e5adb715ef3d359ac24febab2bb279b3 introduced changes that
were unintended, namely commenting the trace unlinking in the
CTFWriter test suite.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests fix: Unchecked return value

Reported by Coverity
** CID 1258705:  Unchecked return value  (CHECKED_RETURN)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Add event context accessors unit tests

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Indicate that stream event context is sampled on event append

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add event context accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Remove extra underscore from function header

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Check integer signedness in packet header when auto-populating

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs: Add a comment about event validation in bt_ctf_stream_append_event

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Misplaced end label in bt_ctf_stream_get_packet_context

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Add unit tests for stream event context accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add stream_event_context accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Remove unnecessary argument name

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Add unit tests for stream event context accessors

Cleanup: Missing whitespace in comment

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Only allow setting a packet context on a non-frozen stream class

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add stream_event_context accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Implement bt_ctf_field deep copy

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Incorrect variant tag validation

An erroneous tag validation causes bt_ctf_field_variant_get_field() to
fail when called a second time on a given variant field.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Missing description NULL check in bt_ctf_clock when serializing

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: Ensure a packet context is a structure

bt_ctf_stream_class_set_packet_context_type was checking the current
stream packet context's type instead of the one being passed.

Added a test to validate that the check is done appropriately.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add comment indicating the type of ctf_traces' elements

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: sanity check in iterator creation

This function is part of the public API; we need more
sanity checks before using the structures provided by the caller.

Refs: #827

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: iterate manually over each live trace to add to catch errors

Instead of using g_hash_table_foreach, we now control the iteration over
the hash table, so we can handle properly the errors.
For now, if there is an error for any trace, we consider this a fatal
issue and exit.

We could allow the process to continue and only skip the problematic
traces, but we will wait until this becomes a real use-case.

Fixes: #827
Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Remove duplicate include of unistd in test_ctf_writer

Signed-off-by: Christian Babeux <christian.babeux@efficios.com>

Fix: make sure we can exit the get_new_metadata loop

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>

Fix: respect signed integers' length when printing in hex base

Make sure we don't print a full 64-bit sign-extended value
when printing a negative integer in hexadecimal base.

Fixes #848

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Ensure types used for index and count in CTF IR API match

This makes it easier for users to write code not producing
warnings.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Cleanup: Missing space after cast operator

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: add tests for the new trace and trace clock accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add trace accessor to CTF Writer

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add clock accessor to CTF IR Trace

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Reuse existing g_string instance when setting a clock name

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Don't automatically generate a clock UUID in _bt_ctf_clock_create

While the public clock constructor still generates a UUID,
it should not be done when creating a clock during TSDL metadata
parsing.

This makes it possible to use bt_ctf_clock_get_uuid to check
if a UUID has already been set during clock definition parsing.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add missing trace-internal.h header file

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add an alias name attribute and accessor to CTF IR field type

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add internal nameless clock creation API

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add Trace CTF IR type

Refactored the Writer interface to expose a Trace object which
will be exposed by the CTF reader.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings clean-up: missing file headers style fixes

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Docs fix: Change bt_ctf_writer_create_stream return description

writer -> stream

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings clean-up: file headers style fix

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Change CTF IR header descriptions from CTF Writer to CTF IR

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Detect Python packages directory on configure

The Python interpreter on Debian is configurated to use
...lib/python.../dist-packages instead of
.../lib/python.../site-packages to look for extra modules.

python_modules.m4 performs a runtime python check of the
sys.path variable to check wether the selected interpreter is
configurated to use site-packages vs dist-packages.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings: fail configure if python version < 3.0

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add PEP8 style guide requirement to the CodingStyle

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings: Make bindings PEP8 compliant

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings: Make examples PEP8 compliant

Python bindings: clarify invalid argument type exception

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings docs: clarify add_event_class comments

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings: Add packet context accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Documentation fix: add expected types to packet context accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings: Add UUID accessors to the Clock class

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Clean-up: remove extra whitespace in ctf-ir/clock.h

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings: cleanup whitespace

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Python bindings: add "datetime" property to the Event class

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: check for < 0 rather than -1 specifically

Change test conditions for functions whose documentation
states that "a negative value" is returned on error.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: cleanup extra whitespace

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Add tests for new clock UUID accessors

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add UUID accessors to CTF-IR clock

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: scan-build warnings in CTF Writer/IR tests

scan-build reported that strcmp could be called on a NULL string
when some tests fail.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: offset_s and CTF clocks with frequency != 1GHz

Take into account offset_s from the clock description when calculating
the tc_offset in ctf_get_real_timestamp().

Do not assume that the single_clock->offset field is at a frequency of
1GHz. Take into account the its clock frequency.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: incorrect compiler warning

The compiler does not see that *target will necessarily set the values.
Initialize the variables to 0 to silence uninitialized variable warning.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: Don't assume that PROT_WRITE grants read permissions

The prot flag passed to mmap() is set to PROT_WRITE when the O_RDWR
access flags is used. This assumes that PROT_WRITE grants read
permissions on the mmap'ed region. While this is true on x86, this
causes a segmentation fault on SPARC and, presumably, other
architectures implementing strict access permissions.

CTF Writer needs read permissions since the unaligned integer writes
may use load instructions as the value is read back to perform the
required shifting/masking is performed in the _bt_bitfield_write_*
macros.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: align objstack on 8 bytes

Architectures such as sparc32 have 32-bit pointers, but require
alignment on 8 bytes multiples for 64-bit integers.

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix Python: Add a comment warning about an API limitation

Add a comment warning about a possible misuse of the events()
API. The objects returned by this function shall not be copied
as they become invalid as soon as the next event is accessed.

It is also invalid to access an event after its generator has
gone out of scope.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Replace usages of limits.h with the compatibility header

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Tests: Return from main instead of calling exit()

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Use BABELTRACE_HOST_NAME_MAX in test_ctf_writer.c

This fixes the build on FreeBSD.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Add limits compatibility header

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: don't perform unaligned integer read/writes

Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Add stream packet header accessors

Stream packet contexts may now be modified to contain custom
fields. The events_discarded field is now handled like a generic
packet context field.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Reuse previously allocated string when setting value

bt_ctf_field_string_set_value() frees and reallocates a new
g_string object if the value is changed. This change ensures
that the previous string is used if possible.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: bt_ctf_field_type_structure_add_field argument validation

bt_ctf_field_type_structure_add_field is not setting the return
value to a negative value if the parameter validation fails. The
function would abort while appearing to have succeeded.

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>

Fix: mmap trace read the stream_id from the first packet

We were hardcoding the stream_id as 0 for mmap traces, causing a
problem for live traces with multiple channels.
A fix enters in lttng-tools v2.4.2 to send the CTF stream id in the beacon
packets, but until then, we cannot support traces with multiple CTF
streams (LTTng channels).

Fixes: #811
Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: check the lttng-relayd protocol version

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Fix: don't update the trace collection if no new streams were received

Signed-off-by: Julien Desfossez <jdesfossez@efficios.com>
Signed-off-by: Mathieu Desnoyers <mathieu.desnoyers@efficios.com>

Remove logically dead code

Fixes Coverity warning
** CID 1224341:  Logically dead code  (DEADCODE)

Signed-off-by: Jérémie Galarneau <jeremie.galarneau@efficios.com>