[deliverable/tracecompass.git] / org.eclipse.linuxtools.ctf.parser / Grammar / CTFLexer.g

lexer grammar CTFLexer;

options {
  language = Java;
}

@lexer::header {
 package org.eclipse.linuxtools.ctf.parser;
}

/*
 * Lexer grammers 
 */
 
/*
 * Keywords
 */
ALIGNTOK         : 'align' ;
CONSTTOK         : 'const' ;
CHARTOK          : 'char' ;
DOUBLETOK        : 'double' ;
ENUMTOK          : 'enum' ;
EVENTTOK         : 'event' ;
FLOATINGPOINTTOK : 'floating_point' ;
FLOATTOK         : 'float' ;
INTEGERTOK       : 'integer' ;
INTTOK           : 'int' ;
LONGTOK          : 'long' ;
SHORTTOK         : 'short' ;
SIGNEDTOK        : 'signed' ;
STREAMTOK        : 'stream' ;
STRINGTOK        : 'string' ;
STRUCTTOK        : 'struct' ;
TRACETOK         : 'trace' ;
TYPEALIASTOK     : 'typealias' ;
TYPEDEFTOK       : 'typedef' ;
UNSIGNEDTOK      : 'unsigned' ;
VARIANTTOK       : 'variant' ;
VOIDTOK          : 'void' ;
BOOLTOK          : '_Bool' ;
COMPLEXTOK       : '_Complex' ;
IMAGINARYTOK     : '_Imaginary' ;
ENVTOK           : 'env' ;
CLOCKTOK         : 'clock' ;

/*
 * Spec still to come.
 */
NANNUMBERTOK  : 'NaN' ;
INFINITYTOK   : '+inf' ;
NINFINITYTOK  : '-inf' ;

/*
 * Symbols
 */
SEPARATOR          : ',' ;
COLON              : ':' ;
ELIPSES            : '...' ;
ASSIGNMENT         : '=' ;
TYPE_ASSIGNMENT    : ':=' ;
LT                 : '<' ;
GT                 : '>' ;
OPENBRAC           : '[' ;
CLOSEBRAC          : ']' ;
LPAREN             : '(' ;
RPAREN             : ')' ;
LCURL              : '{' ;
RCURL              : '}' ;
TERM               : ';' ;
POINTER            : '*' ;
SIGN               : '+' | '-' ;
ARROW              : '->' ;
DOT                : '.' ;
fragment BACKSLASH : '\\' ;

/*
 * Boolean literals
 * - We better leave them as identifiers and numbers...
 */
/*TRUE  : 'true'  | 'TRUE' ;
FALSE : 'false' | 'FALSE' ;
ZERO  : '0' ;
ONE   : '1' ;*/


/*
 * Integer literals
 */
OCTAL_LITERAL : '0' ('0'..'7')+ INTEGER_TYPES_SUFFIX? ;

DECIMAL_LITERAL : DIGIT+ INTEGER_TYPES_SUFFIX? ;

HEX_LITERAL : HEX_PREFIX HEX_DIGIT+ INTEGER_TYPES_SUFFIX? ;
fragment HEX_DIGIT : DIGIT | ('a'..'f') | ('A'..'F') ;
fragment HEX_PREFIX : '0' ('x' | 'X') ;

/* Helpers for integer literals */
fragment DIGIT : '0'..'9' ;
fragment NONZERO_DIGIT : '1'..'9' ;


/**
 * Integer suffix for long, long long and unsigned.
 *
 * Matches all possible combination of L, LL and U.
 */ 
fragment INTEGER_TYPES_SUFFIX :
	  ('l' ('l')? | 'L' ('L')?)             // l, ll
	| ('u' | 'U')                           // u
	| ('u' | 'U') ('l' ('l')? | 'L' ('L')?) // ul, ull 
	| ('l' ('l')? | 'L' ('L')?) ('u'| 'U')  // lu, llu
	;

/**
 * Escape sequences
 */
fragment ESCAPE_SEQUENCE :
	  BACKSLASH ('\'' | '"' | '?' | BACKSLASH | 'a' | 'b' | 'f' | 'n' | 'r' | 't' | 'v' )
	| OCTAL_ESCAPE
	| UNICODE_ESCAPE
	| HEXADECIMAL_ESCAPE
	;

/**
 * Octal escape sequence
 */
fragment OCTAL_ESCAPE :
    BACKSLASH ('0'..'3') ('0'..'7') ('0'..'7')
  | BACKSLASH ('0'..'7') ('0'..'7')
  | BACKSLASH ('0'..'7')
  ;

/**
 * Hexadecimal escape sequence
 */
fragment HEXADECIMAL_ESCAPE : BACKSLASH 'x' HEX_DIGIT+ ;

/**
 * Unicode escape sequence
 */
fragment UNICODE_ESCAPE :
    BACKSLASH 'u' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
  | BACKSLASH 'U' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
  ;


/* Used in both character and string literal */
fragment STRINGPREFIX : 'L';

/*
 * Character literal
 */
CHARACTER_LITERAL : STRINGPREFIX? SINGLEQUOTE CHAR_CONTENT+ SINGLEQUOTE ;
fragment CHAR_CONTENT : (ESCAPE_SEQUENCE | ~(BACKSLASH | SINGLEQUOTE)) ;
fragment SINGLEQUOTE : '\'';

/*
 * String literal
 */
STRING_LITERAL : STRINGPREFIX? DOUBLEQUOTE STRING_CONTENT* DOUBLEQUOTE ;
fragment STRING_CONTENT : (ESCAPE_SEQUENCE | ~(BACKSLASH | DOUBLEQUOTE)) ;
fragment DOUBLEQUOTE : '"' ;

/**
 * Whitespaces
 */
WS : (' ' | '\r' | '\t' | '\u000C' | '\n') { $channel=HIDDEN; } ;

/**
 * Multiline comment
 */ 
// About the greedy option: see page 100-101 of The Definitive ANTLR reference
// COMMENT : '/*' ( options {greedy=false;} : . )* '*/' {$channel=HIDDEN;} ;
COMMENT : COMMENT_OPEN .* COMMENT_CLOSE { $channel = HIDDEN; } ;
fragment COMMENT_OPEN : '/*';
fragment COMMENT_CLOSE : '*/';

/**
 * Single line comment
 */
LINE_COMMENT : '//' ~('\n'|'\r')* '\r'? '\n' {$channel=HIDDEN;} ;

/**
 * Identifiers
 */
IDENTIFIER : NONDIGIT (NONDIGIT | DIGIT)* ;
fragment NONDIGIT : ('_') | ('A'..'Z') | ('a'..'z') ;
Commit	Line	Data
866e5b51 FC	1	lexer grammar CTFLexer;
	2
	3	options {
	4	language = Java;
	5	}
	6
	7	@lexer::header {
	8	package org.eclipse.linuxtools.ctf.parser;
	9	}
	10
	11	/*
	12	* Lexer grammers
	13	*/
	14
	15	/*
	16	* Keywords
	17	*/
	18	ALIGNTOK : 'align' ;
	19	CONSTTOK : 'const' ;
	20	CHARTOK : 'char' ;
	21	DOUBLETOK : 'double' ;
	22	ENUMTOK : 'enum' ;
	23	EVENTTOK : 'event' ;
	24	FLOATINGPOINTTOK : 'floating_point' ;
	25	FLOATTOK : 'float' ;
	26	INTEGERTOK : 'integer' ;
	27	INTTOK : 'int' ;
	28	LONGTOK : 'long' ;
	29	SHORTTOK : 'short' ;
	30	SIGNEDTOK : 'signed' ;
	31	STREAMTOK : 'stream' ;
	32	STRINGTOK : 'string' ;
	33	STRUCTTOK : 'struct' ;
	34	TRACETOK : 'trace' ;
	35	TYPEALIASTOK : 'typealias' ;
	36	TYPEDEFTOK : 'typedef' ;
	37	UNSIGNEDTOK : 'unsigned' ;
	38	VARIANTTOK : 'variant' ;
	39	VOIDTOK : 'void' ;
	40	BOOLTOK : '_Bool' ;
	41	COMPLEXTOK : '_Complex' ;
	42	IMAGINARYTOK : '_Imaginary' ;
	43	ENVTOK : 'env' ;
	44	CLOCKTOK : 'clock' ;
	45
	46	/*
	47	* Spec still to come.
	48	*/
	49	NANNUMBERTOK : 'NaN' ;
	50	INFINITYTOK : '+inf' ;
	51	NINFINITYTOK : '-inf' ;
	52
	53	/*
	54	* Symbols
	55	*/
	56	SEPARATOR : ',' ;
	57	COLON : ':' ;
	58	ELIPSES : '...' ;
	59	ASSIGNMENT : '=' ;
	60	TYPE_ASSIGNMENT : ':=' ;
	61	LT : '<' ;
	62	GT : '>' ;
	63	OPENBRAC : '[' ;
	64	CLOSEBRAC : ']' ;
65	LPAREN : '(' ;
66	RPAREN : ')' ;
67	LCURL : '{' ;
68	RCURL : '}' ;
69	TERM : ';' ;
70	POINTER : '*' ;
71	SIGN : '+' \| '-' ;
72	ARROW : '->' ;
73	DOT : '.' ;
74	fragment BACKSLASH : '\\' ;
75
76	/*
77	* Boolean literals
78	* - We better leave them as identifiers and numbers...
79	*/
80	/*TRUE : 'true' \| 'TRUE' ;
81	FALSE : 'false' \| 'FALSE' ;
82	ZERO : '0' ;
83	ONE : '1' ;*/
84
85
86	/*
87	* Integer literals
88	*/
89	OCTAL_LITERAL : '0' ('0'..'7')+ INTEGER_TYPES_SUFFIX? ;
90
91	DECIMAL_LITERAL : DIGIT+ INTEGER_TYPES_SUFFIX? ;
92
93	HEX_LITERAL : HEX_PREFIX HEX_DIGIT+ INTEGER_TYPES_SUFFIX? ;
94	fragment HEX_DIGIT : DIGIT \| ('a'..'f') \| ('A'..'F') ;
95	fragment HEX_PREFIX : '0' ('x' \| 'X') ;
96
97	/* Helpers for integer literals */
98	fragment DIGIT : '0'..'9' ;
99	fragment NONZERO_DIGIT : '1'..'9' ;
100
101
102	/**
103	* Integer suffix for long, long long and unsigned.
104	*
105	* Matches all possible combination of L, LL and U.
106	*/
107	fragment INTEGER_TYPES_SUFFIX :
108	('l' ('l')? \| 'L' ('L')?) // l, ll
109	\| ('u' \| 'U') // u
110	\| ('u' \| 'U') ('l' ('l')? \| 'L' ('L')?) // ul, ull
111	\| ('l' ('l')? \| 'L' ('L')?) ('u'\| 'U') // lu, llu
112	;
113
114	/**
115	* Escape sequences
116	*/
117	fragment ESCAPE_SEQUENCE :
118	BACKSLASH ('\'' \| '"' \| '?' \| BACKSLASH \| 'a' \| 'b' \| 'f' \| 'n' \| 'r' \| 't' \| 'v' )
119	\| OCTAL_ESCAPE
120	\| UNICODE_ESCAPE
121	\| HEXADECIMAL_ESCAPE
122	;
123
124	/**
125	* Octal escape sequence
126	*/
127	fragment OCTAL_ESCAPE :
128	BACKSLASH ('0'..'3') ('0'..'7') ('0'..'7')
129	\| BACKSLASH ('0'..'7') ('0'..'7')
130	\| BACKSLASH ('0'..'7')
131	;
132
133	/**
134	* Hexadecimal escape sequence
135	*/
136	fragment HEXADECIMAL_ESCAPE : BACKSLASH 'x' HEX_DIGIT+ ;
137
138	/**
139	* Unicode escape sequence
140	*/
141	fragment UNICODE_ESCAPE :
142	BACKSLASH 'u' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
143	\| BACKSLASH 'U' HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT HEX_DIGIT
144	;
145
146
147	/* Used in both character and string literal */
148	fragment STRINGPREFIX : 'L';
149
150	/*
151	* Character literal
152	*/
153	CHARACTER_LITERAL : STRINGPREFIX? SINGLEQUOTE CHAR_CONTENT+ SINGLEQUOTE ;
154	fragment CHAR_CONTENT : (ESCAPE_SEQUENCE \| ~(BACKSLASH \| SINGLEQUOTE)) ;
155	fragment SINGLEQUOTE : '\'';
156
157	/*
158	* String literal
159	*/
160	STRING_LITERAL : STRINGPREFIX? DOUBLEQUOTE STRING_CONTENT* DOUBLEQUOTE ;
161	fragment STRING_CONTENT : (ESCAPE_SEQUENCE \| ~(BACKSLASH \| DOUBLEQUOTE)) ;
162	fragment DOUBLEQUOTE : '"' ;
163
164	/**
165	* Whitespaces
166	*/
167	WS : (' ' \| '\r' \| '\t' \| '\u000C' \| '\n') { $channel=HIDDEN; } ;
168
169	/**
170	* Multiline comment
171	*/
172	// About the greedy option: see page 100-101 of The Definitive ANTLR reference
173	// COMMENT : '/' ( options {greedy=false;} : . ) '*/' {$channel=HIDDEN;} ;
174	COMMENT : COMMENT_OPEN .* COMMENT_CLOSE { $channel = HIDDEN; } ;
175	fragment COMMENT_OPEN : '/*';
176	fragment COMMENT_CLOSE : '*/';
177
178	/**
179	* Single line comment
180	*/
181	LINE_COMMENT : '//' ~('\n'\|'\r')* '\r'? '\n' {$channel=HIDDEN;} ;
182
183	/**
184	* Identifiers
185	*/
186	IDENTIFIER : NONDIGIT (NONDIGIT \| DIGIT)* ;
187	fragment NONDIGIT : ('_') \| ('A'..'Z') \| ('a'..'z') ;