[ gas/testsuite/ChangeLog ]
[deliverable/binutils-gdb.git] / gas / testsuite / lib / gas-defs.exp
index 48e84b2333564f164d7117ba60a4875260521d67..827e22f70f0750418faae3e216ad50955fc20eeb 100644 (file)
@@ -1,21 +1,22 @@
-# Copyright (C) 1993, 1994, 1997 Free Software Foundation, Inc.
+# Copyright (C) 1993, 1994, 1997, 1998, 1999, 2000, 2001, 2002, 2003,
+# 2004, 2005 Free Software Foundation, Inc.
 
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
 # the Free Software Foundation; either version 2 of the License, or
 # (at your option) any later version.
-# 
+#
 # This program is distributed in the hope that it will be useful,
 # but WITHOUT ANY WARRANTY; without even the implied warranty of
 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 # GNU General Public License for more details.
-# 
+#
 # You should have received a copy of the GNU General Public License
 # along with this program; if not, write to the Free Software
-# Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.  
+# Foundation, Inc., 51 Franklin Street - Fifth Floor, Boston, MA 02110-1301, USA.
 
 # Please email any bugs, comments, and/or additions to this file to:
-# DejaGnu@cygnus.com
+# dejagnu@gnu.org
 
 # This file was written by Ken Raeburn (raeburn@cygnus.com).
 
@@ -40,11 +41,11 @@ proc gas_run { prog as_opts redir } {
     global subdir
     global host_triplet
 
-    verbose "Executing $srcdir/lib/run $AS $ASFLAGS $as_opts $srcdir/$subdir/$prog $redir"
+    verbose -log "Executing $srcdir/lib/run $AS $ASFLAGS $as_opts $srcdir/$subdir/$prog $redir"
     catch "exec $srcdir/lib/run $AS $ASFLAGS $as_opts $srcdir/$subdir/$prog $redir" comp_output
     set comp_output [prune_warnings $comp_output]
     verbose "output was $comp_output"
-    return [list $comp_output ""];
+    return [list $comp_output ""]
 }
 
 proc all_ones { args } {
@@ -59,7 +60,7 @@ proc gas_start { prog as_opts } {
     global subdir
     global spawn_id
 
-    verbose "Starting $AS $ASFLAGS $as_opts $prog" 2
+    verbose -log "Starting $AS $ASFLAGS $as_opts $prog" 2
     catch {
        spawn -noecho -nottycopy $srcdir/lib/run $AS $ASFLAGS $as_opts $srcdir/$subdir/$prog
     } foo
@@ -167,7 +168,7 @@ proc gas_init { args } {
 
     case "$target_cpu" in {
        "m68???"                { set target_cpu_family m68k }
-       "i[34]86"               { set target_cpu_family i386 }
+       "i[3-7]86"              { set target_cpu_family i386 }
        default                 { set target_cpu_family $target_cpu }
     }
 
@@ -181,11 +182,80 @@ proc gas_init { args } {
     return
 }
 
+#
+# is_elf_format
+#      true if the object format is known to be ELF
+#
+proc is_elf_format {} {
+    if { ![istarget *-*-sysv4*] \
+        && ![istarget *-*-unixware*] \
+        && ![istarget *-*-elf*] \
+        && ![istarget *-*-eabi*] \
+        && ![istarget hppa*64*-*-hpux*] \
+        && ![istarget *-*-linux*] \
+        && ![istarget frv-*-uclinux*] \
+        && ![istarget *-*-irix5*] \
+        && ![istarget *-*-irix6*] \
+        && ![istarget *-*-netbsd*] \
+        && ![istarget *-*-openbsd*] \
+        && ![istarget *-*-solaris2*] } {
+       return 0
+    }
+
+    if { [istarget *-*-linux*aout*] \
+        || [istarget *-*-linux*oldld*] } {
+       return 0
+    }
+
+    if { ![istarget *-*-netbsdelf*] \
+        && ([istarget *-*-netbsd*aout*] \
+            || [istarget *-*-netbsdpe*] \
+            || [istarget arm*-*-netbsd*] \
+            || [istarget sparc-*-netbsd*] \
+            || [istarget i*86-*-netbsd*] \
+            || [istarget m68*-*-netbsd*] \
+            || [istarget vax-*-netbsd*] \
+            || [istarget ns32k-*-netbsd*]) } {
+       return 0
+    }
+
+    if { [istarget arm-*-openbsd*] \
+        || [istarget i386-*-openbsd\[0-2\].*] \
+        || [istarget i386-*-openbsd3.\[0-3\]] \
+        || [istarget m68*-*-openbsd*] \
+        || [istarget ns32k-*-openbsd*] \
+        || [istarget sparc-*-openbsd\[0-2\].*] \
+        || [istarget sparc-*-openbsd3.\[0-1\]] \
+        || [istarget vax-*-openbsd*] } {
+       return 0
+    }
+
+    return 1
+}
+
+# run_dump_tests TESTCASES EXTRA_OPTIONS
+# Wrapper for run_dump_test, which is suitable for invoking as
+#   run_dump_tests [lsort [glob -nocomplain $srcdir/$subdir/*.d]]
+# EXTRA_OPTIONS are passed down to run_dump_test.  Honors runtest_file_p.
+# Body cribbed from dg-runtest.
+
+proc run_dump_tests { testcases {extra_options {}} } {
+    global runtests
+
+    foreach testcase $testcases {
+        # If testing specific files and this isn't one of them, skip it.
+        if ![runtest_file_p $runtests $testcase] {
+            continue
+        }
+        run_dump_test [file rootname [file tail $testcase]] $extra_options
+    }
+}
+
 
-# run_dump_test FILE 
+# run_dump_test FILE (optional:) EXTRA_OPTIONS
 #
 # Assemble a .s file, then run some utility on it and check the output.
-# 
+#
 # There should be an assembly language file named FILE.s in the test
 # suite directory, and a pattern file called FILE.d.  `run_dump_test'
 # will assemble FILE.s, run some tool like `objdump', `objcopy', or
@@ -197,41 +267,91 @@ proc gas_init { args } {
 # flags to pass to the assembler, the program to run to dump the
 # assembler's output, and the options it wants.  The option lines have
 # the syntax:
-# 
+#
 #         # OPTION: VALUE
-# 
+#
 # OPTION is the name of some option, like "name" or "objdump", and
 # VALUE is OPTION's value.  The valid options are described below.
 # Whitespace is ignored everywhere, except within VALUE.  The option
-# list ends with the first line that doesn't match the above syntax
-# (hmm, not great for error detection).
+# list ends with the first line that doesn't match the above syntax.
+# However, a line within the options that begins with a #, but doesn't
+# have a recognizable option name followed by a colon, is considered a
+# comment and entirely ignored.
+#
+# The optional EXTRA_OPTIONS argument to `run_dump_test' is a list of
+# two-element lists.  The first element of each is an option name, and
+# the second additional arguments to be added on to the end of the
+# option list as given in FILE.d.  (If omitted, no additional options
+# are added.)
 #
 # The interesting options are:
-# 
+#
 #   name: TEST-NAME
 #      The name of this test, passed to DejaGNU's `pass' and `fail'
 #       commands.  If omitted, this defaults to FILE, the root of the
 #       .s and .d files' names.
-# 
+#
 #   as: FLAGS
 #      When assembling FILE.s, pass FLAGS to the assembler.
-# 
+#
 #   PROG: PROGRAM-NAME
 #       The name of the program to run to analyze the .o file produced
 #       by the assembler.  This can be omitted; run_dump_test will guess
 #       which program to run by seeing which of the flags options below
 #      is present.
-# 
+#
 #   objdump: FLAGS
 #   nm: FLAGS
 #   objcopy: FLAGS
 #      Use the specified program to analyze the .o file, and pass it
-#      FLAGS, in addition to the .o file name.
+#      FLAGS, in addition to the .o file name.  Note that they are run
+#      with LC_ALL=C in the environment to give consistent sorting
+#      of symbols.
 #
 #   source: SOURCE
 #      Assemble the file SOURCE.s.  If omitted, this defaults to FILE.s.
 #       This is useful if several .d files want to share a .s file.
 #
+#   target: GLOBS...
+#       Run this test only on a specified list of targets.  More precisely,
+#       each glob in the space-separated list is passed to "istarget"; if
+#       it evaluates true for any of them, the test will be run, otherwise
+#       it will be marked unsupported.
+#
+#   not-target: GLOBS...
+#       Do not run this test on a specified list of targets.  Again,
+#       the each glob in the space-separated list is passed to
+#       "istarget", and the test is run if it evaluates *false* for
+#       *all* of them.  Otherwise it will be marked unsupported.
+#
+#   skip: GLOBS...
+#   not-skip: GLOBS...
+#       These are exactly the same as "not-target" and "target",
+#       respectively, except that they do nothing at all if the check
+#       fails.  They should only be used in groups, to construct a single
+#       test which is run on all targets but with variant options or
+#       expected output on some targets.  (For example, see
+#       gas/arm/inst.d and gas/arm/wince_inst.d.)
+#
+#   error: REGEX
+#      An error with message matching REGEX must be emitted for the test
+#      to pass.  The PROG, objdump, nm and objcopy options have no
+#      meaning and need not supplied if this is present.
+#
+#   warning: REGEX
+#      Expect a gas warning matching REGEX.  It is an error to issue
+#      both "error" and "warning".
+#
+#   stderr: FILE
+#       FILE contains regexp lines to be matched against the diagnostic
+#       output of the assembler.  This does not preclude the use of
+#       PROG, nm, objdump, or objcopy.
+#
+#   error-output: FILE
+#       Means the same as 'stderr', but also indicates that the assembler
+#       is expected to exit unsuccessfully (therefore PROG, objdump, nm,
+#       and objcopy have no meaning and should not be supplied).
+#
 # Each option may occur at most once.
 #
 # After the option lines come regexp lines.  `run_dump_test' calls
@@ -239,11 +359,12 @@ proc gas_init { args } {
 # regexps in FILE.d.  `regexp_diff' is defined later in this file; see
 # further comments there.
 
-proc run_dump_test { name } {
+proc run_dump_test { name {extra_options {}} } {
     global subdir srcdir
-    global OBJDUMP NM AS OBJCOPY
-    global OBJDUMPFLAGS NMFLAGS ASFLAGS OBJCOPYFLAGS
+    global OBJDUMP NM AS OBJCOPY READELF
+    global OBJDUMPFLAGS NMFLAGS ASFLAGS OBJCOPYFLAGS READELFFLAGS
     global host_triplet
+    global env
 
     if [string match "*/*" $name] {
        set file $name
@@ -261,9 +382,18 @@ proc run_dump_test { name } {
     set opts(objdump) {}
     set opts(nm) {}
     set opts(objcopy) {}
+    set opts(readelf) {}
     set opts(name) {}
     set opts(PROG) {}
     set opts(source) {}
+    set opts(stderr) {}
+    set opts(error) {}
+    set opts(error-output) {}
+    set opts(warning) {}
+    set opts(target) {}
+    set opts(not-target) {}
+    set opts(skip) {}
+    set opts(not-skip) {}
 
     foreach i $opt_array {
        set opt_name [lindex $i 0]
@@ -281,65 +411,212 @@ proc run_dump_test { name } {
        set opts($opt_name) $opt_val
     }
 
-    if {$opts(PROG) != ""} {
-       switch -- $opts(PROG) {
-           objdump
-               { set program objdump }
-           nm
-               { set program nm }
-           objcopy
-               { set program objcopy }
-           default
-               { perror "unrecognized program option $opts(PROG) in $file.d"
-                 unresolved $subdir/$name
-                 return }
+    foreach i $extra_options {
+       set opt_name [lindex $i 0]
+       set opt_val [lindex $i 1]
+       if ![info exists opts($opt_name)] {
+           perror "unknown option $opt_name given in extra_opts"
+           unresolved $subdir/$name
+           return
        }
+       # add extra option to end of existing option, adding space
+       # if necessary.
+       if [string length $opts($opt_name)] {
+           append opts($opt_name) " "
+       }
+       append opts($opt_name) $opt_val
+    }
+
+    if { $opts(name) == "" } {
+       set testname "$subdir/$name"
     } else {
-       # Guess which program to run, by seeing which option was specified.
-       set program ""
-       foreach p {objdump objcopy nm} {
-           if {$opts($p) != ""} {
-               if {$program != ""} {
-                   perror "ambiguous dump program in $file.d"
-                   unresolved $subdir/$name
-                   return
-               } else {
-                   set program $p
+       set testname $opts(name)
+    }
+    verbose "Testing $testname"
+
+    if { (($opts(warning) != "") && ($opts(error) != "")) \
+        || (($opts(warning) != "") && ($opts(stderr) != "")) \
+        || (($opts(error-output) != "") && ($opts(stderr) != "")) \
+        || (($opts(error-output) != "") && ($opts(error) != "")) \
+        || (($opts(error-output) != "") && ($opts(warning) != "")) } {
+       perror "$testname: bad mix of stderr, error-output, error, and warning test-directives"
+       unresolved $testname
+       return
+    }
+    if { $opts(error-output) != "" } then {
+       set opts(stderr) $opts(error-output)
+    }
+
+    set program ""
+    # It's meaningless to require an output-testing method when we
+    # expect an error.
+    if { $opts(error) == "" && $opts(error-output) == "" } {
+       if {$opts(PROG) != ""} {
+           switch -- $opts(PROG) {
+               objdump { set program objdump }
+               nm      { set program nm }
+               objcopy { set program objcopy }
+               readelf { set program readelf }
+               default {
+                   perror "unrecognized program option $opts(PROG) in $file.d"
+                   unresolved $testname
+                   return }
+           }
+       } else {
+           # Guess which program to run, by seeing which option was specified.
+           foreach p {objdump objcopy nm readelf} {
+               if {$opts($p) != ""} {
+                   if {$program != ""} {
+                       perror "ambiguous dump program in $file.d"
+                       unresolved $testname
+                       return
+                   } else {
+                       set program $p
+                   }
                }
            }
        }
-       if {$program == ""} {
+       if { $program == "" && $opts(warning) == "" } {
            perror "dump program unspecified in $file.d"
-           unresolved $subdir/$name
+           unresolved $testname
            return
        }
     }
 
-    set progopts1 $opts($program)
-    eval set progopts \$[string toupper $program]FLAGS
-    eval set binary \$[string toupper $program]
-    if { $opts(name) == "" } {
-       set testname "$subdir/$name"
-    } else {
-       set testname $opts(name)
+    # Handle skipping the test on specified targets.
+    # You can have both skip/not-skip and target/not-target, but you can't
+    # have both skip and not-skip, or target and not-target, in the same file.
+    if { $opts(skip) != "" } then {
+       if { $opts(not-skip) != "" } then {
+           perror "$testname: mixing skip and not-skip directives is invalid"
+           unresolved $testname
+           return
+       }
+       foreach glob $opts(skip) {
+           if {[istarget $glob]} { return }
+       }
+    }
+    if { $opts(not-skip) != "" } then {
+       set skip 1
+       foreach glob $opts(not-skip) {
+           if {[istarget $glob]} { 
+               set skip 0
+               break
+           }
+       }
+       if {$skip} { return }
+    }
+    if { $opts(target) != "" } then {
+       if { $opts(not-target) != "" } then {
+           perror "$testname: mixing target and not-target directives is invalid"
+           unresolved $testname
+           return
+       }
+       set skip 1
+       foreach glob $opts(target) {
+           if {[istarget $glob]} { 
+               set skip 0
+               break
+           }
+       }
+       if {$skip} { 
+           unsupported $testname
+           return 
+       }
+    }
+    if { $opts(not-target) != "" } then {
+       foreach glob $opts(not-target) {
+           if {[istarget $glob]} {
+               unsupported $testname
+               return 
+           }
+       }
     }
 
+
     if { $opts(source) == "" } {
        set sourcefile ${file}.s
     } else {
        set sourcefile $srcdir/$subdir/$opts(source)
     }
 
-    send_log "$AS $ASFLAGS $opts(as) -o dump.o $sourcefile\n"
-    catch "exec $srcdir/lib/run $AS $ASFLAGS $opts(as) -o dump.o $sourcefile" comp_output
+    set cmd "$srcdir/lib/run $AS $ASFLAGS $opts(as) -o dump.o $sourcefile"
+    send_log "$cmd\n"
+    set cmdret [catch "exec $cmd" comp_output]
     set comp_output [prune_warnings $comp_output]
 
-    if ![string match "" $comp_output] then {
+    set expmsg $opts(error)
+    if { $opts(warning) != "" } {
+       set expmsg $opts(warning)
+    }
+    if { $cmdret != 0 || $comp_output != "" || $expmsg != "" } then {
+       # If the executed program writes to stderr and stderr is not
+       # redirected, exec *always* returns failure, regardless of the
+       # program exit code.  Thankfully, we can retrieve the true
+       # return status from a special variable.  Redirection would
+       # cause a tcl-specific message to be appended, and we'd rather
+       # not deal with that if we can help it.
+       global errorCode
+       if { $cmdret != 0 && [lindex $errorCode 0] == "NONE" } {
+           set cmdret 0
+       }
+
+       set exitstat "succeeded"
+       if { $cmdret != 0 } { set exitstat "failed" }
+
        send_log "$comp_output\n"
        verbose "$comp_output" 3
-       fail $testname
+       if { $opts(stderr) == "" }  then {
+           if { [regexp $expmsg $comp_output] \
+                   && (($cmdret == 0) == ($opts(warning) != "")) } {
+               # We have the expected output from gas.
+               # Return if there's nothing more to do.
+               if { $opts(error) != "" || $program == "" } {
+                   pass $testname
+                   return
+               }
+           } else {
+               verbose -log "$exitstat with: <$comp_output>, expected: <$expmsg>"
+
+               fail $testname
+               return
+           }
+       } else {
+           catch {write_file dump.stderr "$comp_output"} write_output
+           if ![string match "" $write_output] then {
+               send_log "error writing dump.stderr: $write_output\n"
+               verbose "error writing dump.stderr: $write_output" 3
+               send_log "$comp_output\n"
+               verbose "$comp_output" 3
+               fail $testname
+               return
+           }
+           set stderrfile $srcdir/$subdir/$opts(stderr)
+           verbose "wrote pruned stderr to dump.stderr" 3
+           if { [regexp_diff "dump.stderr" "$stderrfile"] } then {
+               if { $opts(error) != "" } {
+                   verbose -log "$exitstat with: <$comp_output>, expected: <$opts(error)>"
+                   if [regexp $opts(error) $comp_output] {
+                       pass $testname
+                       return
+                   }
+               }
+               fail $testname
+               verbose "pruned stderr is [file_contents "dump.stderr"]" 2
+               return
+           } elseif { $opts(error-output) != "" } then {
+               pass $testname
+               return
+           }
+       }
+    }
+
+    if { $program == "" } {
        return
     }
+    set progopts1 $opts($program)
+    eval set progopts \$[string toupper $program]FLAGS
+    eval set binary \$[string toupper $program]
 
     if { [which $binary] == 0 } {
        untested $testname
@@ -351,24 +628,28 @@ proc run_dump_test { name } {
 
     # Objcopy, unlike the other two, won't send its output to stdout,
     # so we have to run it specially.
+    set cmd "$binary $progopts $progopts1 dump.o > dump.out"
     if { $program == "objcopy" } {
-       send_log "$binary $progopts $progopts1 dump.o dump.out\n"
-       catch "exec $binary $progopts $progopts1 dump.o dump.out" comp_output
-       set comp_output [prune_warnings $comp_output]
-       if ![string match "" $comp_output] then {
-           send_log "$comp_output\n"
-           fail $testname
-           return
-       }
+       set cmd "$binary $progopts $progopts1 dump.o dump.out"
+    }
+
+    # Ensure consistent sorting of symbols
+    if {[info exists env(LC_ALL)]} {
+       set old_lc_all $env(LC_ALL)
+    }
+    set env(LC_ALL) "C"
+    send_log "$cmd\n"
+    catch "exec $cmd" comp_output
+    if {[info exists old_lc_all]} {
+       set env(LC_ALL) $old_lc_all
     } else {
-       send_log "$binary $progopts $progopts1 dump.o > dump.out\n"
-       catch "exec $binary $progopts $progopts1 dump.o > dump.out" comp_output
-       set comp_output [prune_warnings $comp_output]
-       if ![string match "" $comp_output] then {
-           send_log "$comp_output\n"
-           fail $testname
-           return
-       }
+       unset env(LC_ALL)
+    }
+    set comp_output [prune_warnings $comp_output]
+    if ![string match "" $comp_output] then {
+       send_log "$comp_output\n"
+       fail $testname
+       return
     }
 
     verbose_eval {[file_contents "dump.out"]} 3
@@ -392,15 +673,15 @@ proc slurp_options { file } {
     set ws  {[         ]*}
     set nws {[^        ]*}
     # whitespace is ignored anywhere except within the options list;
-    # option names are alphabetic only
-    set pat "^#${ws}(\[a-zA-Z\]*)$ws:${ws}(.*)$ws\$"
+    # option names are alphabetic plus dash
+    set pat "^#${ws}(\[a-zA-Z-\]*)$ws:${ws}(.*)$ws\$"
     while { [gets $f line] != -1 } {
        set line [string trim $line]
        # Whitespace here is space-tab.
        if [regexp $pat $line xxx opt_name opt_val] {
            # match!
            lappend opt_array [list $opt_name $opt_val]
-       } else {
+       } elseif {![regexp "^#" $line ]} {
            break
        }
     }
@@ -467,14 +748,14 @@ proc regexp_diff { file_1 file_2 } {
     if [file exists $file_1] then {
        set file_a [open $file_1 r]
     } else {
-       warning "$file_1 doesn't exist"
+       perror "$file_1 doesn't exist"
        return 1
     }
 
     if [file exists $file_2] then {
        set file_b [open $file_2 r]
     } else {
-       fail "$file_2 doesn't exist"
+       perror "$file_2 doesn't exist"
        close $file_a
        return 1
     }
@@ -495,6 +776,21 @@ proc regexp_diff { file_1 file_2 } {
                set end_2 1
                set diff_pass 1
                break
+           } elseif [ string match "#..." $line_b ] {
+               if { [gets $file_b line_b] == $eof } {
+                   set end_2 1
+                   set diff_pass 1
+                   break
+               }
+               verbose "looking for \"^$line_b$\"" 3
+               while { ![regexp "^$line_b$" "$line_a"] } {
+                   verbose "skipping    \"$line_a\"" 3
+                   if { [gets $file_a line_a] == $eof } {
+                       set end_1 1
+                       break
+                   }
+               }
+               break
            }
            if { [gets $file_b line_b] == $eof } {
                set end_2 1
@@ -502,9 +798,9 @@ proc regexp_diff { file_1 file_2 } {
            }
        }
 
-        if { $diff_pass } { 
-            break 
-        } elseif { $end_1 && $end_2 } { 
+        if { $diff_pass } {
+            break
+        } elseif { $end_1 && $end_2 } {
             break
         } elseif { $end_1 } {
             send_log "extra regexps in $file_2 starting with \"^$line_b$\"\nEOF from $file_1\n"
@@ -521,8 +817,8 @@ proc regexp_diff { file_1 file_2 } {
             if ![regexp "^$line_b$" "$line_a"] {
                send_log "regexp_diff match failure\n"
                send_log "regexp \"^$line_b$\"\nline   \"$line_a\"\n"
+               verbose "regexp_diff match failure\n" 3
                set differences 1
-                break
             }
         }
     }
@@ -546,6 +842,12 @@ proc file_contents { filename } {
     return $contents
 }
 
+proc write_file { filename contents } {
+    set file [open $filename w]
+    puts $file "$contents"
+    close $file
+}
+
 proc verbose_eval { expr { level 1 } } {
     global verbose
     if $verbose>$level then { eval verbose "$expr" $level }
This page took 0.030802 seconds and 4 git commands to generate.