Provide a harness driving rust-openssl's regress tests

rust-openssl is an integral part of the Rust ecosystem and more than a
dozen ports, including lang/rust itself, depend on it. We need to ensure
that it keeps working with LibreSSL.

If the rust and rust-openssl-tests packages are installed, create a cargo
workspace under obj/ that compiles and runs the rust-openssl regress tests
much like what is done for the openssl-ruby tests. This expands our regress
coverage: for instance, this would have caught the broken ASN.1 indefinite
length encoding caused by asn1/tasn_enc.c r1.25.

Positive feedback beck jsing semarie
Testing and ok anton

Display the correct recipient in a Received: header with one recipient.
If multiple recipients are specified but only one is valid, use the
first entry in the recipient list for the Received: header, not the
value from the last "RCPT TO:" command (which could be invalid).
From Chris Waddey

Exclude /tmp/*.shm files from /tmp cleaning in daily(8); removing them
interferes with programs using shm_open(3) which uses them as backing
files.

Problem pointed out by jeremy@ in relation to PostgreSQL.
Suggestion/ok tb@.

Drop support for $rcexec; people should now use the rc_exec function.

prodded by jsg@

Remove unused setfd member from struct audio_hw_if

All consumers now use C99 struct init and none of them sets `.setfd'.

OK ratchov miod

Use C99 struct init for struct audio_hw_if

This audio(9) struct will lose a member, but drivers init their struct quite
inconsistently, most pre-C99 style.

Use C99 style everywhere, to get rid of all annoying differences and allow
for easy member removals/additions:
- don't change current order of members
- no explicit NULL members
- no comments or blank lines
- trailing comma in last member line

GENERIC.MP builds fine with this on arm64, amd64, i386 and sparc64.

macppc and alpha build-tested by miod
OK ratchov miod

Replace "newfs/fsck_ext2fs" with "newfs/msdos -t ext2fs", constify

OK miod

Document sigaltstack restrictions on OpenBSD.
mandoc suggestions & help from jmc

Remove audio(9) setfd() stub

necsb(4/luna88k) is the only driver that "implements" it... through EIO.

Remove it so setfd can be removed from struct audio_hw_if.

Prodded by ratchov
OK aoyama

Constify global tables only used in lookups, OK ratchov

Get rid of useless/confusing subshell

Other function, same stuff like r1.1210 except here there `>/dev/null 2>&1'
hammer is required to silence the ls(1) test.

The make_dev() call is no longer silenced now but does not print on stdout
anyway;  if making the device fails we'd like to know.

Otherwise if probing the disk fails it continues to be silenced.

(cvs diff -w -U1)
|@@ -2311,3 +2311,2 @@ is_rootdisk() {
|
|- (
|  make_dev $_d
|@@ -2322,6 +2321,6 @@ is_rootdisk() {
|  umount /mnt
|- fi
|+ fi >/dev/null 2>&1
|  rm -f /dev/{r,}$_d?
|+
|  return $_rc
|- ) >/dev/null 2>&1
| }

OK halex

Constify audio_hw_if struct

The only driver with a non-const audio(9) struct.

OK gnezdo

Constify string tables

Each only used one for a printf() call in *_attach().
Seen while tweaking their *_hw_if struct.

OK gnezdo ratchov

Add support for the DS1339 RTC, like found on the PiJuice.

From Michal Mynar -- Thanks!

ok deraadt@

No longer match on "apple,cluster-cpufreq" compatible string.

ok miod@, kn@

Remove references to four definitions that tb@ deleted in x509.h rev. 1.89
on Jan 10, 2022: X509_EX_V_INIT X509_EX_V_NETSCAPE_HACK
X509_EXT_PACK_STRING X509_EXT_PACK_UNKNOWN.

Mark BN_set_params and BN_get_params as deprecated, unused,
and intentionally undocumented.

Copy port to proxyport since the sting may point into memory that is
freed.

Should fix https://github.com/rpki-client/rpki-client-portable/issues/74
Reported by Ben Castricum
OK tb@

Switch from up/down time to time of last change.

Having metrics depend on session state makes reporting more complex.
This now reports the number of seconds a session was up or down.
OK tb@

Initalize last_updown in init_peer() so that it is reported correctly
for peers that never managed to establish a connection.
OK tb@

Add definitions for runtime services related to EFI variables and system
reset.

ok krw@

Fix some spelling errors

Thanks Marco D'Itri for spotting them

OK claudio@

Remove unused AUDIO_PROP_{MMAP,INDEPENDENT}

AUDIO_PROP_FULLDUPLEX is the only audio(9) in use, the other two died with
commit 1cf2860827c8ca659d8097d8da94a5ae5b888c53
Author: ratchov <ratchov@openbsd.org>
Date:   Thu Jun 25 06:43:45 2015 +0000

Reimplement the audio driver in a simpler way, removing unused/unusable
functionality. Same API and ABI except for the removed bits and no
behaviour change for programs using libsndio. With help from armani@
and mpi@, thanks.

but remained defined and set in drivers.

and the following merely moved them when they were dead code already:

commit 9215aa3dfad387bca877a805534df6dcfe8722eb
Author: ratchov <ratchov@openbsd.org>
Date:   Wed Aug 31 07:22:43 2016 +0000

    Delete unused ioctls and associated macros. Move macros that are still
    used internally by low-level drivers from sys/audioio.h to
    dev/audio_if.h instead of deleting them.

None of this is used in base or ports;  codesearch.debian.net only shows
AUDIO_PROP_{CAPTURE,PLAYBACK} in firefox-esr, mozjs and cubeb.

ratchov points out that audio_if.h and audioio.h are private interfaces
and the codesearch shows SunOS and NetBSD bits (#ifdef'd out on OpenBSD).

OK ratchov

Document and report mpii(4) RAID 1E as such

At least the built-in controller on sparc64 T4-2 machines supports 1E from
which OpenBSD boots just fine, but bioctl(8) reports it as RAID 10:

mpii0 at pci15 dev 0 function 0 "Symbios Logic SAS2008" rev 0x03: msi
mpii0: Solana On-Board, firmware 9.0.0.0 IR, MPI 2.0
scsibus1 at mpii0: 834 targets
sd0 at scsibus1 targ 0 lun 0: <LSI, Logical Volume, 3000> naa.600508e0000000006cd1dcd59022a30a
sd0: 713824MB, 512 bytes/sector, 1461911552 sectors
root on sd0a (efde5b2c6ab7b8ac.a) swap on sd0b dump on sd0b

# bioctl mpii0
Volume      Status               Size Device
    mpii0 0 Online       748498714112 sd0     RAID10
  0 Online       500107861504 0:2.0   noencl <ATA CT500MX500SSD1>
  1 Online       500107861504 0:1.0   noencl <ATA CT500MX500SSD1>
  2 Online       500107861504 0:0.0   noencl <ATA CT500MX500SSD1>

mpii(4) simply munged 1E into 10.
Report it as 0x1E just like softraid(4) RAID 1C is 0x1C internally:

# ./obj/bioctl mpii0 | grep RAID
    mpii0 0 Online       748498714112 sd0     RAID1E

OK jsing

Hoist common Volume, Status, Size and Device columns in format strings

Only the RAID level itself with level specific values in the end differs.

OK jsing

Implement uncached mappings on the StarFive JH7100 SoC, where the hardware
provides allows bypassing the L2 cache by using a physical address alias.

ok miod@

Convert more drivers to use todr_attach().  The quality of the RTC is
set such that "discrete" RTC chips are preferred over RTCs integrated on
a SoC.

ok deraadt@, miod@

Store errors that result from leaf certificate verification.

In the case that a verification callback is installed that tells the
verifier to continue when a certificate is invalid (e.g. expired),
any error resulting from the leaf certificate verification is not stored
and made available post verification, resulting in an incorrect error being
returned.

Also perform leaf certificate verification prior to adding the chain, which
avoids a potential memory leak (as noted by tb@).

Issue reported by Ilya Shipitsin, who encountered haproxy regress failures.

ok tb@

Fix "map" OpenFirmware call.  It does not return a value according to the
IEEE 1275 specification.  This should fix booting on machines that would
fail with something like:

OF_map_phys(3fe44000,8192,fed58000,-1) failed
no space for symbol table
Program terminated

Based on a diff provided by Harald Gutch (hgutch@netbsd).  Also see
NetBSD PR#56829.

There were (and still are) some questions about whether this diff breaks
the blade1.5k. However the failure in question might have been hardware
related and subsequent testing of the equivalent kernel diff (which
was just committed) was successful.  So committing this in the hope it
sticks to ease testing.

ok miod@

Fix "map" OpenFirmware call.  It does not return a value according to the
IEEE 1275 specification.

Based on a diff provided by Harald Gutch (hgutch@netbsd).  Also see
NetBSD PR#56829.

ok miod@

Revise expire callback regress to use chains with expired certificates.

Rather than using X509_STORE_CTX_set_time() (which is resulting all
certificates in the chain being treated as expired), use chains that have
an expired leaf or expired intermediate. This triggers a different code
path, which is currently mishandled (and hence failing).

Also ensure that the resulting error and error depth match what we expect
them to be.

Ensure that verification results in the expected error and error depth.

Improve verification regress and ensure that the legacy or modern
verification completes with the expected error and error depth.

Avoid potential divide by zero in BIO_dump_indent_cb()

Passing an indent value of 67 results in DUMP_WIDTH_LESS_IDENT returning a
value of zero, which is promptly used for division. Likewise, passing a
value larger than 67 results in a negative value being returned.

Prevent this by limiting indent to 64 (which matches OpenSSL's current
behaviour), as well as ensuring that dump_width is > 0.

Should fix oss-fuzz #52464 and #52467.

ok miod@ tb@

Unbreak ASN.1 indefinite length encoding.

In r1.25 of tasn_enc.c a check was added to ensure that asn1_ex_i2c()
returned the same value on both calls, however in the ndef case the len
variable gets changed between calls. Keep a copy of the original value to
test against.

Issue reported by niklas, who encountered a test failure in rust-openssl.

ok miod@ tb@

SHOW_METRICS for the actions enum. Just to match the rest.

Document /metrics endpoint and use bgpctl show metrics as command.
OK tb@

Use metrics as the command name and document show metrics.
OK tb@

Change pru_abort() return type to the type of void and make pru_abort()
optional.

We have no interest on pru_abort() return value. We call it only from
soabort() which is dummy pru_abort() wrapper and has no return value.

Only the connection oriented sockets need to implement (*pru_abort)()
handler. Such sockets are tcp(4) and unix(4) sockets, so remove existing
code for all others, it doesn't called.

ok guenther@

Add /metrics endpoint which outputs stats in openmetrics format.

This uses `bgpctl show metric` to produce the payload.
OK tb@

Implement openmetric output via bgpctl show metric command

This adds most of the generic code to output the metrics with labels
and implements some basic metrics. The code works but metrics may still
change.

OK tb@

Preserve marked pane when renumbering windows.

Improve the clickpad/touchpad detection in hidmt.

If the HID descriptors don't provide a HUD_BUTTON_TYPE property, hidmt
should treat all devices as clickpads if they report a "clickpad button",
or don't report to have both a left and right external button.

Fix a bug in the initialization mechanism of wsmouse.

The CONFIGURED flag, which indicates that first-time initialization
has been completed, must be set immediately after the first call to
wstpad_configure.  Otherwise, passing touchpad parameters to the
initialization function has no effect for some of them.

Rather than marking MAP_STACK on entries for sigaltstack() [2 days ago],
go back to the old approach: using a new anon mapping because it removes
any potential gadgetry pre-placed in the region (by making it zero).  But
also bring in a few more validation checks beyond contigious mapping -- it
must not be a syscall region, and the protection must be precisely RW.
This does allow sigaltstack() to shoot zero'd MAP_STACK non-immutable regions
into the main stack area (which will soon be immutable).  I am not sure we
can keep reinforce immutable on the region after we do stack (like maybe
determine this while doing the validation entry walk?)
Sadly, continued support for sigaltstack() does require selecting the guessed
best compromise.
ok kettenis

Rather than marking MAP_STACK on entries for sigaltstack() [2 days ago],
go back to the old approach: using a new anon mapping because it removes
any potential gadgetry pre-placed in the region (by making it zero).  But
also bring in a few more validation checks beyond contigious mapping -- it
must not be a syscall region, and the protection must be precisely RW.
This does allow sigaltstack() to shoot zero'd MAP_STACK non-immutable regions
into the main stack area (which will soon be immutable).  I am not sure we
can keep reinforce immutable on the region after we do stack (like maybe
determine this while doing the validation entry walk?)
Sadly, continued support for sigaltstack() does require selecting the guessed
best compromise.
ok kettenis

Add the guts for EFI runtime services support on amd64.  This will be used
in the future to implement support for things like EFI variables.

ok krw@ (a few others ok'ed earlier incarnations of this diff)

don't use | operator where || was intended
ok gnezdo@ kn@ martijn@

Add new failing read/signal test

^C does not abort `read < /dev/zero', instead it read(2)s indefinitely,
one null byte at a time;  bash and ksh93 from ports abort as expected.

Use the new timeout(1) $PROG trick to send ^C after 0.1s, but also
rely on it's -k for the final SIGKILL to stop the busy-looping process.

./th's `time-limit: 1' prints "test timed out (limit of 1 seconds)" but
leaves the process running.

Add new trap/errexit/signal test simulating interactive usage

First try add capturing use cases like the bin/ksh/main.c r1.52 one:
"[...] we would not run the signal trap if,
for example, ^C was pressed and -e was set."

With so many different factors (errexit?, receiving (special) signals,
traps themselves failing/returing non-zero, running child processes?, etc.)
it is very easy to miss subtle behaviour changes during scripting...

move/rename usr1 test to new signal block, tweak other name

Always pass the test program as PROG env var, fix synopsis

The ./th perl script always runs -p prog (KSH in Makefile) as the shell,
but cannot signal it other than the optional SIGKILL after `time-limit'.

Implementing time-related signal handling in ./th seems overkill, so always
pass the program as PROG in the environment so it can wrap itself, e.g.
description:
simluate interrupting a script
stdin:
timeout --signal SIGINT --preserve-status -- 1s $PROG -c '
actual test script getting ^C after one second...
'

Avoiding hard-coded programs in tests with PROG allows testing different
shells through `make KSH=/path/to/sh' without changing or adding shell
specific tests.

While here, make -p and -s as mandatory in usage as ./th `die's if they're
not passed (allowing to always just pass -p's argument as PROG).

Leave installurl handling to syspatch(8)

When upgrading to releases, the installer fills rc.firsttime(8) with
a syspatch(8) snippet possibly displaying available patches.

That snippet itself checks for a release version as well as an existent
installurl(5) file as a precondition for syspatch, see the diff below.

syspatch, however, has code to fallback to cdn.o.o without a valid URL:

286 _MIRROR=$(while read _line; do _line=${_line%%#*}; [[ -n ${_line} ]] &&
287 print -r -- "${_line}"; done </etc/installurl | tail -1) 2>/dev/null
288 [[ ${_MIRROR} == @(file|ftp|http|https)://* ]] ||
289 _MIRROR=https://cdn.openbsd.org/pub/OpenBSD
290 _MIRROR="${_MIRROR}/syspatch/${_KERNV[0]}/$(machine)"

Furthermore, the installer actively sets a working URL if needed, in the
same finish_up() function shortly before placing the syspatch snippet:

2842 # Create /etc/installurl if it does not yet exist.
2843 if [[ ! -f /mnt/etc/installurl ]]; then
2844 echo "${INSTALL_URL:-https://cdn.openbsd.org/pub/OpenBSD}" \
2845 >/mnt/etc/installurl
2846 fi

So one of the following is true for installurl:
1. exists but has no valid URL, then syspatch falls back to cdn.o.o
2. exists and has a  valid URL, then syspatch uses that
3. does not exist so the installer creates it with cdn.o.o, see 2.

In the unlikely case that the install/upgrade finishes, i.e. installurl
does exist, but gets removed or truncated before rc.firsttime runs, the
existing check would actually prevent syspatch from running even though
it copes with such files.

So just remove the useless check.

OK aja

Change function definitions using the identifier-list form used in the
1st edition of Kernighan and Ritchie's The C Programming Language, to
that of the parameter-type-list form described in the ANSI X3.159-1989
standard.

In ISO/IEC 9899:2023 drafts, there is only one form of function definition.
"N2432 Remove support for function definitions with identifier lists".

ok kettenis@

Convert remaining I2C RTC drivers to use todr_attach().
These all get a quality of 1000 since these are supposed to be battery
backed and almost certainly what the hardware designers want us to use.

ok mglocker@, jsg@

replace ewprintf("") calls with eerase(): no functional difference.

ok florian@

fix comments wrt. pending ksh fixes

.Oc -> .Op in previous;

ansi

Do not throw away errno.

Pointed out in the pref64 code, which was copied from here, by kn.

Implement RFC 8781 PREF64 router advertisement option.

With this clients can learn the presence and used prefix for Network
Address and Protocol Translation between IPv6 and IPv4 (NAT64).

Apparently there is support in mobile devices as well as in macOS.

This option, together with the the dhcp "IPv6-only preferred"
option (108) enables the Customer-side transLATor (CLAT) on macOS so
IPv4 literals can be used in IPv6-only networks.

Input & OK kn

ansi

typo in comment: Funtion -> Function

ansi

ansi

remove one of the debug messages

During the MAP_STACK introduction in 2018, sigaltstack() became a
problem because haphazard use could shoot holes in the address space
(changing permissions, providing opportunities for pivoting, etc). I
tried to write a diff to convert the address space correctly but did
not understand enough about map entries, so instead we mapped new
memory over top of the existing object.  Placing a new mapping becomes
unfeasible with the upcoming mimmutable model, so here is code that
adds MAP_STACK to the region.  It will only do so for a contigiously
mapped region that is non-syscall with permission RW, otherwise it
returns an error.
Food for thought: If we know the object isn't service by an object,
we should consider zero'ing the region, to block pre-pivot placement?
ok kettenis

add two new errexit/trap tests, tweak wording

both pass in bash and ksh93 from ports.
our ksh fails for now, so mark them as expected fail.

sync

add two new errexit/trap tests

both behave the same with our ksh, bash and ksh93 from ports.

space required between macro and punctuation;
while here, wrap long line;

Pass boot device information from bootloader to kernel.

This brings the default root device is the same one of the kernel
specified by bootloader, rather than NVRAM setting, like other
architectures.

"looks good to me" miod@, tested on LUNA-88K2 and nono (LUNA-88K
capable emulator) by me.

Update to 2022egtz from https://github.com/JodaOrg/global-tz
Major changes:
 o Jordan and Syria switch from +02/+03 with DST to year-round +03.

Add RCS markers

Revert kn's Makefile surgery. It no longer does what it was supposed
to do and I'm still not clear what it was supposed to fix.

Fix botched D_SUNCYLCHECK+D_VENDOR check from r1.321.

D_VENDOR lives in d_flags, not d_secpercyl.

Makes resizing a partition more likely to respect cylinder rounding
on sparc64.

Add an agentx_retry call.
If a session, agentcaps, region, index, or object doesn't properly open
because of an error returned by the AgentX master it remained closed until
a reconnect. This new function call walks the tree and tries to reopen
everything in a closed state.

OK sthen@

Don't call agentx_reset on errors returned by the AgentX 
There is no reason to assume that a reset of the connection and a retry
will solve the problem and could cause reconnect loops.

Found while playing with context in vmd in combination with snmpd(8)
instead of net-snmpd.

OK sthen@

No point in luna88k setting D_VENDOR since all actual uses are
inside #ifdef SUN_CYLCHECK or #ifdef SUN_AAT0 blocks in
disklabel(8), neither of which are defined for luna88k.

ok miod@

Document missing cases of variable substitution

Feedback OK op

add configtest

OK florian

add configtest

OK florian

Error out if the out secret wasn't properly initialized

Calling HKDF_expand() with a length of 0 happens to succeed due to a quirk
in the API inherited from BoringSSL.  This hides caller-side errors during
development.  Error out to catch such mistakes early on.

ok jsing

remove the unsightly plural from Nd:
audio files manipulation tool -> audio file manipulation tool

some macro fixes, mostly Cm -> Ic;
from josiah frentsos

The HTTP endpoint used for the redirect chain started to unconditionally
respond with the HTTP protocol in the response location header although
HTTPS is being used in the corresponding request. Flag the test as
expected to fail for now.

put the malloc_readonly struct into the "openbsd.mutable" section, so
that the kernel and ld.so will know not to mark it immutable.  malloc
handles the read/write transitions by itself.

controm terminql -> controlling terminal;

Properly implement disestablishing LPI interrupts.  Fixes a crash when using
virtio(4) in combination with agintc(4).

ok jsg@, patrick@

use correct type with sizeof
ok djm@

Add (minimal) support for the RK3568 PCIe controller.  This relies on
the firmware to do most of the hardware initialization; the driver
basically only sets up the address translation unit to match the
configuration specified in the device tree.

ok patrick@

Make comment match the code.

Since rnd.c r1.127, there is only one stirring polynomial.

Implement support for MBIs.  MBIs are message based interrupts that can be
used as an alternative implementation for MSIs on hardware that doesn't
implement an ITS (or where the ITS is broken such as on the Rochchip
RK3566 SoC).

Based on an earlier WIP diff from patrick@; I just cleaned it up a bit.

ok patrick@

Add client certificate authentication and optional SASL EXTERNAL bind,
which allows the client to bind as the subject of the certificate in cases
where the directory doesn't implicitly do that.

The client certificate is configured with 'certfile' and 'keyfile'
directives, and SASL EXTERNAL bind is configured with the 'bindext'
directive.

ok tb@

All of ROA, MFT, ASPA, and RSC define their respective 'version' field
in ASN.1 as following: "version [0] INTEGER DEFAULT 0,". Each object
profile preamble contains "DEFINITIONS EXPLICIT TAGS ::=".

We didn't bump into any issue yet, because all Signed Objects are at
version 0, which means the field is entirely omitted (including the tag,
be it implicit or explicit). (From X.690 section 11.5: "The encoding of
a set value or a sequence value shall not include an encoding for any
component value which is equal to its default value.")

OK tb@

Nuke D_BADSECT and disktab's 'sf'.

DEC standard 144 bad sector information is no longer a thing. As
evidenced by bad144(8) moving to the attic 16 years ago.

ok miod@, who points out that badsect(8) is now the nail sticking
out.

Extend struct todr_chip_handle with a todr_quality member.  This allows us
to assign a quality to RTC implementation and pick the "best" RTC if a
system has multiple RTCs (or multiple interfaces to an RTC).  This allows
us to prefer a battery-backed I2C RTC over an RTC that is part of the SoC
which is only running of the SoC is powered.  It also allows us to
work around issues with firmware RTC interfaces that may lie to us or
even crash the system.

This change makes sure the todr_quality member of the struct is always
initialized.  In most cases the quality will be set to zero; further
adjustments of the quality for specific subsystems/architectures will follow.

ok cheloha@, patrick@

avoid use after free in error paths
ok miod@ martijn@

use correct type with sizeof
ok miod@ kettenis@

use correct type with sizeof
ok miod@ claudio@ tb@

Remove powerpc left-overs

There since the powerpc -> macppc move/rename.

KERN_AS   usage disappeared in
commit 5b7db11d478192c5908038bb1345e7d51cc35c8e
Author: rahnds <rahnds@openbsd.org>
Date:   Mon May 5 16:47:15 1997 +0000

only build one version of the libraries.

REAL_VIRT usage disappeared in
commit 08e027d6bb9ca863bfc44a1aa6957ff3a242e2f4
Author: rahnds <rahnds@openbsd.org>
Date:   Thu Apr 27 12:36:29 2000 +0000

Fixes to xcoff bootloader to allow it to execute and load kernels for OpenBSD.

Make agrees that these are defined but not used:

$ make -p            | grep -e KERN_AS -e REAL_VIRT
KERN_AS          = library
REAL_VIRT        = -v
$ make -C ofwboot -p | grep -e KERN_AS -e REAL_VIRT
KERN_AS          = library
REAL_VIRT        = -v

No object change.
Feedback OK miod

Fix -Wreturn-type

OK miod