vmm(4): allocate reference for vm and vcpu SLISTs

Mischa Peters reported a performance regression in 7.2 when hosting
numerous guests under vmm(4). While iterating through the list of
vms during servicing an ioctl, vmm was triggering excessive wakeup
calls due to hitting zero refcnt.

Much guidance from dlg@ and testing from Mischa. OK mlarkin@.

regen after /dev/pf? cleanup (only /dev/pf exists)

Document that OPENSSL_free() is required in some circumstances

BoringSSL uses the common trick of storing malloc metadata in a prefix
and then returning a pointer with an offset. Therefore callers must not
call free() but OPENSSL_free().

Reported by dropk1ck via tobhe

ok beck jsing

There is only one pf(4); OK sashan

Enable IPv4, TCP, and UDP checksum offloading, and VLAN HW tagging
for em 82575, 82576, i350, and i210.

Additional testing by Hrvoje Popovski
OK dlg@

move pfsync_state_import in if_pfsync.c to pf_state_import in pf.c

this is straightening the deck chairs. the state import and export
code are used by both the pf ioctls and pfsync, but the export code
is in pf.c and the import code is in if_pfsync. if pfsync was
disabled then the ioctl stuff wouldnt link.

moving the import code to pf.c makes it more symmetrical(?) and
robust.

tweaks and ok from kn@ sashan@

Add regress for Ed25519.

From tb@

Enable Ed25519 internal to libcrypto.

Based on a diff from tb@

Add FDT-based attachment for qciic(4).

ok kettenis@

Add FDT-based attachment for qcgpio(4).

ok kettenis@

Remove useless ancient files.

ok beck@ tb@

Replace existing Blowfish regress tests

ok tb@ jsing@

Next to signedObject only allow rpkiNotify accessMethods

Instead of ignoring all non-signedObject accessMethods, we can be stricter
and only allow rpkiNotify (for now) and error on anything else. Also make
sure we properly clean up behind ourselves on error.

With and ok job

make /dev/pf a clonable device.

this provides a 1:1 relationship of pfopen() calls to pfclose()
calls. in turn, this makes it a lot easier to track stuff allocated
by a process and then clean it up if that process goes away
unexpectedly. the unique dev_t provided by the cloning machinery
gives us a good identifier to track this state with too.

discussed with h2k22
ok sashan@
deraadt@ agrees this is a good time to put this in

Change character drawing depth when 'pseudo' framebuffer depth is changed.

Tested on LUNA-88K2 with 4bpp/8bpp framebuffer by me.

add arch to Dt;

Enable time_conversion regress tests

Add a bunch of regression tests for time conversion.

This regression tests time conversion across various
limits, leap seconds, and daylight transistions.
gmtime_r, localtime_r, timegm, and mktime are
tested against themselves and expected outputs.

It requires the "posix" and "right" zoneinfo to be
installed on the test running machine in order to
access testable time zones. If those are not present
the test is skipped successfully with a warning.

Don't leak args.fspec in create_filesystem().

ok kn@

qcdwusb(4)

Disable smmu(4) for Qualcomm SC8280XP on FDT attachment like we already do
on ACPI.

ok kettenis@

Add glue for the USB3 controller on the Lenovo x13s.

ok kettenis@

While the Qualcomm GENI isn't just a simplebus(4), as one can e.g. select
between DMA or FIFO mode for the i2c/serial devices, we can treat it as one
for now.

ok kettenis@

TEXTREL binaries are loaded without immutable on un-writeable sections.
After text relocations are finished, these regions (in the binary) can become
immutable.
OPENBSD_MUTABLE section always overlaps writeable LOADs, so don't be afraid
of that case, it's covered.

Fix typo in comment about pledges (send -> sendfd).

No functional change.

Make EFI runtime calls more robust on arm64 as well.  While I have not seen
any broken implementations yet, Linux developers claim that arm64 machines
intended to run Windows are not much better than x86 machines.  And I
totally believe that.

ok patrick@

ld.so wants to make it's own RELRO immutable, which is obviously done
right after it does mprotect PROT_READ.

Library RELRO sections are excluded from the immutable list, because ld.so
tweaks them quite late.  _dl_relro() is called when that work is done, and
the final mprotect PROT_READ happens.  Then we can make mark it immutable.
ok kettenis

When loading startup libraries, pass DF_1_NODELETE to indicate these are
unloadable libraries.  This allows us make consider making parts of those
libraries immutable (in future commits)
ok guenther kettenis

Fix out-of-order string operations resulting in a wrongly calculated
string size that could lead to a buffer overflow in ikev2_print_id().

Found by and fix from dropk1ck on github (issue #90)
ok patrick@ mbuhl@

Use installboot -p; OK visa

Document LOGDIR on its own since it's not a bsd.port.mk variable.

ok espie

When a TEXTREL binary is loaded, non-writeable LOADs are not made immutable
because a loader may want to perform text relocations wrapped inside
mprotect permission flips.  So static TEXTREL binaries need to perform
this operation themselves, at this fairly late point.
ok kettenis

typo: wlll -> will

Reintroduce snippet describing startup behaviour to where it belongs. ok jmc@

remove the remnants of the old -s option, which was left stranded with poor,
innocent -n;

noticed by indivc on misc@

- escape a macro in an Rs/Re block: groff appears to think it is callable
- while here, sort NAME

Fix kernel build without IPSEC option.

ok deraadt@

Add mount_nfs(8) to fetch sets over NFS

bsd.rd and miniroot72.img fit, boot and install over NFS with this.

OK deraadt

Add regress coverage for TLS exporters.

clockintr(9): initial commit

clockintr(9) is a machine-independent clock interrupt scheduler.  It
emulates most of what the machine-dependent clock interrupt code is
doing on every platform.  Every CPU has a work schedule based on the
system uptime clock.  For now, every CPU has a hardclock(9) and a
statclock().  If schedhz is set, every CPU has a schedclock(), too.

This commit only contains the MI pieces.  All code is conditionally
compiled with __HAVE_CLOCKINTR.  This commit changes no behavior yet.

At a high level, clockintr(9) is configured and used as follows:

1. During boot, the primary CPU calls clockintr_init(9).  Global state
   is initialized.
2. Primary CPU calls clockintr_cpu_init(9).  Local, per-CPU state is
   initialized.  An "intrclock" struct may be installed, too.
3. Secondary CPUs call clockintr_cpu_init(9) to initialize their
   local state.
4. All CPUs repeatedly call clockintr_dispatch(9) from the MD clock
   interrupt handler.  The CPUs complete work and rearm their local
   interrupt clock, if any, during the dispatch.
5. Repeat step (4) until the system shuts down, suspends, or hibernates.
6. During resume, the primary CPU calls inittodr(9) and advances the
   system uptime.
7. Go to step (2).  This time around, clockintr_cpu_init(9) also
   advances the work schedule on the calling CPU to skip events that
   expired during suspend.  This prevents a "thundering herd" of
   useless work during the first clock interrupt.

In the long term, we need an MI clock interrupt scheduler in order to
(1) provide control over the clock interrupt to MI subsystems like
timeout(9) and dt(4) to improve their accuracy, (2) provide drivers
like acpicpu(4) a means for slowing or stopping the clock interrupt on
idle CPUs to conserve power, and (3) reduce the amount of duplicated
code in the MD clock interrupt code.

Before we can do any of that, though, we need to switch every platform
over to using clockintr(9) and do some cleanup.

Prompted by "the vmm(4) time bug," among other problems, and a
discussion at a2k19 on the subject.  Lots of design input from
kettenis@.  Early versions reviewed by kettenis@ and mlarkin@.
Platform-specific help and testing from kettenis@, gkoehler@,
mlarkin@, miod@, aoyama@, visa@, and dv@.  Babysitting and spiritual
guidance from mlarkin@ and kettenis@.

Link: https://marc.info/?l=openbsd-tech&m=166697497302283&w=2
ok kettenis@ mlarkin@

Bump version number so that it's easier to see if the running version has
the bugfixes in.

ok kettenis@

Not every device tree we're getting passed has an /aliases or /chosen node,
but our code assumes so.  It's useful to have them, so create them if they
do not exist.

ok kettenis@

Activate the device tree we just loaded from disk.  While this doesn't fix
any current bug, it might catch issues in the future.

ok kettenis@

Make sure fdt_find_node() returns NULL if it can't find the requested node.

ok kettenis@

The /var/run/ld.so.hints file is mapped into memory.  It is never replaced,
so the mapping can be immutable.
ok kettenis

teach ld.so how to call the mimmutable() system call
ok kettenis

powerpc64: TimeBase: add userspace timecounting support

Tested by gkoehler@.

ok gkoehler@

"need root privileges" is an error, print it on stderr"

Print full path in usage; OK jmc

Fix missing variable declaration in regress, thanks Anton Lindqvist for the report

For textrel binaries, skipping immutability on text segments is not enough:
It needs to be all non-writeable segments, which really means rodata.
crt0 and ld.so will need to call mimmutable() later on these regions.
ok kettenis

match on Intel 500 Series HD Audio (0x43c8)

on a Lenovo ThinkPad P1 Gen 4, the audio device is subclass audio not
hd audio, so azalia does not match

reported by John Browning
ok kettenis@ thfr@

Do not fail on non-rsync URIs in EE cert SIA extensions

The spec allows multiple accessMethod entries, ordered by preference.
While an rsync URI must be present, others are allowed. Do not fail
in that situation and pick the first rsync URI encountered. The logic
is very similar to the one in x509_get_crl().

ok job

In very verbose mode, log unexpected accessMethods

While RFC 6487, 4.8.2.2 is very explicit about allowing id-ad-signedObject
as the only accessMethod, the clear language was lost during the RFC 8182
editing process. APNIC, TWNIC and JPNIC and a few others are currently
known to have an id-ad-rpkiNotify. The verbose logging allows us to check
the ecosystem while waiting for the point in time where we can turn this
into an error. See also https://www.rfc-editor.org/errata/eid7239.

ok job

Format filemode output in a tabular fashion to improve readability

OK tb@ claudio@

EFI firmware has bugs which may mean that calling EFI runtime services will
fault because it does memory accesses outside of the regions it told us to
map.  Try to mitigate this by installing a fault handler (using the
pcb_onfault mechanism) and bail out using longjmp(9) if we encounter a
page fault while executing an EFI runtime services call.

Since some firmware bugs result in us executing code that isn't mapped,
make kpageflttrap() handle execution faults as well as data faults.

ok guenther@

allow "=" to be "hey only the default value" for pkgspec in dependencies
to be used later once it's in snaps.

Add missing field initializer.

ok claudio

In ktrace execve(2) no longer shows meaningless exit code.
Change regex for kdump output to execve JUSTRETURN.
from anton@

whitespace

Extend l3vpn test to insert and remove a route

Also add some scaffolding for IPv6 testing but currently IPv6 is broken
because mpe(4) is unable to configure a local IPv6 address.

Catch bad characters in rpkiManifest filenames earlier on

This improves the hard-to-read error:

rpki-client: .rrdp/59B96A4C078FDCEDBB776D5BE8DF45EAC0149157547270EA7D4647A76611E145/rpki-rsync.us-east-2.amazonaws.com/volume/220c3ec2-ccf9-4b8a-bf61-fd4d1e151271/LAXNBPgDnLLjagP8++RFIoaMCGo.mft: RFC 6487 section 4.8.6: CRL: bad CRL distribution point extension
rpki-client: rpki-rsync.us-east-2.amazonaws.com/volume/220c3ec2-ccf9-4b8a-bf61-fd4d1e151271/LAXNBPgDnLLjagP8++RFIoaMCGo.mft: no valid mft available

to:

rpki-client: rpki.ripe.net/repository/DEFAULT/ZMvVW3ZpjFaCVe2TtDEqMlyFk3E.cer: SIA: rpkiManifest filename contains invalid characters

OK tb@

Don't show CPS URIs when in filemode

OK tb@

Check the SIA signedObject in ROA/MFT/ASPA/TAK/GBR EE certificates

Unfortunately we can't yet error out when accessMethods other than
signedObject are encountered in the SubjectInformationAccess extension
because there is pollution in the ecosystem.

OK tb@

Assert the VM map lock is held in function used by mmap/mprotect/munmap.

Also grab the lock in uvm_map_teardown() and uvm_map_deallocate() to
satisfy the assertions.  Grabbing the lock there shouldn't be strictly
necessary, because no other reference to the map should exist when the
reaper is holding it, but it doesn't hurt and makes our life easier.

Inputs & tests from Ivo van der Sangen, tb@, gnezdo@, kn@

kettenis@ and tb@ agree with the direction, ok kn@

Unescape the string for the literal operator (l:) so special characters
work.

riscv64 pmap: flush memory writes before remote sfence.vma

As pointed out by the RISC-V privileged spec.  Sadly this is not enough
to solve all existing userland or kernel crashes seen on Unmatched (and
possibly other?) machines.

ok kettenis@

Zap unused variable

ok kettenis@

replace recently-added valid_domain() check for hostnames going to
known_hosts with a more relaxed check for bad characters; previous
commit broke address literals. Reported by/feedback from florian@

When decoding a sequence/set, make sure that:
- We don't create an uninitialized element when there are no subelements to
  decode
- If subelements overflow we return EINVAL

While here fix an eyesore of a line continuation.

OK claudio@

don't needlessy uppercase Nd;

Enable smbios0 on arm64 RAMDISK so the code mitigating crashes on the x13s
gets correct info from hw.version.

Add an abolute minimal test for L3VPNs. Right now not linked since there
is a bug in the kroute code preventing the VPN route to be added properly.

Constrain KeyUsage and ExtendedKeyUsage on both CA & EE certificates

RFC 6487 section 4.8.4 restricts the KeyUsage extension on EE
certificates to only be digitalSignature.

RFC 6487 section 4.8.5 forbids the ExtendedKeyUsage extension from
appearing on CA certificates. However, this may change in the future
through the standardisation process.

OK tb@

If there are no buffers, reset mode as soon as any key pressed. Fixes
crash reported by Gaoyang Zhang in GitHub issue 3373.

Add a -l flag to display-message to disable format expansion, from Aaron
Jensen. GitHub issue 3372.

Style: always use *retval and never retval[0] in syscalls,
to reflect that retval is just a single return value.

ok miod@

Make scdebug_ret() behave like ktrsysret(), showing the off_t value
for lseek() and a single register_t value for all others.

ok miod@

shorten Autonomous System Provider Authorizations

Add notion of ASPA

Permit only keyCertSign and CRLSign in CA KeyUsage extension

OK tb@

Emit warnings when unexpected X.509v3 extensions are encountered

OK tb@

Introduce conn_info() which combines http_info() and ip_info() to output
both the host/uri and IP address of a connection.

Adjust http_connect() error handling to make sure conn->res is set to the
last address when hitting the error condition after the loop.
OK tb@

Add regress for Signed TAL (.tak) files

Reference RSC RFC-to-be instead of internet-draft

Add support for draft-ietf-sidrops-signed-tal-12

Add support validation of Signed Objects containing Trust Anchor Keys
(TAKs - aka 'Signed TALs'). Signed TALs provide a mechanism for RIRs
to distribute and sign the next Trust Anchor with the current Trust
Anchor. This might be an improvement over visiting RIR websites and
copy+pasting TAL data by hand.

OK tb@

Don't free the addrinfo array after connect and refactor http_finish_connect.

In http_connect_done() the addrinfo array was freed but this makes it
impossible to show the IP address of the connection in log messages.
Also refactor http_finish_connect() to call http_connect_failed() instead
of doing the same inline.
OK tb@

Length check URI before strncasecmp()

A priori URI is not NUL terminated, so we should first check it is long
enough before comparing it against proto. As a side effect, this now
rejects "https://" and "rsync://", which are invalid due to the missing
host in the authority section.

ok claudio

Also print IP address of the connection that timed out to aid debugging

OK claudio@

Remove audio(9) speaker_ctl(), let open() handle speakers where needed

Only five legacy half-duplex hardware drivers require this function to
change between playing and recording:
i386: ess(4), gus(4), pas(4), sb(4)
luna88k: nec86(4)

If defined, it is always called early in audio_open(), so just move the
call from audio(4) to each hardware driver's open() handler.

SPKR_ON/OFF remain defined to leave driver-specific code unchanged.

Further cleanup (unchecked speaker_ctl() return values,
FWRITE -> AUMODE_PLAY -> SPKR_ON dances, etc.) can happen later.

Builds fine on i386.
OK ratchov

Fix x509_get_time() error checks

Like most x509_* functions, x509_get_time() returns 0/1 on error/success,
not -1/0.

ok claudio job

Instead of always setting the extended flag, set it only when searching.
Allows send-keys to work. From Aaron Jensen.

Clean up more ancient history: since 2015 the libc stubs for
fork/vfork/__tfork haven't cared about the second return register.
So, stop setting retval[1] in kern_fork.c and stop setting the
second return register in the MD child_return() routines.

With the above, we have no multi-register return values on LP64,
so stop touching that register in the trapframe on those archs.

testing miod@ and aoyama@
ok miod@

Do not neuter __attribute__ with __STRICT_ANSI__

This broke readline support in newer Pythons and generally seems a
bad idea.  Upstream have removed this conditional in 5.0.

ok millert

Have -S actually behave like the other introspection options, namely only
eschew building the package is -n is mentionned.

Document that -S -n is heavily optimized for speed since it's mostly used
by dpb -R to figure out what to rebuild.

fix a logic error from 2018: be silent if any of -S, -n, -q are mentioned.

The actual bug reverted in 1.128 was from "make print-plist-libs"
which would invoke pkg_create -n -Q  and filter out the libs: but
in that case, pkg_create would not be silent, thus yielding
    reading plist|-/usr/local/lib/libpython3.9.so.0.0
to filter, which obviously wouldn't work.

So, turn on silent mode for -Q as well.

Use todr_attach().

ok phessler@

Use unsigned long long to store integer value. At least that can always
be printed with %llu unlike uint64_t.

On endOfMibView reset OID back to the original requested OID as per RFC3416
section 4.2.2, instead of returning the (internal) current OID, which could
happen on empty tables.

Found and diff tested by Ryan Freeman (ryan <at> slipgate <dot> org)
OK sthen@