Rewrite RMD-160 tests to be table-driven.

From Joshua Sing

wc(1): accelerate word counting

wc(1) counts a word whenever a whitespace byte is followed by a
non-whitespace byte.  Because the state machine transition occurs
within the space of a single byte we don't need to use getline(3).

Counting words in a big buffer with read(2) is much faster.  The
overhead varies with the length of a line, but for files with 60-100
byte lines, word counting is about twice as fast when we avoid
getline(3).  In the pathological case where each line is a single
byte, word counting is about ten times as fast when we avoid
getline(3).

Link1: https://marc.info/?l=openbsd-tech&m=163715995626532&w=2
Link2: https://marc.info/?l=openbsd-tech&m=165956826103639&w=2

"Seems reasonable." deraadt@

Move mkpath logic after checking for 'noop' to prevent creation of directories in -n mode

OK claudio@

Don't ignore an OpenBSD GPT partition just because the GPT says
it extends beyond the edge of the disk the GPT currently
inhabits. We only care if enough of it is addressable that a
disklabel is accessible.

Brings GPT handling of 'OpenBSD partitions extending too far'
into line with the MBR handling of the same situation.

Fix TSO large receive offloading in ix(4).

Without this diff it might happen that content of different
TCP connection get mixed up, when reading coalesced buffers
from the receive ring.

Thanks, for a lot of testing effort to mbuhl.

OK mbuhl@

Retire the old crap. Thanks, Joshua

Unhook the old md4 and md5 tests

Link new md test to regress.

New md4/md5 regress tests

These exercise MD4 and MD5 with the test vectors from RFCs 1320 and 1321.

From Joshua Sing <joshua () hypera ! dev>

regen

Add two const

Make test tables static const and fix a style nit

Enable apldc(4), apldchidev(4), apldckbd(4) and aplrtk(4) here as well.

add the recvmmsg syscall that allows receiving multiple msghdrs at
once. libc, man page, and regress parts to come.
With input from jca@, guenther@, bluhm@.
OK bluhm@

Move PRU_CONTROL request to (*pru_control)().

The 'proc *' arg is not used for PRU_CONTROL request, so remove it from
pru_control() wrapper.

Split out {tcp,udp}6_usrreqs from {tcp,udp}_usrreqs and use them for
inet6 case.

ok guenther@ bluhm@

Rework the rsync proc code. Use a proper queue of requests and enforce
the limit on that queue instead of stopping to read new messages.
This is needed to implement an abort request.
"There is not enough RB_TREE in this diff" tb@

Reduce differences to amd64.

ok kettenis

Nuke TEMPLATE variable and just do it, like amd64/ramdisk_cd does.

ok deraadt@

Nuke variable partlba that is set but not used.

Relax GTP header validity check by allowing 1 sector size usable
LBA area (gh_lba_start == gh_lba_end) and allowing either or both
of gh_lba_start and gh_lba_end to exceed the size of the disk the
GPT currently inhabits.

Reduces false negatives and inappropriate fall through to MBR
spoofing and allows repair of otherwise valid GPT.

Simplify and clean up the ecdsa test a little. Use stdio instead of BIO
for output, use 'err' as a label and avoid some silly repetitions.

Retire old SHA tests

The old tests were incomplete, some of them had no license and the code
quality was questionable. The new tests by Joshua Sing cover what they
did (and additionally SHA-224 and SHA-384). Many thanks!

Unhook old SHA tests

Add tests for 1 million repeated "a"

From Joshua Sing

sync

drm/i915: Add new ADL-S pci id

From Jose Roberto de Souza
in drm-intel-next

regen

sync Intel ADL-S devices with Mesa git
adds 0x468b, removes 0x4691

Now that boot blocks are able to parse ufs2, there is no need to force ufs1
for the / file system. Brings landisk into the wonderful world of y2k38
compliance.

Add UFS2 support, with libsa for boot and with a specific ufs-and-ufs2-in-one
flavour for xxboot, due to its size constraints.

Add ufs2 to the list of filesystem, for the sake of boot blocks which do not
provide an explicit list of files to build in libsa.

Remove non-_KERNEL code path for division by zero. This will allow the
bootblocks to shrink a little.

Write /etc/resolv.conf in a more atomic manner.

There were few reports were /etc/resolv.conf would lose user-managed
lines, possibly caused by a system crash.

While here add a call to fsync(2) which might also help.

input otto
input & OK deraadt, kn

Get the retguard region's phys address from pmap, instead of using linker
script symbols. This is needed since we don't have those symbols on all
archs where we want hibernate.

ok kettenis, and input and help from miod.

Add softraid(4) RAID 1C boot support

Equivalent of sys/arch/arm64/stand/efiboot/softraid_arm64.c r1.4:
(commitid: Ka484R3swI5xSRWO) "Add softraid(4) RAID 1C boot support".

Tell the boot loader to decrypt 1C like C volumes and check the number of
disks in 1C like in 1C volumes -- no new code rquired.

Tested on T4-2 guest domains
"Looks reasonable" kettenis
OK stsp

NB: While kernel and boot loader support root on softraid on sparc64,
installboot(8) still needs a pending fix for installations on multi-chunk
softraid volumes.  Until then, the usual installation process will fail on
1C volumes and requires manual fixup.

Adopt a terser specification of an MBR partition table of
64 zeros, suggested by miod@ a while ago.

ok mlarkin@

Make newer mime type definitions take precedence over existing ones.

Patch from Ben Fuller <ben -AT- bvnf -DOT- space>,
helped along by florian@
ok florian@ and some mumblings from claudio who does not want okays in httpd.

openpty() family of functions use /dev/ptm PTMGET to open a master+slave fd
pair, and also provides their names.  Internally, 3 NDINIT+namei operations
access /dev/[tp]ty[p-zP-T][0-9a-zA-Z], of these 2 followed unveil restrictions.
I argue if you unveil /dev/ptm, (and not the 372 other nodes), you still want
openpty() to provide you with working fd's, and the names, which the caller
will probably never open manually, because the fd's are given.
So change all NDINIT to use KERNELPATH, bypassing unveil.
ok semarie

The sysORTable doesn't have 10 entries anymore.
Adjust the test for now to -Cr4, which isn't exactly in the spirit of the
test but fixes things for now.

Now that we have agentx I should write a backend with more predictable
output to make regress more stable.

pointed out by anton@

Use a shorter system call invocation template for system calls in the range
0-127, where immediate addressing can be used to load the system call number
in r0, rather than performing a memory load using pc-relative addressing.

No functional change, but rm(1) runs a couple cycles faster per file now.

sk-usbhid: fix key_lookup() on tokens with built-in UV

explicitly test whether the token performs built-in UV (e.g. biometric
tokens) and enable UV in that case. From Pedro Martelletto via GHPR#388

Zap IRR RFC reference for the 'bgpctl irrfilter' command which was deprecated in 6.6

vmm(4): send all port io emulation to userland

Simplify things by sending any io exits from IN/OUT instructions
to userland instead of trying to emulate anything in the kernel.
vmm was sending most pertinent exits to vmd anyways, so this
functionally changes little.

An added benefit is this solves an issue reported by tb@ where i386
OpenBSD guests would probe for a pc keyboard repeatedly and cause
excessive vm exits. (The emulation in vmm was not properly handling
these port reads.)

While here, make the assignment of the VEI_DIR_{IN,OUT} enum values
not assume the underlying integer the compiler may assign.

ok mlarkin@

whitespace

Add forest (-f) mode

In -f mode group & display parent/child process relationships using ASCII art.

Borrows heavily from Brian Somers' work on FreeBSD ps(1).

With input from deraadt@ and tb@

OK benno@ claudio@

ugly whitespace

Move PRU_CONNECT2 request to (*pru_connect2)().

ok bluhm@

sync

change part of entry description for tf from "cat" to "C/A/T";
from josiah frentsos

Fill the gaps for armv7, powerpc64 and riscv64

These still fail early on due to the opendev(3)/diskmap(4) race condition,
so only hook them up after the kernel is fixed.

Note to self: some distrib/${MACHINE}/ramdisk/install.md pass explicit
newfs(8) flags -- this might be needed here;  test once all the relevant
kernel and installboot(8) bugs are squashed and this regress suite can be
run normally.

whitespace

d_bbsize and d_sbsize are entirely absent from the tree.

Rename them d_spare2 and d_spare3.

ok otto@ as part of larger diff

fix unveil(2) in vmctl(8), unix socket needs :w:
ok mestre@ martijn@

Update awk to Aug 30, 2022 version.
Various leaks and use-after-free issues plugged/fixed.

Check sk_SSL_CIPHER_push() return value

CID 24797

ok jsing

Add privilege separation to snmpd.

This uses the just imported snmpd_metrics as a new (agentx-based) backend.
Snmpd(8) executes all files in /usr/libexec/snmpd and treats regions
registered by these binaries as authorative, so that no other agentx
backends can overwrite them. The snmpe process is now pledged
"stdio recvfd inet unix".

This removes quite a few entries from the sysORTable, but the current
entries are non-compliant anyway and should be completely revisisted at a
later time.

Reduces the time for a full walk by about a factor of 4, bringing us close
to the original speed before application.c was introduced.

General design discussed with claudio@
Tested by and OK sthen
Release build test and OK tb@

add checks that unveil() is doing the right thing irt. bind() and connect()

Hook up snmpd_metrics

OK tb@, sthen@

Import snmpd_metrics.

This contains snmpd's mib.c (and friends) adjusted for libagentx.
This standalone binary is to be used by snmpd to achieve privilege
separation.

If people need net-snmpd, but want some of the base snmpd metrics they can
start this binary as a normal daemon and connect to net-snmpd's agentx
socket.

Tested, Feedback, and OK sthen@
Release build test, and OK tb@

Link sha test to regress

Add a nicely licensed, table-driven test for SHA

This tests covers the NIST vectors for SHA-{1,224,256,384,256} and will
soon be able to replace the old SHA tests entirely.

From Joshua Sing <joshua () hypera ! dev>

Drop support for unused attributes 'bs' (d_bbsize) and 'sb'
(d_sbsize).

ok otto@ as part of larger diff

Stop setting d_bbsize and d_sbsize. Nobody has paid
any attention for some time.

ok otto@ as part of larger diff

Nuke comment about not using d_sbsize.

ok otto@ as part of larger diff

d_bbsize and d_sbsize have become write-only fields.

No need to set them or check that they are set.

ok otto@ as part of larger diff

At the moment unveil(2) doesn't check the path for bind(2) or connect(2).
This is about to change and connect(2) will require "w", not "r".

OK deraadt@ florian@ mestre@

Switch the rde_peer hashtable and peer list to a single RB tree.
Only the RDE used a hashtable for lookups while the session engine
switched from a list to RB tree some time ago.
Use peer_foreach() in the mrt code instead of passing the peer list
as an argument.
OK benno@ tb@

This code no longer needs siphash.h and also cleanup some leftover
prototypes and members that were not removed in the previous RB tree
conversions.
OK benno@ tb@

the VNDIOCSET ioctl path handling bypassed the unveil, so root (or .operator)
could read a file outside the space.
ok semarie benno tb

Fix logic bug

USE_SOFTRAID=Yes means the softraid volume itself *does* need to be
formatted.

Delete force CHS remnants here too.

Makes file identical to amd64 version again.

ok mlarkin@

remove exec_makecmds() and exec_runcmds() prototypes
removed from kern_exec.c between NetBSD 0.9 and NetBSD 1.0

Add a new action: "configtest", to check configuration syntax of the daemon.
A few adjustments will be done in the next days (like disabling this action if
there's no specific rc_configtest function defined).

e.g.
/etc/rc.d/sshd configtest
rcctl configtest sshd

idea from naddy@

Do not embed ident(1) strings in object code.
ok daniel@ deraadt@ jca@

remove ppath_destroy() prototype; function was never committed

remove sb_lock() prototype; removed in uipc_socket2.c 1.64

remove unused prototypes from buf.h

bufcache_getanycleanbuf() removed in vfs_bio.c 1.181
buf_acquire_unmapped() removed in vfs_biomem.c 1.22
buf_print() removed in vfs_bio.c 1.47
cluster_write() removed along with vfs_cluster.c in 2016

Don't print device name on failure

Noticed by mistake (wanted `-l'):
# vnconfig l
vnd0
vnconfig: VNDIOCSET: No such file or directory

Same happens if you try to load a bogus file:
# vnconfig ./empty
vnd0
vnconfig: VNDIOCSET: Input/output error

In both cases, the info on stdout is useless as vnd0 is not used.
Defer printing the device until after the file is set up:
# ./obj/vnconfig l
vnconfig: VNDIOCSET: No such file or directory
# ./obj/vnconfig ./empty
vnconfig: VNDIOCSET: Input/output error

OK deraadt

Minor internal target names and spacing tweaks, add dry-toofew test

Add macppc bits, hook up installboot(8) tests on macppc

Default tests (USE_SOFTRAID=No, NDISKS=1) pass except for 'vnd0 ./ofwboot'
as reported on tech@ (fix pending).

ts(1): parse user format string only once

Currently, ts(1) reparses the user format string every time it prints
a timestamp.  This is wasteful.

If we isolate the parsing loop in fmtfmt() and move the rest of the
work into a new function, fmtprint(), we can cut some overhead out
of the hot loop.

We still need to update any microsecond substrings in the parsed
format string every time we print a timestamp.  So during parsing in
fmtfmt() we build a list of pointers to locations in the parsed buffer
where the microsecond substring needs to be copied during fmtprint().

With input from deraadt@.

Link1: https://marc.info/?l=openbsd-tech&m=165769139318084&w=2
Link2: https://marc.info/?l=openbsd-tech&m=165910022501353&w=2

OK job@

Hook up installboot(8) tests on sparc64

Default tests (USE_SOFTRAID=Yes, NDISKS='1 2') pass except for '-r mnt',
as mentioned (fix pending).

USE_SOFTRAID=no and/or NDISKS=1 make '-r mnt' work.

Introduce USE_SOFTRAID to allow testing on vnd(4) directly

This is mostly for architectures which don't have softraid(4) support
in installboot(8), but should also be useful in general to test different
setups and thus increase coverage.

Default to root on softraid on vnd on all architectures that support it:
amd64, arm64, i386 and sparc64;  use root on vnd on others (yet to come).

Compare equality of looked up node using pointers instead of
strings, as the component name provided in the IORT might be
specified in a different way than our ACPI stack would do.

ok kettenis@

Silence cleanup, rename internal setup targets for clarity

Always run prepare

Not all architectures require/implement -p, but installboot(8) provides stubs,
so leave it to the program to (not) do something.

use the posix phrasing to improve the description of "shift";
nudge from luka krmpotic

Add an empty line for consistency.

Move PRU_SENDOOB request to (*pru_sendoob)().

PRU_SENDOOB request always consumes passed `top' and `control' mbufs. To
avoid dummy m_freem(9) handlers for all protocols release passed mbufs
in the pru_sendoob() EOPNOTSUPP error path.

Also fix `control' mbuf(9) leak in the tcp(4) PRU_SENDOOB error path.

ok bluhm@

Replace "newfs_msdos" and "fsck_msdos" with "newfs -t msdos" and "fsck -t
msdos".

Add some missing spaces after "=".

Constify the static strings.

Prodded a while ago by deraadt@, tweaks from kn@, ok kn@

Recommit -r1.45 but without error checking EVP_PKEY_copy_parameters()

EVP_PKEY_copy_parameters() will unconditionally fail if the pkey's ameth
has no copy_params(). Obviously this is indistinguishable from actual
failure...

ok jsing

Support SMMUv3 IORT nodes as well in the midlayers.  This allows IOMMU
mappings to reach a future SMMUv3 implementation.

ok kettenis@, mlarkin@

Rename helper vars/files under obj/

Up-front cleanup for a future diff to run directly on vnd(4) without softraid(4).
No functional change.

Put MD fdisk usage into new FORMAT_DISK, also softraid volume after chunks

Revert r1.46. Causes fireworks in regress.

MSIs on the x13s are routed through both a "normal" SMMU and a "v3" SMMU.
So handle this case in acpipci(4) and kill the hack to disable MSIs.

ok patrick@, mlarkin@, deraadt@

Log copy of /ofwboot

Another step towards more consistent behaviour across platforms.

This leaves only hppa and landisk **not** logging such copies,
but I can't test on those.

OK miod

Denote possible answers in the usual manner

OK miod

Make installboot on landisk aware of a possible MBR on the disk, and in this
case install the first level bootstrap at the beginning of the of the wd0a
filesystem, rather than at the beginning of the disk.

Both locations work but the previous behaviour overwriting an existing MBR
is a violation of POLA.

tweaks & ok krw@

relayd(8): change agentx_getsock to return void

Only has one return value and it's never checked.

ok martijn@, tb@