change the smtpd table protocol

Using imsg for the "proc" table (external programs) has proven quite
painful in practice since a lot of smtpd internals (structs, enums,
etc..) have to be kept in sync with the various tables implementations.

Instead, a filter-like protocol for tables decouples the implementations
and allows to write and test tables easily.

The new text-based transport protocol is documented in the (added)
smtpd-tables(7) manpage.

The old imsg protocol is no longer supported and existing tables have to
be converted.  In particular, users of opensmtpd-extras tables will need
install the new opensmtpd-table-* packages.

With lots of suggestions and improvements from gilles and a tweak
from Philipp (philipp+openbsd [at] bureaucracy [dot] de), thanks!

ok gilles

In Rev 1.296 the update of the siglist was moved to the end of ptsignal().
One atomic_clearbits_int() hiding in SSTOP was missed when converting all
the exceptions that cleared the siglist again. Instead of clearing the bits
the mask needs to be set to 0 so that it is properly ignored.
OK mpi@

sync

install smtpd-tables(7)

sync

remove SSH1 leftovers

Authored with Space Meyer <git at the-space dot agency>

ok djm

vmstat/dkstats.c: remove obfuscatory timerset() macro

Using a macro to perform a plain struct assignment obfuscates the
obvious.  Delete the timerset() macro.

While here, remove some superfluous timerclear(3) calls.

Thread: https://marc.info/?l=openbsd-tech&m=171346446031940&w=2

ok millert@

tty(1): exit with status 2 if unveil(2) or pledge(2) fail

tty(1) returns >1 on error, not 1.

Thread: https://marc.info/?l=openbsd-tech&m=171494082629111&w=2

ok deraadt@ guenther@

Fix function wrapping.

Enable lhash regress.

Guard call to contract() from doall_util_fn().

It is not safe to unconditionally call contract() - when called repeatedly
it will shrink the bucket array to zero and then attempt to access that
allocation on the next call. Use the same guard that is used in
lh_delete().

Issue found when investigating haproxy crashes reported by wizard-it on
GitHub.

ok tb@

Provide initial regress for lhash.

For now, this is very limited and only tests calling lh_doall_arg()
multiple times on an empty linked hash. This process currently triggers
a SIGSEGV, which will be soon fixed.

Add support for Tx checksum offloading to dwqe(4).

Also improve our macros documenting Tx descriptor formats.

Tested:
RK3568: kettenis, jmatthew
Elkhart Lake: stsp

ok kettenis@, jmatthew@

sndiod: Ignore server.device settings to a non-working device

match new Realtek RTL8192EU id; from Kyle Markley

regen

another Realtek RTL8192EU id; from Kyle Markley

expose hardware counters as kstats.

igc(4) counters are read to clear like em(4) counters, so this code
looks very much like em(4) but with less quirks so far.

ok bluhm@ bket@

drm/amdgpu: Fix leak when GPU memory allocation fails

From Mukul Joshi
d7d7284c2a7c67ea5f07eb28d8c2ea0f3ee4b86b in linux-6.6.y/6.6.30
25e9227c6afd200bed6774c866980b8e36d033af in mainline linux

drm/amdgpu: Assign correct bits for SDMA HDP flush

From Lijo Lazar
65356a1cc49657b2fc833489d226053fa601334a in linux-6.6.y/6.6.30
aebd3eb9d3ae017e6260043f6bcace2f5ef60694 in mainline linux

drm/amdgpu/sdma5.2: use legacy HDP flush for SDMA2/3

From Alex Deucher
b33d7aaa2d3d1bef20fd5d9ab0d1776376fc98b6 in linux-6.6.y/6.6.30
9792b7cc18aaa0c2acae6af5d0acf249bcb1ab0d in mainline linux

drm/ttm: stop pooling cached NUMA pages v2

From Christian Koenig
ab65b0cf0324b6dae89cfc9c7d9625e591b24e43 in linux-6.6.y/6.6.30
b6976f323a8687cc0d55bc92c2086fd934324ed5 in mainline linux

mm, treewide: introduce NR_PAGE_ORDERS

From Kirill A. Shutemov
ded1ffea52132e58eaaa7d4ea39477f911796a40 in linux-6.6.y/6.6.30
fd37721803c6e73619108f76ad2e12a9aa5fafaf in mainline linux

drm/amdgpu: fix visible VRAM handling during faults

From Christian Koenig
4c5eaf0cad27a66c4788e0603b9f7a68df83a947 in linux-6.6.y/6.6.30
a6ff969fe9cbf369e3cd0ac54261fec1122682ec in mainline linux

drm/amdgpu: add shared fdinfo stats

From Alex Deucher
f85a55fb87c2ee58e957b9c828aa70306a759d8d in linux-6.6.y/6.6.30
ba1a58d5b907bdf1814f8f57434aebc86233430f in mainline linux

drm: add drm_gem_object_is_shared_for_memory_stats() helper

From Alex Deucher
a4ae24cd04a8e2c1f61586a2e129b1cbd44a78db in linux-6.6.y/6.6.30
b31f5eba32ae8cc28e7cfa5a55ec8670d8c718e2 in mainline linux

add NR_PAGE_ORDERS for 6.6.30 drm

start documenting ioctls

remove unused 0-sized softdep files
ok tb@

Document "ls rogue" exit status.

Stop building with and documenting FFS_SOFTUPDATES.
Code that used it was removed in February.

remove unneeded includes

add upstream change to fix the build
ok tb@ deraadt@

Update awk to the May 4, 2024 version.
Fixes a use-after-free bug with ARGV for "delete ARGV".

dma_free(9) just once in error case

buf is free'd and NULL, don't do it again to avoid a panic.

OK krw

Add TSO capabilites.
Comments, suggestions and testing from bket@, jan@, and bluhm@

remove prototypes for removed functions

remove some unused defines
ok miod@

add -r to "show" command; ok mlarkin

amd64 is guaranteed to have PAT and CLFLUSH; stop testing cpu flags
for them on that arch.

ok jsg@

Remove disgusting NULL checks in tm_to_{gentime,utctime}()

The only caller that could potentially call these with NULL has been fixed.
This way an ugly hack that was needed to plug a memory leak can go away and
the functions again behave as intended without OpenSSL-style workarounds.

ok beck

Intercept a NULL s early in ASN1_TIME_set_string_internal()

If s is NULL, the only thing the tm_to_*() functions do is a check that
a GeneralizedTime has a four digit year (between 0000 and 9999) and a
UTCTime has a year between 1950 and 2050. These checks are already done
in ASN1_TIME_parse() itself: the century is 100 times a two-digit value
(or 19 in the UTCTime case) plus another two-digit value.

ok beck

Simplify type handling in ASN1_TIME_set_string_internal()

ASN1_time_parse() takes a mode argument. If mode != 0, there is a check
that mode is the same as the time type returned by asn1_time_parse_cbs()
otherwise ASN1_time_parse() fails. Therefore the type == mode checks in
ASN1_set_string_internal() are redundant and can be removed.

ok beck

Simplify tm handling in ASN1_time_parse()

The CBS version asn1_time_parse_cbs() handles a NULL tm gracefully, so
there is no need to avoid it by passing a pointer to a tm on the stack.

ok beck

Push solock() down to sosend() and remove it from soreceive() paths fro
unix(4) sockets.

Push solock() deep down to sosend() and remove it from soreceive() paths
for unix(4) sockets.

The transmission of unix(4) sockets already half-unlocked because
connected peer is not locked by solock() during sbappend*() call. Use
`sb_mtx' mutex(9) and `sb_lock' rwlock(9) to protect both `so_snd' and
`so_rcv'.

Since the `so_snd' is protected by `sb_mtx' mutex(9) the re-locking
is not required in uipc_rcvd().

Do direct `so_rcv' dispose and cleanup in sofree(). This sockets is
almost dead and unlinked from everywhere include spliced peer, so
concurrent sotask() thread will just exit. This required to keep locks
order between `i_lock' and `sb_lock'. Also this removes re-locking from
sofree() for all sockets.

SB_OWNLOCK became redundant with SB_MTXLOCK, so remove it. SB_MTXLOCK
was kept because checks against SB_MTXLOCK within sb*() routines are mor
consistent.

Feedback and ok bluhm

aucat.1: Drop the number component of sndio descriptors

ok jmc

sndiod.1: Drop the number component of sndio descriptors

Make qwx(4) call into ifmedia more like iwx(4) does it.

Fixes weird media: lines in ifconfig which show a mix of 802.11 modes
after switching APs, such as:
media: IEEE802.11 autoselect mode 11a (OFDM18 mode 11g)

vmm: merge VMX and SVM vm initialization functions.

They do the same uvmspace/pmap dance, so just reduce to a single
function. Kernel lock is moved to the uvmspace_free call. In addition,
we should be using the pmap mutex in pmap_convert, called by the
vm initialization routine.

ok mlarkin@

witness: Display lock cycles longer than two locks

When a lock order reversal is found, perform a path search in the lock
order graph. This lets witness(4) display lock cycles that are longer
than two locks.

OK mpi@

witness: Make "show witness" display lock subtypes

Display lock subtypes in "show witness" output to reduce ambiguity.

OK mpi@

Add support for Rx checksum offloading to dwqe(4).

Tested by uwe@ and myself on Elkhart Lake, and kettenis@ on RK3566.

Joint work with uwe@
ok kettenis@

sndiod: Fix SIGHUP to reopen the devices in priority order

With this commit, SIGHUP makes sndiod discover new devices and if
there is a new device with higher priority (greater -F option number)
than the current one, sndiod switches to it.  If the current device is
already the one with the highest priority (i.e. last -F), then SIGHUP
does nothing.

Align CRL and CSR version printing with certs

Only print specified 0-based versions and print them with the 1-based
human interpretation. Use a colon and error check the BIO_printf()
calls. (There's a lot more to clean up in here, but that's for another
day).

Notably, X509_CRL_print_ex() is missing... I guess that's better than
having one with signature and semantics differing from X509_print_ex()
und X509_REQ_print_ex().

ok beck

Quick fix previous one. socantrcvmore() should raise assertion if
`so_rcv' has SB_MTXLOCK flag clean, not SB_OWNLOCK.

ok bluhm

unbreak parsing of IPv6 addresses in file-backed table(5)s

The file parser splits the line on the ':' character too for key-value
tables, and so mis-parses IPv6 addresses.  The "::1 localhost" example
in table(5) is actually parsed as key "" and value ":1 localhost".

For list tables, the "# @list" marker can be used as a workaround, but
for key-valued the parser has to be fixed.

There are also some weird edge cases when splitting the lines.

Now the parser always splits on the first whitespace or colon, and then
strips the spaces.  For lines starting with '[' the parser will jump to
the matching ']' before attempting to split.  So, for example:

[::1]:localhost becomes "[::1]" -> "localhost"
[::1] example.org becomes "[::1]" -> "example.org"
foo: bar becomes "foo" -> "bar"
foo::bar becomes "foo" -> ":bar"
foo : bar becomes "foo" -> ": bar"

etc...

This only affects the parser for file table(5)s and makemap(8).  Inline
tables or "proc" tables are unaffected.

ok gilles@

Don't re-lock sockets in uipc_shutdown().

No reason to lock peer. It can't be or became listening socket, both
sockets can't be in the middle of connecting or disconnecting.

ok bluhm

vmctl(8): Add 'vmctl status -r'

The -r option can be used to limit the output of 'vmctl status' to only
running VMs. This is useful for machines that have a large number of
stopped VMs, as the running ones are printed at the top by default and
previously required scrolling back to see the list of running VMs, and/or
using 'grep RUNNING'.

There is no change for users not using -r.

ok dv

Remove a useless OBJ_obj2nid() call from X509_CRL_print()

ok beck (as part of a larger diff)

Pass `sosp' instead of `so' to sblock() when locking `so_snd' within
sosplice().

ok bluhm

Delete extra spaces, change spaces to tab.

No binary change.

remove unneeded includes
ok miod@ mpi@

Add per-CPU caches to the pmemrange allocator.

The caches are used primarily to reduce contention on uvm_lock_fpageq() during
concurrent page faults.  For the moment only uvm_pagealloc() tries to get a
page from the current CPU's cache.  So on some architectures the caches are
also used by the pmap layer.

Each cache is composed of two magazines, design is borrowed from jeff bonwick
vmem's paper and the implementation is similar to the one of pool_cache from
dlg@.  However there is no depot layer and magazines are refilled directly by
the pmemrange allocator.

This version includes splvm()/splx() dances because the buffer cache flips
buffers in interrupt context.  So we have to prevent recursive accesses to
per-CPU magazines.

Tested by naddy@, solene@, krw@, robert@, claudio@ and Laurence Tratt.

ok claudio@, kettenis@

add return statements missed when adapting from FreeBSD

Avoids segfaults with an argument of 0, NaN, or Inf.
Problem reported by Colin Ian King.  ok miod@ kettenis@

Refactor receive offloading code in ix(4)

 - reduce complexcity
 - avoid combination of TCP and UDP IN_OK mbuf annotaions

with tweaks from bluhm
tested by bluhm

ok bluhm@

Push  solock() down to sosend() for SOCK_RAW sockets.

Raw sockets are the simplest inet sockets, so use them to start landing
`sb_mtx' mutex(9) protection for `so_snd' buffer. Now solock() is taken
only around pru_send*(), the rest of sosend() serialized by sblock() and
`sb_mtx'. The unlocked SS_ISCONNECTED check is fine, because
rip{,6}_send() check it. Also, previously the SS_ISCONNECTED could be
lost due to solock() release around following m_getuio().

ok bluhm

Add '\n' to DPRINTF() string that used to be a panic() string.

ok mlarkin@

Make nfstov_mode() return mode_t rather than uint16_t.
This is a no-op since we only care about the low 12 bits in NFS anyway.

ok jsg@ semarie@

Constify NFS data whenever possible. Also make a few more const data static.

ok jsg@ semarie@

Convert all the NFS macros (in nfsm_subs.h) into inline functions with the
appropriate extra arguments.

This (hopefully) completes the unmessyfication work started by thib@ a long,
long time ago (in a galaxy far away).

The conversion logic has been:
- nfsm_dissect has been turned into an rvalue expression, leaving the
  cast operation up to its caller.
- macros which had three different exit paths (return, goto nfsmout or
  fallthrough) have been split so that no macros have more than two exit paths.
- then they have been modified to return a value, which lets the caller
  figure out what exit path is needed.
- local variables abused by the macros are now local variables of the new
  inline functions.

This single commit is the sum of 25 intermediate diffs, which have all been
carefully reviewed by (at least) jsg@ and semarie@.

Tested with v2 and v3 servers and clients.

ok jsg@ semarie@

add typedefs for msgqnum_t and msglen_t, required by POSIX.

improvements from kettenis and jca
ok millert, jca, guenther

Do not cast off_t to u_long in uvm_vnp_setsize call (only misbehaves on 32-bit
platforms.)

ok mpi@

never close stdin

The sanitise_stdfd call makes sure that standard file descriptors are
open (if they were closed, they are connected with /dev/null).

Do not close stdin in any case to prevent error messages when stdin is
read multiple times and to prevent later usage of fd 0 for connections,
e.g.

echo localhost | ssh-keyscan -f - -f -

While at it, make stdin-related error messages nicer.

Authored with Max Kunzelmann <maxdev at posteo dot de>

ok djm

Allow parsing either RFC9557 timestamps (which wants explicit +00:00) or
the existing format (with Z). From espie.

fix home-directory extension implementation, it always returned
the current user's home directory contrary to the spec.

Patch from Jakub Jelen via GHPR477

flush stdout after writing "sftp>" prompt when not using editline.

From Alpine Linux via GHPR480

stricter validation of messaging socket fd number; disallow usage of
stderr. Based on GHPR492 by RealHurrison

add missing reserved fields to key constraint protocol documentation.

from Wiktor Kwapisiewicz via GHPR487

appeard -> appeared;

correctly restore sigprocmask around ppoll()
reported by Tõivo Leedjärv; ok deraadt@

add explict check for server hostkey type against HostkeyAlgorithms.
Allows HostkeyAlgorithms to disable implicit fallback from certificate
keys to plain keys. ok markus@

remove commented DEBUG_TIMER for timer driver removed in 2021

em(4) will work

Turn efi(4/arm64) into MI efi(4), sync with reality;  OK kettenis

plug fd leak introduced in "avoid toctu" rewrite.

Issue reported by job
OK tb, job

vmm & vmd: drop "continue" flag to simplify running a vcpu.

There's no need to distinguish the "first" time running a vcpu from
the subsequent times because vmm(4) uses in-kernel state tracking
the last vm exit reason to optimize the logic for updating vcpu
registers from userland. While here, clean up the DPRINTF's to make
the Intel VMX logic similar to the AMD SVM.

ok mlarkin@

strftime.3: clarify %G and %g description

Clarify that %G and %g produce the rarely needed ISO week-numbering
year rather than the Gregorian calendar year.

With millert@ and Evan Silberman.
Some of the wording is from the upstream version.

ok tb@

install accidentally dropped tput(1) man page again

remove prototypes for removed functions

remove prototypes for removed functions

remove unused armv7 specific find_first_bit()

remove unused intc_intr_bootstrap()

remove unused global vars

remove prototypes for removed functions

remove unused pmap_vp_remove()
ok miod@ kettenis@

drm/amdgpu: remove invalid resource->start check v2

From Christian Koenig
db74904a93a370807001e5fd64b5850a61f2bf65 in linux-6.6.y/6.6.29
ca7c4507ba87e9fc22e0ecfa819c3664b3e8287b in mainline linux

drm/amdkfd: Fix memory leak in create_process failure

From Felix Kuehling
aa02d43367a9adf8c85fb382fea4171fb266c8d0 in linux-6.6.y/6.6.29
18921b205012568b45760753ad3146ddb9e2d4e2 in mainline linux

drm/amdgpu: validate the parameters of bo mapping operations more clearly

From xinhui pan
ef13eeca7c79136bc38e21eb67322c1cbd5c40ee in linux-6.6.y/6.6.29
6fef2d4c00b5b8561ad68dd2b68173f5c6af1e75 in mainline linux

drm/radeon: make -fstrict-flex-arrays=3 happy

From Alex Deucher
259486b5bdc63f648634c30b8284be29834a4125 in linux-6.6.y/6.6.29
0ba753bc7e79e49556e81b0d09b2de1aa558553b in mainline linux

drm/i915/mst: Limit MST+DSC to TGL+

From Ville Syrjala
75170320459ae5bedf73352989b8433880cba20a in linux-6.6.y/6.6.29
51bc63392e96ca45d7be98bc43c180b174ffca09 in mainline linux