merge NSD 4.3.6rc1

import NSD 4.3.6rc1, tested by me and florian@

Push kernel lock down to umb_rtrequest().

We are going to unlock PF_ROUTE sockets. This means `if_rtrequest'
handler will be performed without kernel lock.

umb_rtrequest() calls umb_send_inet_proposal() which touches kernel lock
protected `ipv{4,6}dns' array. Also umb_rtrequest() is the only handler
which requires kernel lock to be held. So push the lock down to
umb_rtrequest() instead of grab it around `if_rtrequest' call.

This hunk was commited separately for decreases PF_ROUTE sockets
unlocking diff.

ok gerhard@ deraadt@

Make build_crls() behave like build_chain(). If there is not auth data
just NULL the STACK_OF() pointer since libcrypto calls can handle that.
Update comments to be more accurate.
With and OK tb@

Do a better job at cleaning up. Remove empty directories, scan not only the
known repositories but also clean up no longer known repositories.
With this rpki-client keeps its cache nice and shiny.
With and OK job@

Add encoding.c to the various build targets

Change search-again with vi keys to work like actual vi(1), also some
other fixes. From Aaron Jensen with help from Anindya Mukherjee.

Move base64 and hex encoding functions into their own place.
OK tb@

Missing commas, from Vipul Kumar.

Use new limits@openssh.com protocol extension to let the client select
good limits based on what the server supports. Split the download and
upload buffer sizes to allow them to be chosen independently.

In practice (and assuming upgraded sftp/sftp-server at each end), this
increases the download buffer 32->64KiB and the upload buffer
32->255KiB.

Patches from Mike Frysinger; ok dtucker@

cannot effectively test posix-rename extension after changes in
feature advertisment.

do not advertise protocol extensions that have been disallowed by
the command-line options (e.g. -p/-P/-R); ok dtucker@

Set 'select_timeout' to 'now' when an OFFER is received for the IP address
requested in the DISCOVER.

i.e. immediately accept the OFFER rather than waiting for select_timeout to
expire before accepting the same OFFER.

A corner case since select-timeout is 0 by default.

Add two missing checks for strdup() returning NULL.

one of the examples needs an -N (and explanation);
diff from robert scheck

discussed with and tweaked by sthen

add --no-motd to SYNOPSIS;

Add option to suppress the Message of the Day

Fine deraadt@

tweak column widths of a .Bl -column table
and avoid an over-long source line while here;
OK martijn@ jmc@

turn log_trace() into a macro to prevent evaluating the format string
parameters when tracing is not enabled.

ok millert@

Update for DTLSv1.2 support.

allow to specify tls protocols and ciphers on relay actions

ok espie@ sthen@ tb@

change the barrier so that fd's are always passed and received with
the first byte of the imsg they belong to.

idea, tweaks and ok claudio@

Remove workarounds for SSL_is_dtls()

Reminded by inoguchi jsing

Remove workaround for missing d2i_DSAPrivateKey_fp prototype

sync

Bump minors after symbol addition

Expose various DTLSv1.2 specific functions and defines

ok bcook inoguchi jsing

Document SSL_set_hostflags(3) and SSL_get0_peername(3)

ok bcook inoguchi jsing

Expose SSL_set_hostflags(3) and SSL_get0_peername(3)

ok bcook inoguchi jsing

Document SSL_use_certificate_chain_file(3)

ok bcook inoguchi jsing

Expose SSL_use_certificate_chain_file(3)

ok bcook inoguchi jsing

Provide missing prototype for d2i_DSAPrivateKey_fp(3)

ok bcook inoguchi jsing

Document EVP_PKEY_new_CMAC_key(3)

ok bcook inoguchi jsing

Provide EVP_PKEY_new_CMAC_key(3)

ok bcook inoguchi jsing

Set the process title for the rpki-client subprocesses so they can be
identified more easily.
OK deraadt@

Fix some debug output when running in foreground.

Call tick_msg() at startup so it knows if the link
is up. Don't emit 'link timeout expired' messages
after the link has been up.

Make ddb's dependency on libz explicit.

OK deraadt@ mpi@

sync

Remove redundant "HUAWEI Mobile" in usbdevs strings, mention radio
technology where known.  ok deraadt

Introduce UAO_USES_SWHASH() and use tabs instead of spaces in #defines.

No functionnal change, reduce the difference with NetBSD.

ok jmatthew@

Do not exit if cannot write to normal log file, GitHub issue 2630.

document trusted_snapshot

fix typos in comments

In HTML output, correctly render .Bd -unfilled in proportionally-spaced
font, rather than with the monospace font appropriate for .Bd -literal.
This fixes a minibug reported by anton@.

Implemented by no longer relying on the typical browser default of
"pre { font-family: monospace }" but instead letting <pre> elements
inherit the font family from their parent, then adding an explicit CSS .Li
class only for those displays where the manual page author requested it
by using the -literal option on the .Bd macro.

Handle systems, such as the Dell Precision 3640, that access
GenericSerialBus operating regions witout checking whether they're really
available.  This needs to work on RAMDISK kernels as well.  Since we
don't want to pull in the i2c subsystem on those, provide a separate
and much simpler dummy implementation of the GenericSerialBus access code
when SMALL_KERNEL is defined.

ok tb@

Register the PCI variant of dwiic(4) with acpi(4).

ok tb@

Make http_new() take care of all the error handling. By closing the
outfd and sending back the failure report via http_fail(). This was
partially done in the failure case of http_resolv() and resulted in
double failure reports in that case.
With and OK tb@, previous version OK deraadt@

Some cards announce support for the NTB16 format, but that support does not
work.  Hence, add support for NTB32 in the transmit path.  We already have
support for NTB32 in the receive path.  We detect the supported format on
boot and can then decide on transmit which format to use.

From ehrhardt@ with gerhard@
Tested by jan@
ok sthen@

Some umb(4) devices require the NDP pointer behind the NDP datagram.

From gerhard@
"broadly OK" sthen@

[ICMP] IP options lead to malformed reply

icmp_send() must update IP header length if IP optaions are appended.
Such packet also has to be dispatched with IP_RAWOUTPUT flags.

Bug reported and fix co-designed by Dominik Schreilechner _at_ siemens _dot_ com

OK bluhm@

Move tx/rx descriptors into their own structs.
This is a first step toward making rge work with multiple queues and interrupts.
Only one queue is currently used.

While here, update the RTL8125B microcode.

ok jmatthew@

Propagate host-side tap(4) lladdr to guest vm process to allow unicast dhcp
and bootp renewals with vmd(8)'s built-in dhcp server. Previous behavior
ignored did not intercept these packets and instead transmitted them.

This should make vmd(8)'s dhcp behave more as a true dhcp server should and
allows it to work properly with the new dhcpleased(8) attempting a renewal.

OK mlarkin@

Install apm(8) and and apmd(8) under MI MANPATH

powerpc64 was lacking manual pages;  instead of shipping yet another
identical MD manual, merge them under MI MANPATH as usual.

Input OK deraadt

whitespace nits

Prepare documenting EVP_PKEY_new_CMAC_key(3)

Based on some text in OpenSSL 1.1.1's EVP_PKEY_new.pod.

Turns out the PCIe DARTs support a full 32-bit device virtual address space.
Adjust the region managed by the extend accordingly but avoid the first
and last page.  The last page collides with the MSI address used by the
PCIe controller and not using the first page helps finding bugs.

ok patrick@

Remove pointless assignment in SSL_get0_alpn_selected().

ok tb@

Avoid transcript initialisation when sending a TLS HelloRequest.

When server side renegotiation is triggered, the TLSv1.2 state machine
sends a HelloRequest before going to ST_SW_FLUSH and ST_OK. In this case
we do not need the transcript and currently hit the sanity check in ST_OK
that ensures the transcript has been freed, breaking server initiated
renegotiation. We do however need the transcript in the DTLS case.

ok tb@

Move finished and peer finished to the handshake struct.

This moves the finish_md and peer_finish_md from the 'tmp' struct to the
handshake struct, renaming to finished and peer_finished in the process.
This also allows the remaining S3I(s) references to be removed from the
TLSv1.3 client and server.

ok inoguchi@ tb@

Add regress coverage for TLSv1.2 record number increment.

Move the TLSv1.2 record number increment into the new record layer.

This adds checks (based on the TLSv1.3 implementation) to ensure that the
TLS/DTLS sequence numbers do not wrap, as required by the respective RFCs.

ok inoguchi@ tb@

Prepare to provide EVP_PKEY_new_CMAC_key()

sebastia ran into this when attempting to update security/hcxtools.
This will be tested via wycheproof.go once the symbol is public.

ok jsing, tested by sebastia

Add a pretty_key_id() which reinserts colons into the hex string.
This way the AKI and SKI printed in the tests tools look the same as before.
Requested by job@, OK job@ tb@

Fix my email address in copyright line

-B option not updated about bird1v4 & bird1v6 files; ok job

combine umb_products and umb_fccauth_devs into one umb_quirks table
ok gerhard@

Cleanly teardown and restore emulated device state on vm send/receive.

This cleans up events on a pause or resume, but also fixes an issue
where the vm_pipe event channels are not properly reinitialized on a
received guest leading to broken serial console.

OK pd@, mlarkin@

Introduce hex_encode() to transform the aki/ski values to a string.
OK tb@

Fix IA32_EPT_VPID_CAP_XO_TRANSLATIONS specification

Per Intel SDM (Vol 3D, App. A.10) bit 0 should be read as a 1 if enabled.

From Adam Steen. ok mlarkin@

Inline x509_get_extensions() and remove it

Since aia, aki and ski are all represented by char *, this is an
error-prone interface - as found by job. The function doesn't do
much anyway.

ok claudio

Pull up freeing cms in gbr_parse() after its last use to avoid a leak
on x509_get_extensions() failure.

Fix suggested by claudio

Check all inet_ntop() calls, in case we screw up the parameters somehow we
prefer a failure rather than some sort of weird truncation
ok claudio

sort includes

Remove accidental but justified annotation

spellings
suggested by jsg

minor KNF and consistancy
(rpki-client is pretty good code, couple hours of audit and I can only find
a few minor things)

improve the naming of some intermediate buffers

3 additional snprintf() range checks (inconceivable these would ever
truncate, but if they do, we prefer to know)
ok job claudio

in unsafe_char(), handle %NN with array-index inspection rather than weird
ptr++
ok claudio

The failure mode of test-tls13-version-negotiation.py has changed.
Update comment.

Since ipw(4) doesn't call into net80211_newstate() the interface link state
must be updated by the driver in order to get packets to flow.

In case of WPA the link state was updated as a side-effect of a successful
WPA handshake. This commit fixes the WEP and plaintext cases.

Problem reported and fix tested by Riccardo Mottola.

Now that the real time and monotonic time streams don't
cross flip CLOCK_REALTIME to CLOCK_MONOTONIC.

Suggested by cheloha@, millert@, otto@ at various
stages in the time_t -> timespec conversion.

Convert remaining timers (lease renew, rebind, expiry) to
timespec values. Translate from the epoch values in leases
to timespec values in one place.

Final step to allow CLOCK_REALTIME -> CLOCK_MONOTONIC time
accounting for the active lease.

Add some restrictions to manifest object profile

OK tb@, feedback from claudio@

Fix duplicate SSL_is_dtls in libssl and apps.c

Currently, SSL_is_dtls exists in both libssl and apps.c,
and one in libssl is guarded by LIBRESSL_INTERNAL and not exposed yet.
This causes portable build broke with openssl(1) and optionstest.
To solve this temporarily, rename SSL_is_dtls by apps.h.
This temporary renaming will be removed when the SSL_is_dtls() is exposed.

ok jsing@

list Dell DW5821e as supported for umb(4)

Add vid/pid table to umb(4) allowing matching to alternate config

Some devices present multiple configurations and the one chosen by default
is not always usable - for example, some have an CDC ECM config that does
not work with our cdce(4) - allow overriding to a specific config in those
cases.

From gerhard@ with tweaks to comments by me, ok patrick@

sync

add pid for Dell DW5821e and HUAWEI ME906s LTE, ok patrick@

Make sure that all CPUs end up with the same bits set in SCTLR_EL1.
Do this by clearing all the bits marked RES0 and set all the bits
marked RES1 for the ARMv8.0.

Any optional features introduced in later revisions of the architecture
(such as PAN) will be enabled after SCTLR_EL1 is initialized.

ok patrick@

Add ARMv8.5 instruction set related CPU features.

ok patrick@

Send arguments in alphabetical order

OK tb@

Enable test-sig-algs-renegotiation-resumption.py.

This test covers various scenarios with renegotiation and session
resumption. In particular it crashes the OpenSSL 1.1.1j server due
to the sigalg NULL deref fixed this week. We need --sig-algs-drop-ok
since we do not currently implement signature_algorithms_cert.

If we want to configure default routes over multiple interfaces we
need to provide the address of the interface behind which the default
router is in case they are on the same subnet otherwise the kernel
can't figure out which route we are talking about
This happens for example when your wifi and wired networks are bridged.
Pointed out by claudio some time ago.

Garbage collect s->internal->type

This variable is used in the legacy stack to decide whether we are
a server or a client. That's what s->server is for...

The new TLSv1.3 stack failed to set s->internal->type, which resulted
in hilarious mishandling of previous_{client,server}_finished. Indeed,
both client and server would first store the client's verify_data in
previous_server_finished and later overwrite it with the server's
verify_data. Consequently, renegotiation has been completely broken
for more than a year. In fact, server side renegotiation was broken
during the 6.5 release cycle. Clearly, no-one uses this.

This commit fixes client side renegotiation and restores the previous
behavior of SSL_get_client_CA_list(). Server side renegotiation will
be fixed in a later commit.

ok jsing

Fix SDMMC_DEBUG build

- Replace undefined SDMMCDEVNAME macro with usual DEVNAME from sdmmcvar.h
- typofix struct member name

Handle dynamic definition of SIGSTKSZ as of glibc 2.34 on Linux.

ok bluhm@, inoguchi@, tb@, deraadt@

The ospf6d manpage states that the daemon laks support for multi area
configurations. Fix the example config to only use one area instead of
two.

Issue brought up and OK danj@
claudio@ doesn't mind

trim the FCS off Ethernet packets before sending them up the stack.

Jurjen Oskam on tech@ found that ure in a veb caused these extra
fcs bytes to be transmitted by other veb members. the extra bytes
aren't a problem usually because our network stack ignores them if
they're present, eg, the ip stack reads an ip packet length and
trims bytes in an mbuf if there's more. bridge(4) masked this problem
because it always parses IP packets going over the bridge and trims
them like the IP stack before pushing them out another port.

veb(4) generally just moves packets around based on the Ethernet
header, by default it doesn't look too deeply into packets, which
is why this issue popped out.

it is more correct for ure to just not pass the fcs bytes up.

ok jmatthew@ kevlo@

Return EOPNOTSUPP for unsupported ioctls

Match what apm(4/macppc) says and make apmd(8) log an approiate warning when
unsupported power actions are requested.

Merge identical cases while here.

This syncs with the apm ioctl handlers on loongson and arm64.