change route-to so it sends packets to IPs instead of interfaces.

this is a significant (and breaking) reworking of the policy based
routing that pf can do. the intention is to make it as easy as
nat/rdr to use, and more robust when it's operating.

the main reasons for this change are:

- route-to, reply-to, and dup-to do not work with pfsync

 this is because the information about where to route-to is stored in
 rules, and it is hard to have a ruleset synced between firewalls,
 and impossible to have them synced 100% of the time.

- i can make my boxes panic in certain situations using route-to

 yeah...

- the configuration and syntax for route-to rules are confusing.

 the argument to route-to and co is an interace name with an optional
 ip address. there are several problems with this. one is that people
 tend to think about routing as sending packets to peers by their
 address, not by the interface they're reachable on. another is that
 we currently have no way to synchronise interface topology information
 between firewalls, so using an interface to say where packets go
 means we can't do failover of these states with pfsync. another
 is that a change in routing topology means a host may become
 reachable over a different interface. tying routing policy to
 interfaces gets in the way of failover and load balancing.

this change does the following:

- stores the route info in the state instead of the pf rule

 this allows route-to to keep working when the ruleset changes, and
 allows route-to info to be sent over pfsync. there's enough spare bits
 in pfsync messages that the protocol doesnt break.

 the caveat is that route-to becomes tied to pass rules that create
 state, like rdr-to and nat-to.

- the argument to route-to etc is a destination ip address

 it's not limited to a next-hop address (thought a next-hop can be a
 destination address). this allows for the failover and load balancing
 referred to above.

- deprecates the address@interface host syntax in pfctl

 because routing is done entirely by IPs, the interface is derived from
 the route lookup, not pf. any attempt to use the @interface syntax
 will fail now in all contexts.

there's enthusiasm from proctor@ jmatthew@ and others
ok sashan@ bluhm@

more strictly enforce KEX state-machine by banning packet types
once they are received. Fixes memleak caused by duplicate
SSH2_MSG_KEX_DH_GEX_REQUEST (spotted by portable OpenSSH kex_fuzz
via oss-fuzz #30078).

ok markus@

Spacing.

Ignore addresses that are not 0/32 (dynamic) in ikev2_cp_fixaddr()
instead of throwing an error.  Fixes a bug where flows without
'dynamic' were skipped when 'config/request address' is used.

ok patrick@

Don't leak flows if ikev2_cp_fixflow() fails.

ok patrick@

Make progress when stepping through rdns proposals even when skipping
localhost.

turns out STDOUT may have been redirected, in which case tcgetpgrp will
return -1, in which case we never need to suppress output.

noticed by Mark Patruck

replace fgetln(3) with getline(3) in fdisk

ok millert@

replace fgetln(3) with getline(3) in sed

Partly from Johann Oskarsson for Illumos/FreeBSD.
ok millert@

fix mistaken operator precedence in a pointer dereference in disklabel

ok millert@

Add basic support for BCM4378 as found on the Apple M1 SoCs.  There's a
little bit more to do though before it can be enabled.

regen

Add Broadcom BCM4378.

Set linesize returned by getline to zero when freeing and NULLing the
returned string.  OpenBSD's getline handles this just fine, but some
implementations used by -portable do not.  ok djm@

last pieces of satisfying -fno-common

Don't print an empty line at the end of `route sourceaddr`

ok denis

satisfy -fno-common

Remove duplicate hvmd decleration

Already declared "extern" in ldomctl.h;  required for "-fno-common".
OK kettenis

Move global domain declaration to parse.y

This is the only object that uses it;  required for "-fno-common".
OK kettenis

Add dhclient.conf back to list of "installed network configuration
files during upgrade".

Mistakenly removed during dhclient.conf cleanup of r1.1050.

Make editing GPT easier/safer by defaulting offet to beginning of largest
free space and preventing the creation of overlapping partitions.

Prompted & tested by landry@

Add AMAP flag description.

OK deraadt@

Remove ACOMPAT.

OK deraadt@

document that sizes in fdisk can be input and printed in terabytes

Abstract octeon board handling a little

Detect octeon board model in one place, and replace firmware-supplied
board_type with an abstract model identifier in driver code. This makes
it easier to manage with different products, and board flavours, that
happen to use the same model information, such as board_type.

satisfy -fno-common

do not print to STDOUT if we're in background, as requested by Theo
who pointed at ssh code for process group handling. Thanks

I'm such a doofus, of course I have to call base method as well

missing word in comment

switch ProgressMeter to clearer API

rework API slightly, so that handle_continue is an explicit method
(to be overrideen by subclasses when needed)

Re-try to open DNSSEC trust anchor file if /var is not mounted yet.
This is a step towards starting unwind earlier, before the network is
up and partitions are mounted.
OK kn

for now, do not try to install quirks in case we're running "not"
the better thing to do would be to pseudo-install it under /tmp so we
can run it, but it requires way more changes

Fix delay parsing by stealing from strtonum and returning a proper error to
the user when an invalid value is entered instead of silently falling back
to the default 5s.

While here I also capped the upper limit to UINT32_MAX / 1000000 to prevent
useconds_t overflow. This hard limits us to 4294s, instead of the current
soft limit which just make systat go berserk if you go over it.

Reported and original diff by Nick Gasson nick <at> nickg <dot> me <dot> uk

OK cheloha@
Tweaks and OK bluhm@

add a SK_DUMMY_INTEGRATE define that allows the dummy security key
middleware to be directly linked; useful for writing fuzzers, etc.

Add proper padding for pfkey messages. Use ROUNDUP() for auth and
enc keys.

ok patrick@

Some libunbound configuration changes can change the quality of a
resolver so we have to schedule a re-check.
OK kn

Don't filter by address family on the route socket.
While here also set SOCK_NONBLOCK on the frontend routesock.

update remaining usb.org URLs

update usb.org URLs

update some usb.org URLs following reorganisation, add a new one for upd
partly from Alessandro Ricci

Adjust for disabling gcc on macppc.

Stop building gcc on macppc.

ok cwen@, deraadt@

repair declerations to satisfy -fno-common
ok kettenis

be more forceful about FULLPKGPATH

Don't rely on USB interfaces being at compliant indices.

When obtaining an interface handle, we currently rely on the device being
properly USB compliant, and thus the interface being at the correct index in
the interfaces array.

However, some devices present their indices incorrectly. For example, the
following audio device exposes interfaces 0, 1 and 3, in that order (skipping
interface 2 entirely):

uaudio2 at uhub4 port 4 configuration 1 interface 3 "E+ Corp. DAC Audio" rev 1.10/0.01 addr 2
uaudio2: class v1, full-speed, async, channels: 2 play, 0 rec, 3 ctls

This means that that the audio stream interface (number 3) is not found at the
expected index of 2, and this causes looking up the handle to fail.

This change makes usbd_device2interface_handle() search for the right
interface, instead of assuming it will be at the right index. Although this is
a little slower, note that this routine not very frequently called and there
are typically not hundreds of interfaces on a typical USB device.

This fixes the above E+ Corp device, and one other uaudio device reported
broken by a user.

With input from, tested by, and OK ratchov@, mglocker@ and kettenis@.

Many thanks!

Make audio clients use struct opt to reach the device

No behavior change. This decreases the number of explicit references
to the dev structure

Make control clients use struct opt to reach the device

No behavior change. This decreases the number of explicit references
to the dev structure.

Rename ctlslot->mask to ctlslot->self to match the rest of the code

No binary change.

Order opt_list in opt_new() call order, limit items to OPT_NMAX

No behavior change, except for improved debug printfs.

Move the options list out of the device structure

No behavior change. Later this will ease applying the configuration of
one device to another by "just" swapping pointers.

Move the control client state out of the device structure

No behavior change. Later this will ease changing the controlled
device by "just" swapping pointers.

Move the audio clients state out of the device structure

No behavior change. Later this will ease moving clients from one
device to another by "just" swapping pointers.

Use NULL instead of 0 to clear v_socket pointer (which actually clears all
of the v_un pointers).
OK jsg@ mvs@

Adjust regress test, the hash argument to the parse functions was removed.

A while ago rpki-client was changed to validate the sha256 hashes of
files referenced in MFT files during the validation of the MFT file.
An MFT is only valid if all files are present and their hashes are valid.
Because of this there is no longer the need to check the hash when
these files are parsed later on. Remove these checks for CRT, ROA and CRL
files. Use the presence of the pkey when parsing cert files to decide
if it is a root cert or not.
OK tb@

Trim output overwritten by later text or clears completely rather than
only in a few cases. This means we can better track when a line should
wrap. GitHub issue 2537.

recognise Cortex-A78C

fix the values of enum sock_type

give typedef'd struct a struct name; makes the fuzzer I'm writing a bit
easier

Whitespace.

Remove print_{debug,verbose} since they're currently unused and I see no
reason to start using them in the future.

OK tb@

bridge(4): convert ifunit() to if_unit(9)

ok bluhm@ sashan@

trunk(4): convert ifunit to if_unit(9)

ok bluhm@

Add '$' to ober_scanf_elements().
This allows us to enforce end of sequence/set without having to manually
check be_next for NULL.

No lib bump needed according to millert@
OK millert@ rob@

bios_memmap[] should not be a common
ok kettenis

Remove direct assignment of aead_ctx.

Now that AEAD is handled internally, we should no longer be assigning
aead_ctx directly, as this will result in a leak. Missed during the
previous change.

Add ldap(1) to the SEE ALSO section.  OK deraadt@

Again allow COPTS= to come from the environment again, and don't lose the
SMALL_KERNEL specific variations.
ok espie jsg

tpm(4): fix delay units

tpm(4) has timeout constants in milliseconds, e.g.

#define TPM_ACCESS_TMO 2000 /* 2sec */

This is fine.

The odd thing is that tpm(4) first converts these timeouts to counts
of ticks via tpm_tmotohz() before using DELAY() to busy-wait.  DELAY()
takes a count of microseconds, which are not equivalent to ticks, so
the units are all screwed up.

Let's correct this:

- Remove tpm_tmotohz().  We're not working with ticks so we don't it.

- Multiply the timeouts to match the delay interval.  tpm_request_locality()
  and tpm_getburst() use intervals of 10 microseconds, so multiply the
  millisecond timeouts by 100.  In tpm_waitfor() the delay interval is 1
  microsecond, so multiply the millisecond timeout by 1000.

- Update the parameter name in tpm_waitfor() to note that we expect a
  count of milliseconds, not "tries".

Discussion: https://marc.info/?l=openbsd-tech&m=160995671326406&w=2

Prompted by kettenis@.

Suspend/resume tested by florian@ on an X1 Gen 2.  For the record, it
looks like this:

tpm0 at acpi0 TPM_ addr 0xfed40000/0x5000, device 0x0000104a rev 0x4e

Earlier versions of this patch were reviewed by kn@, but the patch
became more ambitious when kettenis@ got involved so those reviews
are no longer applicable.

jcs@ notes (https://marc.info/?l=openbsd-tech&m=160834427630142&w=2)
in a related discussion that this driver "sucks" and should be
replaced with NetBSD's rewrite.  This would get us a cleaner driver
with TPM 2.0 support.  So there is future work to do here.

ok kettenis@

Move AEAD handling into the new TLSv1.2 record layer.

ok tb@

Show when witness(4) has run out of lock order data entries.

This makes it clearer why lock order traces are sometimes not displayed.

Prompted by a question from, and OK anton@

Drop tcp_trace() from SMALL_KERNEL builds to make room on amd64 floppy

OK deraadt@

Be consistent in not using parameter names for function prototypes;
I've missed two more cases in the previous commit.

When an audio device is disconnected, drop MIDI clients controlling it

Dont attempt to drain disconnected clients

Clients are always drained before they disconnect, so this change
affects programs that die unexpectedly or loose thier network
connection.

Besides the bad style, this change fixes a theoretical bug when the
disconnected client slot could be recycled and given to another client
while it's being drained

In slot_xxx(), store dev pointer in local variable

This removes many redundant dereferences to obtain the dev pointer
from the slot stucture and makes the source slightly more readable.
No behavior change.

Use everywhere the same pattern to handle fractional clock ticks

No behavior change; this change is only to make the maths easier to
proofread

Make slot_{attach,detach}() the opposite of each other

No bahavior change. Now, slot_attach() moves slot's clock forward and
puts the slot on device list; slot_detach() does the opposite: remove
from device list and move clock backwards. This will allow to detach a
client and attach it later in exactly the same state.

Drop unused dev_nctl() function and few unused prototypes

handle "once" rules before letting pfsync defer tx of a packet.

pfsync may want to defer the transmission of a packet. it does this so
it can try and get a state over to a peer firewall before a host may
send a reply to the peer, which would get dropped cos there's no
matching state.

i think the once rule processing should happen before that. the state
is created from the rule, whether the packet the state is for goes out
immediately or not shouldn't matter.

ok sashan@

A new resolver can be created while we currently run a check with the
old configuration. We will then request another check that runs in
parallel to the old check. If the new check finishes earlier, the
current check result will be overwritten by an outdated check result
which is likely wrong.
While here fix some whitespace.
OK phessler

Rename bNumInterface to bNumInterfaces to fix build on arm64.

Extern dwarf2_loc_mark_labels. Fixes compiation with -fno-common.

ok deraadt@

Explicitly enable -fcommon, rather than untangle common symbols.

ok deraadt@

Extern privsep_process. Fixes compilation with -fno-common.

ok deraadt@

Extern transport_list. Fixed compilation with -fno-common.

ok deraadt@

if the route resolved in pf_route is invalid, generate an icmp error.

of course this is limited to the !dup-to case.

ok sashan@ bluhm@

fix leak: was double allocating kex->session_id buffer

update comment, SMALL was split into SMALL and NOSSL

Unveil ldapd. Follow recent precedent and elect to forego the unlinking of
some objects at shutdown thereby allowing for a tighter unveil.

Feedbackup from deraadt@ and martijn@.

OK deraadt@

remove bogus key hack now that it's handled by libtls

no objection claudio@
ok tb@ jsing@

wrap an overlong line

sync

Link SSL_get_finished.3 to build.

Write SSL_get_finished() documentation from scratch.

ok beck

Merge SSL_set_hostflags documentation from OpenSSL 1.1.1i and
add HISTORY section.  This is currently ignored input next to
SSL_get0_peername() and will be unignored once the symbols are
made publicly visible in libssl.

The usb configuration descriptor parameter providing the number of
available device interfaces is called 'bNumInterfaces'.

ok phessler@, thfr@ (who provided the man page diff)

Promote nrules/maxrules to size_t and make sure they can't overflow.
reallocarray(3) will fail if nmemb * size would overflow.
OK tb@ martijn@

mark up fixes; from lyndon