More accurately describe the DNS proposal sources and reaction by resolvd.
with jmc

fairly significant rewrite, including:
replace poll+kevent with kevent only.
lockfile to block starting of 2nd instance.
remove state file, and recognize '# resolvd: ' lines as state
handle DNS proposal withdraws better
Still a work in progress.
tested and looked at by semarie, benno, florian, dlg

We need to track the pid of the connecting control connection to be
able to send answers back to the correct client in case two are
connecting at the same time. We also need to pass the pid around to
the resolver process so that it can hand it back to us.
Debugged by deraadt and dlg who noticed that answers would always
arrive on the first control connection.

deraadt@ points out that tracking the pid is not the best choice in
case one process wants to hold open two connections but at least this
brings us in line with all the other privsep daemons with control
tools. If we change this we should change it in all daemons.

Import resold(8), a daemon to rewrite resolv.conf.
prodding deraadt

Fix comment explaining last_untrusted. This should really be called
num_untrusted, but unfortunately it's public...

ok jsing tobhe

Make the new validator check for EXFLAG_CRITICAL

As should be obvious from the name and the comment in x509_vfy.h
int last_untrusted;     /* index of last untrusted cert */
last_untrusted actually counts the number of untrusted certs at the
bottom of the chain.

Unfortunately, an earlier fix introducing x509_verify_set_xsc_chain()
assumed that last_untrusted actually meant the index of the last
untrusted cert in the chain, resulting in an off-by-one, which in turn
led to x509_vfy_check_chain_extension() skipping the check for the
EXFLAG_CRITICAL flag.

A second bug in x509_verify_set_xsc_chain() assumed that it is always
called with a trusted root, which is not necessarily the case anymore.
Address this with a temporary fix which will have to be revisited once
we will allow chains with more than one trusted cert.

Reported with a test case by tobhe.

ok jsing tobhe

Complete deleting ifi->active before calling write_lease_db().

No functional change but a bit more obvious and shrinks upcoming diff.

No need to get time() twice. Just use the already
obtained cur_time to initialize a missing lease->epoch.

No need to check ifi->active for NULL when looking for duplicate/obsolete
leases. It can't be NULL, and is unconditionally dereferenced a few lines
later anyway.

Fix annoying typo in a comment.

Remove incomplete/incorrect connection with autoconf, clearing ground
for future attempts at making it more IPv6-like.

ok florian@

show AF for DNS proposal messages; ok claudio bluhm

kqueue: Revise filterops interface

Extend kqueue's filterops interface with new callbacks so that it
becomes easier to use with fine-grained locking. The new interface
delegates the serialization of kn_event access to event sources. Now
kqueue uses filterops callbacks to read or write kn_event. This hides
event sources' locking patterns from kqueue, and allows clean
implementation of atomic read-and-clear for EV_CLEAR, for instance.

There are so many existing filterops instances that converting all of
them in one go is tricky. This patch adds a wrapper mechanism that
kqueue uses when the new callbacks are missing.

The new filterops interface has been influenced by XNU's kqueue.

OK mpi@ semarie@

Various fixes from emails Joachim Nilsson sent to tech@ many moons
ago. Sorry for the delay.

- Make sure we don't deref NULL ptr in skipwhite()
- Only deref vendp if not NULL
- Strings must be at least 2 chars for terminating NUL character

snprintf() does indeed return an int. From an email Joachim Nilsson
sent to tech@ many moons ago. Sorry for the delay.

spelling fix;

In sorflush() use m_purge() instead of handrolling it.
no objections mvs@

white space tweak, no functional change

fix stoeplitz_n16 and stoeplitz_h16

Enumerate GCI core, which seems to contain the OTP on the Apple M1.

Correct client_prefix so it returns 1 if in prefix, not 0.

whitespace tweaks, no functional change.

fix the length check on arp packets when handling arp filter rules.

another bridge feature i'm not convinced people actually use.

ok jmatthew@ claudio@

sync

remove unused usbd_get_device_string()

ok mpi@

remove unused usbdi functions

ok mpi@

add support for adding and deleting mac addr entries on nvgre.

the guts of this are in the etherbridge code which i added for
veb and used in bpe. there's a bit of boilerplate to make sure that
the addresses used for the endpoints will work with the tunnel
addresses that have been configured, but it's not too bad.

again, this is hard to use because ifconfig doesnt (yet) know how
to put ethernet addresses into the "add address" ioctl.

these ioctls could be used for things like evpn via bgpd though.
not sure if that's interesting to anyone though. it would probably
be more useful on vxlan interfaces.

remove unused xhci_cmd_evaluate_ctx()

ok mpi@

sync

add support for adding and deleting address table entries.

the guts of this are in the etherbridge code which i just added for
veb, so this code is very minimal. it's hard to use though cos
ifconfig doesnt (yet) know how to put ethernet addresses into the
"add address" ioctl.

add support for adding and deleting address table entries.

Put obsolete aliases for hostbasedalgorithms and pubkeyacceptedalgorithms
after their current names so that the config-dump mode finds and uses
the current names.  Spotted by Phil Pennock.

typo

handle ifconfig veb0 flush with etherbridge_flush, like bpe and nvgre

lots more s/key types/signature algorithms/ mostly in
HostbasedAcceptedAlgorithms and HostKeyAlgorithms;
prompted by Jakub Jelen

Correct reference to signature algorithms as keys; from Jakub Jelen

Make this test module aware so it passes with Go 1.16

Make this test module aware so it passes with Go 1.16

Use pool to allocate tdbs.

ok patrick@ bluhm@

Move -u to alphabetically correct place in options. As spotted by jmc@

aplintc(4)

Add aplintc(4), a driver for the interrupt controller found on
Apple M1 SoCs.

ok patrick@

sync

sparc64/clock.c: use ANSI-style function definitions

While here, zap a few ARGUSED linter comments.

Compile-tested by deraadt@.

ok deraadt@

Wrap by netlock the whole foreach loop which calls switch_port_detach() in
switch_clone_destroy(). This fixes netlock assertion within underlay
ifpromisc(). The problem was reported by hrvoje@ [1].

"why not" by deraadt@

1. https://marc.info/?l=openbsd-bugs&m=161338077403538&w=2

Fix m_copyback(9) prototype in DESCRIPTION section.

ok millert@

previous commit mismanaged the control fd
ok claudio

Adjust pledge() and unveil() calls for proc_rsync() a bit. Since the
mkdir was moved to the main process there is no need for access to .
in the rsync process.
OK job@ deraadt@

sync

remove unused malloc_roundup()

As ip_insertoptions() may prepend a mbuf, "goto bad" has to free
the new chain.  This fixes a potential memory leak in ip_output().
Also simplify a bunch of "goto done".
OK kn@ mvs@

Make more efficient clearing interrupts on all processors at boot time.

Without this modification, because of the volatile qualifier, the
compiler does not produce four `` = 0 '' assignments, but code
equivalent to:

*(volatile uint32_t *)INT_ST_MASK3 = 0;
*(volatile uint32_t *)INT_ST_MASK2 =
    *(volatile uint32_t *)INT_ST_MASK3;
*(volatile uint32_t *)INT_ST_MASK1 =
    *(volatile uint32_t *)INT_ST_MASK2;
*(volatile uint32_t *)INT_ST_MASK0 =
    *(volatile uint32_t *)INT_ST_MASK1;

Anders Gavare reported to Miod Vallat, and he gave me a diff.

small adjustment of the deck chairs, no functional change.

fix up which link flags do what.

ipsec code is written, but is disabled, so the ipsec words here are
still commented out for now.

Use NULL instead of 0 in `m_nextpkt' assignment.

ok deraadt@ dlg@

make a start on transparent ipsec interception, based on bridge(4).

i found the Transparent Network Security Policy Enforcement paper
by angelos and jason was useful for understanding the background
and why you'd want to do this.

the implementation is a little bit different to the bridge one
because i've tweaked the order that pf and ipsec processing happens,
depending on which direction the packet is going over the bridge.
bridge always runs ipsec processing before pf, no matter which
direction the packet is going. packets going into veb, pf runs first
and then ipsec input processing is allowed to happen. in the outgoing
direction ipsec happens first and then pf. pf runs before ipsec in
the inbound direction so pf can apply policy to ipsec encapsulated
packets before they hit pf. this allows you to apply policy to both
the encrypted and unencrypted packets in both directions.

the code is disabled for now. this is mostly because i want veb(4)
to have a good chance at operating outside the netlock, and i'm
pretty sure the ipsec stack isn't ready for that yet. the other
reason why it's disabled is getting a test setup is effort, but i
want to sleep.

remove unused uvm_mapent_bias()

ok mpi@

Move `pgo_fault' handler outside of uvm_fault_lower().

Reduce differences with NetBSD and prepare for `uobj' locking.

No functionnal change. ok chris@, kettenis@

remove some unused includes

use the ipv6 dst addr to look up an ipsec tdb in bridge_ipsec in.

using the ipv6 next protocol header probably doesnt work. it also
probably doesnt matter cos i'm not sure anyone uses this feature in
bridge. or maybe there isn't anyone who uses ipv6. both are plausible
options.

hahaha^Wok patrick@

Allow the user to specify a path to the mg startup file on the command line.

use link0 to allow vlans to cross the bridge.

implement support for the blocknonip port flag.

add support for setting and getting bridge port flags.

timecounting: use C99-style initialization for all timecounter structs

The timecounter struct is large and I think it may change in the
future.  Changing it later will be easier if we use C99-style
initialization for all timecounter structs.  It also makes reading the
code a bit easier.

For reasons I cannot explain, switching to C99-style initialization
sometimes changes the hash of the resulting object file, even though
the resulting struct should be the same.  So there is a binary change
here, but only sometimes.  No behavior should change in either case.

I can't compile-test this everywhere but I have been staring at the
diff for days now and I'm relatively confident this will not break
compilation.  Fingers crossed.

ok gnezdo@

filter MAC Bridge component Reserved address

im considering converting ethernet addresses into uint64_ts to make
comparisons (and masking) easier. im trialling it here, and it
doesn't seem like the worst.

try and use my words to explain what veb is and does.

ok jmatthew@

add veb(4), a Virtual Ethernet Bridge driver.

my intention is to replace bridge(4), but the way it works is
different enough from from bridge that a name change is justified
to distinguish them. it also makes it easier to commit it to the
tree and work on it in parallel to bridge, and allows a window of
migration.

the main difference between veb(4) and bridge(4) is how they use
interfaces as ports. veb takes over interfaces completely and only
uses them to receive and transmit ethernet packets. bridge also use
each interface as a port to the ethernet segment it's connected to,
but also tries to continue supporting the use of the interface as
a way to talk to the network stack on the local system. supporting
the use of interfaces for both external and local communication is
where most of my confusion with bridge comes from, both when i'm
trying to operate it and also understand the code. changing this
semantic is where most of the simplification in veb comes from
compared to bridge.

because veb takes over interfaces, the ethernet network set up on
a veb is isolated from the host network stack. by default veb does
not interact with pf or the ip (and mpls) stacks. to enable pf for
ip frames going over veb ports link1 on the veb interface must be
set. to have the stack interact with a veb network, vport interfaces
must be created and added as ports to a veb.

the vport interface driver is provided as part of veb, and is handled
specially by veb. veb usually prevents the use of ports by the stack
for sending an receiving packets, but that's why vports exist, so
veb has special handling for them.

veb already supports a lot of the other features that bridge has,
including bridge rules and protected domains, but i got tired of
working out of the tree and stopped implementing them. the main
outstanding features is better address table management, the
blocknonip flag on ports, transparent ipsec interception, and
spanning tree. i may not bother with spanning tree unless someone
tells me that they actually use it.

the core ethernet learning bridge functionality is provided by the
etherbridge code that was factored out of nvgre and bpe. veb is
already (a lot) faster than bridge, and is better prepared to operate
in parallel on multiple CPUs concurrently.

thanks to hrvoje popovski for testing some earlier versions of this.
discussed with many
ok patrick@ jmatthew@

sync

warn when the user specifies a ForwardAgent path that does not exist
and exit if ExitOnForwardFailure is set; bz3264

remove unused acpiec_lock() acpiec_unlock() functions

ok kettenis@ pirofti@

remove unused decode_hw_header() function

ok krw@

Terminate backtrace of secondary processors in ddb.

From miod@

Mark as arm64-specific.

Don't pass 'id' as argument to make function signature match similar
functions.  config_setpfkey() is always called with id PROC_IKEV2.

Enable bge(4).

Enable apldog(4).

apldog(4)

Add apldog(4), a driver for the watchdog on Apple M1 SoCs.
This allows us to reboot the machine.

ok patrick@

Move UNIX socket's garbage collector to `systqmp'. It touches nothing
which requires kernel lock to be held.

ok mpi@

Disable double-data rate modes if 1.8V signalling is not possible.

ok kettenis@

Slow mode is only relevant for legacy and high speed timings.

ok kettenis@

Improve support for the variant found on the Apple M1 SoC.
This mostly adjust the interrupt masking and status support since this
variant lacks the UINTM and UINTP registers.

ok patrick@

Make the ober_get_* set of function to accept a NULL-pointer.
This allows us to do ber-type checking inside ober_scanf_elements, which
will allow for stricter ASN.1 parsing in the future.

Manpage feedback and OK claudio@, jmc@
OK claudio@

Fix bizarre punctuation and capitalization in a comment.

Simplify version checks in the TLSv1.3 client

Ensure that the server announced TLSv1.3 (and nothing higher) in the
supported_versions extension.  In that case, the legacy_version must
be TLSv1.2 according to RFC 8446, 4.1.3 and 4.2.1.

This commit also removes some unreachable code which is a remnant of
very early TLSv1.3 code from before the legacy fallback was introduced.
Simplify a few checks and adjust some comments nearby.

ok jsing

Factor out/change some of the legacy client version handling code.

This consolidates the version handling code and will make upcoming changes
easier.

ok tb@

When cutting of the head of an overlapping fragment during pf
reassembly, reinsert the fragment into the lookup table with correct
index.
Reported-by: syzbot+d043455a5346f726f1c4@syzkaller.appspotmail.com
OK claudio@

add 7.0 syspatch pubkey

expand_paths needs the global environment to be set up, do that first.

Make use of the new '$' feature of ober_scanf_elements to enforce stricter
ASN.1 verification.

OK claudio@

Rename mkpath() to mkpathat() since it uses mkdirat() internally.

Fix regex searching with wrapped lines, from Anindya Mukherjee; GitHub
issue 2570.

Move config file path expansion much earlier, keep the list of paths
around rather than freeing later, and add a config_files format variable
containing it. Suggested by kn@ a while back.

There are many format variables now so allocating all the default ones
each time a tree is created is too expensive. Instead, convert them all
into callbacks and put them in a static table so they only allocate on
demand. The tree remains for the moment for extra (non-default)
variables added by for example copy mode or popups. Also reduce
expensive calls to localtime_r/strftime. GitHub issue 2253.

Move jump commands to grid reader, make them UTF-8 aware, and tidy up,
from Anindya Mukherjee.

Switch reboot timing to timespec, the better to handle the
default reboot interval of 1 sec. Gives the DHCP server a
fairer shot at replying before the timeout expires.

ok millert@

Use the F_CHECK_SENT and F_CHECK_DONE flags to determine whether a
previous attempt at running a check script has finished yet, so we
can avoid building up a backlog of check requests.

ok dlg@ tb@ giovanni@

regen

add some AMD 500 series, 17h/71h, Navi 10 and Kingston NVMe ids

initial diff from Sven Wolf