btrace(8): init and update timespec for BEGIN/END event

BEGIN and END use a fake dt(4) event, so in order to use the nsecs
var or time() it needs a timespec set. Init for BEGIN and update
at END.

ok mpi@

Garbage collect prototoype for ssl_parse_serverhello_tlsext() which
was removed in t1_lib.c r1.141.

augment the global pf state list with its own locks.

before this, things that iterated over the global list of pf states
had to take the net, pf, or pf state locks. in particular, the
ioctls that dump the state table took the net and pf state locks
before iterating over the states and using copyout to export them
to userland. when we tried replacing the use rwlocks with mutexes
under the pf locks, this blew up because you can't sleep when holding
a mutex and there's a sleeping lock used inside copyout.

this diff introduces two locks around the global state list: a mutex
that protects the head and tail of the list, and an rwlock that
protects the links between elements in the list. inserts on the
state list only occur during packet handling and can be done by
taking the mutex and putting the state on the tail before releasing
the mutex. iterating over states is only done from thread/process
contexts, so we can take a read lock, then the mutex to get a
snapshot of the head and tail pointers, and then keep the read lock
to iterate between the head and tail points. because it's a read
lock we can then take other sleeping locks (eg, the one inside
copyout) without (further) gymnastics. the pf state purge code takes
the rwlock exclusively and the mutex to remove elements from the
list.

this allows the ioctls and purge code to loop over the list
concurrently and largely without blocking the creation of states
when pf is processing packets.

pfsync also iterates over the state list when doing bulk sends,
which the state purge code needs to be careful around.

ok sashan@

pf_purge_expired_states can check the time once instead of for every state.

pfsync_undefer_notify needs to be careful before dereferecing state keys.

pfsync_undefer_notify uses the state keys to look up the address
family, which is used to figure out if it should call ipv4 or ipv6
functions. however, the pf state purge code can unlink a state from
the trees (ie, the state keys get removed) while the pfsync defer
code is holding a reference to it and expects to be able to send
the deferred packet in the future. we can test if the state keys
are set by checking if the timeout state is PFTM_UNLINK or not.

this currently relies on both pf_remove_state and pfsync_undefer_notify
being called with the NET_LOCK held. this probably needs to be
rethought later but is good enough for now.

found the hard way on a production firewall at work.

rework pf_state_expires to avoid confusion around state->timeout.

im going to make it so pf_purge_expired_states() can gather states
largely without sharing a lock with pfsync or actual packet processing
in pf. if pf or pfsync unlink a state while pf_purge_expired_states
is looking at it, we can race with some checks and fall over a
KASSERT.

i'm fixing this by having the caller of pf_state_expires read
state->timeout first, do it's checks, and then pass the value as
an argument into pf_state_expires. this means there's a consistent
view of the state->timeout variable across all the checks that
pf_purge_expired_states in particular does. if pf/pfsync does change
the timeout while pf_purge_expired_states is looking at it, the
worst thing that happens is that it doesn't get picked as a candidate
for purging in this pass and will have to wait for the next sweep.

ok sashan@ as part of a bigger diff

substantially shorten the usage() message
pieces by jmc, pieces by me

reduce verbosity in usage and make it match SYNOPSIS;
i reformatted it to match 80w, and removed two functions that
had been used to populate usage: getdistoptlist and msgprusage;

ok millert

reduce verbosity in usage and make it match SYNOPSIS;
ok millert

reduce verbosity in usage and make it match SYNOPSIS;
ok millert

reduce verbosity in usage and make it match SYNOPSIS;
ok millert

zap wonky commas;

Reduce verbosity in tset/reset usage()

from jmc, ok kn

Hoist initialization of _nc_progname to start of main()

This way early calls to err(), failed() and usage() show "reset"
instead of "tset" if the program was invoked as reset(1).

Issue noted by jmc
ok kn

Clarify tls_config_set_*_file() file I/O semantics

tls_config_set_*_file(3) do not just set the file paths like
tls_config_set_*_path(3) do, they do load the given file(s) into memory
directly using tls_config_load_file().

This distinction is important because it means a later tls_connect(3)
will not do any file I/O (at least wrt. those files), which is relevant when
for example pleding without "[rwc]path" after loading files into memory and
before doing tls_connect(3).

The manual's current wording made me use the following due to above way of
pledging a program:
tls_load_file()
tls_config_set_ca_mem()
tls_unload_file()

While in fact a single tls_config_set_ca_file() call does the same.

tls_config.c r1.26 (Aug 2016) change the code but forgot to amend the manual
as noted by tb, thanks.

Feedback OK tb

Adjust expected output after the change to show more proper info in Adj-RIB-Out

bwfm(4) on PCI isn't really MPSAFE, and I'm not sure how this flag
even got there in the first place.  I've been wondering why I have
seen a bit of mbuf corruption here and there since I put the bwfm(4)
M.2 PCIe card into my arm64 machine.  Well, duh.

Pp not required before list items;

reduce verbosity of usage(), making it match SYNOPSIS;
ok kettenis

reduce verbosity of usage(); keep it the same as SYNOPSIS, wrapped at 80w.
lowercase for "usage", and add -e, which was missing;

ok kettenis

The values for blocks and offset in -b should be treated as 512-byte block
counts.

Tweak man page accordingly.

Requested by deraadt@ and kettenis@.

Fix uninitialized variables introduced in rev 1.361

Thankfully clang elided the code in an almost harmless way (at least on
amd64 GENERIC.MP).  Spotted by chance when building kernels
with -Wno-error=uninitialized.

ok dlg@ sashan@ bluhm@

Change tb_freq to uint64_t.  This prevents an overflow in the riscv64
implementation of delay(9).

ok deraadt@

bye bye -o

Change tb_freq to uint64_t.  This prevents an overflow in the riscv64
implementation of delay(9).

ok deraadt@

code is obvious, comments not required

delete old debugging code

under some circumstances, we end up with libexecinfo -> BaseSystem being
recorded as a new dependency.  Even though ForwardDependencies normally
takes care of that, with tags, this is not enough.

(this happens only because libexecinfo was a "tight" dependency, thus
resulting in a large UpdateSet, and when some of the objects did require
tags in the new package, and when the order of things meant that BaseSystem
was considered a bit early).

Since there's no handle at this point, a dirty but efficient test vs
BaseSystem will do (which is not a valid normal package name anyhow)

tested to fix the obnoxious warning landry@ saw, which I was able to
reproduce on a box...

correct riscv64 blocks
discussion with espie kettenis jsg

Add GnuTLS interoperability test in appstest.sh

Wrap #define nitems in #ifndef nitems/#endif.

While here fix a misplaced '(' to make this nitems the same as
all its friends.

Pointed out by okan@

Fix ieee80211_node leak in iwm(4) and iwx(4).

CVS commit mPRyhYmlmonmI11J which added support for Rx aggregation offload
contains a node leak in the rx_reorder() function. Node leaks will cause
the driver to get stuck when roaming between access points.
Add missing calls to ieee80211_release_node() to fix this.

ok mpi@

sync

vmd(8): support variable length vionet rx descriptor chains

The original implementation of the virtio network device assumed a
driver would only provide a 2-descriptor chain for receiving packets.
The virtio spec allows for variable length chains and drivers, in
practice, construct them when they use a sufficiently large MTU.

This change lets the device use variable length chains provided by
the driver, thus allowing for drivers to set an MTU up to the
underlying host-side tap(4)'s limit of TUNMRU (16384).

Size limitations are now enforced on both tx and rx-side dropping
anything violating the underlying tap(4) min and max limits.

More work is needed to increase the read(2) buffer in use by vmd
to prevent packet truncation.

OK mlarkin@

Add -A option to "safely" initialize a GPT without removing
special boot partitions needed by some hardware. Make it
difficult to add, delete or modify those partitions with 'fdisk
-e'.

Trim back and correct syntax in usage(). Whack at man page
verbiage.

Suggestions and ok deraadt@

We need to store the flagged passed to sigsetjmp(3) and use it in
siglongjmp(3) to decide wehther we need to restore the signal mask.

ok deraadt@, drahn@

Adjust snmp regress to recent changes

OK sthen@

Adjust snmpd regress to recent changes

OK sthen@

Change the authentication protocol (-a) default to SHA-256 and the privacy
protocol (-x) default to AES. The old defaults are just not sane anymore.

OK sthen@

Change default user auth to hmac-sha256 and enc to aes.
The old defaults are just not sane anymore.

OK sthen@

Tighten default security for snmpd(8). This is done by doing several
things:
- Only allow SNMPv3 by default. SNMPv1 and SNMPv2c can be enabled by
  setting the new snmpv* flags on the "liston on" statements.
- Remove the default community names. They're not secure to use.
- Change the default seclevel to enc.

Initial idea, help from and OK sthen@

replace the Oo/Oc block of -chs in SYNOPSIS with a simple Op: the block
would have been written this way because of the old args limit, but the
extensions to -b expose a nasty line wrap when written that way;

few more Ns in the -b option description

Make -b available to architectures other than amd64 and i386.

Extend the syntax to allow the boot partition offset and boot
partition type to be specified if needed.

ok deraadt@ kettenis@

Mystery bag of cleanups -- mostly removing old debug code, or moving
local variables to just before they are needed.
ok kettenis

Make sure we program the baud rate divisor register.  Without this,
opening the tty corresponding to a non-console device will hang the
machine.

ok deraadt@

Skip disabled cpus (usually service cpus without full functionality).
cpumatch will also ignore them, but skipping them here avoids increment
of hw.cpusfound
ok jsg

use __riscv instead of __riscv64

Add a test case for fmt_scaled.c r1.20

scan_scaled: fix rescaling for negative numbers

As found by djm by fuzzing ssh, scan_scaled can overflow for negative
numbers when rescaling is needed. This is because the rescaled fractional
part is added without taking the sign into account.

ok ian jca

Reinstate locks around uvm_fault calls from upageflttrap and kpageflttrap
on i386.  This is a backout of revision 1.152.

Kernel crash with messages printed concurrently from multiple CPUs
occasionally seen during ports build:

"WARNING: SPL NOT LOWERED ON TRAP EXIT"

and these panics

ddb{1}> sh panic
cpu1: uvm_fault(0xd470a0a0, 0xcf9b7000, 0, 1) -> e
cpu3: kernel diagnostic assertion "!_kernel_lock_held()" failed: file "/usr/src/sys/uvm/uvm_map.c", line 2707

Put (boot) filename, next-server, host-name and domain-name into lease
file for the installer.

Don't try to install a default route with route(8) later on if we are
using inet autoconf, like we do with "dhcp" and "inet6 autoconf".
OK kn

Move towards a 7.1 OpenBGPD release

regen

add some devices found on the intel nuc10i7fnh

For the thunderbolt controller, while a public datasheet with product
ids and marketing names can't be found we know these ids are for the two
channel version of the thunderbolt 3 controller codenamed titan ridge
from public patches by Intel employees.  There are two channels per port
and the only single port titan ridge described on ark.intel.com is the
JHL7340.  The ids included with lspci refer to these devices as JHL7540
but that is a four channel / two port controller.

initial patch from fkr

Assert that fpu_load() only gets called with the FPU "off".

ok drahn@

C version of fabs(), for now
turns out same as a diff drahn didn't commit
ok kettenis

zap trailing whitespace

Correctly handle epoch wrapping in dtls1_get_bitmap().

Due to a type bug that has been present in DTLS since the code was first
committed in 2005, dtls1_get_bitmap() fails to handle next epoch correctly
when the epoch is currently 0xffff (and wraps to zero).

For various reasons unknown, the epoch field in the SSL3_RECORD_INTERNAL
(formerly SSL3_RECORD) was added as unsigned long (even though the value
is an unsigned 16 bit value on the wire, hence cannot exceed 0xffff),
however was added to other code as unsigned short.

Due to integer promotion, the r_epoch value is incremented by one to
become 0x10000, before being cast to an unsigned long and compared to
the value pulled from the DTLS record header (which is zero). Strangely
0x10000 != 0, meaning that we drop the DTLS record, instead of queueing
it for the next epoch.

Fix this issue by using more appropriate types and pulling up the
calculation of the next epoch value for improved readability.

ok inoguchi@ tb@

Add DTLS test cases that use non-zero initial epochs.

In particular, test handling of 0xfffe and 0xffff - the latter results in
wrapping to zero for the next epoch. One of these tests triggers a known
bug in libssl, which will be fixed following this commit.

Provide the ability to set the initial DTLS epoch value.

This allows for regress to test edge cases for epoch handling.

ok tb@

Initialise the epoch for the DTLS processed and unprocessed queues.

Currently these only get correctly initialised when
dtls1_process_buffered_records() is called - while this works it is more
accidental than intentional.

ok tb@

Add more complex DTLS tests for delay/reordering.

These tests exercise the various queues and delayed processing that exists
in the DTLS code.

Expand comment that details why two DTLS tests currently fail.

Two tests currently fail (and are disabled) due to a flaw in the DTLSv1.0
specification - this flaw was addressed in DTLSv1.2, however our DTLS
server code still needs to support the fix.

Quoting RFC 6347 section 4.2.4:

"This requirement applies to DTLS 1.0 as well, and though not explicit in
 [DTLS1], it was always required for the state machine to function
 correctly."

In otherwords, both the original DTLS implementation and the DTLSv1.0
specification have a broken state machine, resulting in possible dead lock.

Provide the ability to delay/reorder DTLS packets.

Add a test that delays the client CCS, resulting in it arriving after the
client Finished message.

sync with riscv64.html

timecounting: add FRAC_TO_NSEC(), BINTIME_TO_NSEC()

Refactor the fraction-to-nanosecond conversion from BINTIME_TO_TIMESPEC()
into a dedicated routine, FRAC_TO_NSEC(), so we can reuse it elsewhere.

Then add a new BINTIME_TO_NSEC() function to sys/time.h to deduplicate
conversion code in nsecuptime(), getnsecuptime(), and tc_setclock().

Thread: https://marc.info/?l=openbsd-tech&m=162376993926751&w=2

ok dlg@

sync

arm64 -> riscv64

bootaa64.efi -> bootriscv64.efi

add riscv64 to allarchs

timeout(9): change argument order for timeout_set_kclock()

Move the kclock argument before the flags argument.  XORing a bunch of
flags together may "sprawl", and I'd rather have any sprawl at the end
of the parameter list.

timeout_set_kclock() is undocumented and there is only one caller, so
no big refactor required.

Best to do this argument order shuffle before any bigger refactors of
e.g. timeout_set(9).

oce(4) in RAMDISK for riscv64

Enable oce(4) for riscv64

"free commit" kettenis@

sync

alarm.3: miscellaneous improvements to alarm(3) documentation

Improve the alarm(3) manpage:

- Better one-line description of the interface.

- Carefully describe what alarm(3) actually does.  In particular, the
  first paragraph of the current DESCRIPTION is misleading in several
  ways.

- Remove mention of the 100 million second limit.  As of kern_time.c v1.154,
  setitimer(2) no longer has this limit on OpenBSD.

- An alarm is "pending" if it has been scheduled but has not yet
  "expired".

- Rewrite RETURN VALUES. Remind the reader that calling alarm(3)
  cancels any pending alarm.  Enumerate all the cases where alarm(3)
  could return zero.

- Remove all descriptions of errors and errno.  With the removal of
  the 100 million second limit, alarm(3) basically cannot fail on
  OpenBSD unless the stack is corrupted.

  Unfortunately, the standard does not prescribe a portable return
  value to report an error to the caller.

- Add a CAVEATS section.  Discourage use of alarm(3) and setitimer(2)'s
  ITIMER_REAL timer in the same program.

With input from millert@, deraadt@, and jmc@.

Thread: https://marc.info/?l=openbsd-tech&m=162403868814857&w=2

ok millert@, jmc@

When we do a context switch, always set the FPU to "off" for the old proc.
Disable the optimization to mark the new proc "clean" since it causes
random failures in regress.  Hopefully we can revisit this soon.

ok drahn@

Provide directions on how to install Unmatched
ok jsg@(with suggested improvements) mlarkin@

Need to enable interrupts while processing supervisor traps as well.

yikes deraadt@, ok mlarkin@

do not guess at MP support yet.

Remove SSL_CTX_set_read_ahead() calls - it is now the default for DTLS.

setitimer(2): increase timer limit to UINT_MAX seconds

Currently setitimer(2) rejects timers larger than 100 million seconds
and sets EINVAL.

With the change to kclock timeouts there is no longer any reason to
use this arbitrary value.  Kclock timeouts support the full range of a
timespec, so we can increase the upper bound without practical risk of
arithmetic overflow.

If we push the limit to UINT_MAX we can support the full input range
of alarm(3).  We can then simplify the alarm.3 manpage in a separate
patch.

We can push the limit even higher in the future if we find software
that doesn't like the UINT_MAX limit.  Until then, UINT_MAX seconds
(over 68 years) is plenty for all practical timers.

ok claudio@

The crypto(9) framework used by IPsec runs on a kernel task that
is protected by kernel lock.  There were crashes in swcr_authenc()
when it was accessing swcr_sessions.  As a quick fix, protect all
calls from network stack to crypto with kernel lock.  This also
covers the rekeying case that is called from pfkey via tdb_init().
OK mvs@

vmd diskfmt regress: don't copy source files, cleanup disk images

Previous version of the diskfmt regress tests for vmd(8) would copy
source files from the tree in order to compile them. Using some of
the ssh regress tests as inspiration, use the .PATH to allow building
object files from other parts of the tree in place.

Since 4G disk images are made as part of the test, clean those up
when done by adding in a proper REGRESS_CLEANUP target.

"go for it" mlarkin@

Limit regress libexecinfo to amd64 or llvm >=12.

Only amd64 has unwind info by default, so this regress test only works
on amd64. In llvm12, more architectures have unwind info by default, so
this test should work on those architectures.

Found by bluhm. OK bluhm@

Enable 32-bit I/O addressing.  This gets rid of the io address conflict
messages on the HiFive Unmatched.

ok patrick@

special is SMALL

fix SMALL build

special is SMALL

Mention %1 under choose-tree also.

recognise BCM5762 B0
from Brad

The pmap needs to know which CPUs to send IPIs when TLB entries
need to be invalidated.  Instead of keeping a bitset of CPUs in
each pmap, have each cpu_info track which pmap it has loaded: replace
pmap->pm_cpus with cpu_info->ci_proc_pmap.  This reduces the atomic
operations (and cache thrashing) and simplifies cpu_switchto()

Also, fix a defect in cpu_switchto()'s "am I loading the same cr3?"
test: ignore the CR3_REUSE_PCID bit when checking that.  This makes
switching between kernel threads slightly less costly.

over a week in snaps with no complaints
looks ok to mlarkin@ kettenis@ mpi@

initial plic(4) sfcc(4) sfclock(4)

vmd(8): handle VIRTIO_BLK_T_GET_ID, check descriptor r/w flags

Linux guests like to issue VIRTIO_BLK_T_GET_ID commands in attempts
to read the device serial number. It's not part of the virtio spec,
but has been part of QEMU and Bhyve for multiple years. It will be
landing in the next version of virtio (1.2), so this stubs out
handling for the request type. The added benefit is it helps squelch
log noise from Linux guests.

For now, no serial number is set and the request status is set to
VIRTIO_BLK_S_UNSUPP to tell the driver we don't support it.

While here, swap the response to VIRTIO_BLK_T_FLUSH{,_OUT} to be
also returning VIRTIO_BLK_S_UNSUPP. It's not negotiated nor
implemented. Lastly, add checks for validating the vioblk device
is only reading/writing descriptors with approrpriate read/write-only
flags per the virtio spec.

With input from claudio@, OK mlarkin@

sync

compar is a function arg (Fa) not function name (Fn);

Add sfclock(4), a driver for the PRCI (Power Reset Clocking Interrupt) block
of the SiFive FU740 SoC.

ok deraadt@

Revert previous: unref of amap outside of the KERNEL_LOCK().

This change introduced or exposed a leak of anons which result in system
freezes.

anton@ observed a high number of INUSE for anonpl and semarie@ saw multiple
processes waiting in the fault handler on "flt_noramX" probably the one
related to allocating an anon.

On OpenBSD _JBLEN is the number of slots (of type long) in jmp_buf.
We don't need 256 slots, so change it to 32 which leaves us with a few
spare slots and is probably what was intended.

This fixes building emacs which does some insane setjmp(3)/longjmp(3)
stuff and gets upset when jmp_buf is 2048 bytes.

ok deraadt@