slight tidy-up of /etc/services:

- remove a few UDP entries for protocols that are TCP-only

- drop some obsolete protocols

- move smtps/465 to the standards section (rfc8314)

- move the talk about IANA's "reserve for both UDP/TCP even when you only
use one" policy from a comment in /etc/services to the manual, and talk
about how an entry in /etc/services prevents the associated port from
being used for dynamic ports (via net.inet.udp|tcp.baddynamic sysctl).

ok phessler@ florian@

Improve the rde evaluate all test case by doing a withdraw of a prefix
that is hidden (but sent to one system because of rde evaluate all).

Rewrite TLSv1.2 key block handling.

For TLSv1.2 a single key block is generated, then partitioned into
individual secrets for use as IVs and keys. The previous implementation
splits this across two functions tls1_setup_key_block() and
tls1_change_cipher_state(), which means that the IV and key sizes have to
be known in multiple places.

This implementation generates and partitions the key block in a single
step, meaning that the secrets are then simply handed out when requested.

ok inoguchi@ tb@

All exabgp configs changed to the c code version of the api-exabgp code.

Match on snps,dw-mshc in dwmmc(4) and use clock-frequency for clkbase if
the "ciu" clock is missing as mentioned in the devicetree binding.

ok kettenis@

Unlock top part of the fault handler.

ok kettenis@

Check the characters preceeding and following quotes.

Enable detailed reports about firmware errors in iwm(4) for the time being.
I am getting reports about firmware errors which may be related to Tx agg.

riscv64 binutils 'support'
Enable just enough of binutils to be a functional compilation system
with llvm doing the heavy lifting.
With corrections suggested by reviewers.
ok jsg@ kettenis@

Fix backtrace command with kernel core.

ok mpi@

riscv: Assert that SUM is not set in SSTATUS for exceptions.

From John Baldwin
6a3a6fe34bf36b6e745b3e9ad1a991de057729c7 in FreeBSD

ok kettenis@ mlarkin@

riscv: Clear SUM in SSTATUS for supervisor mode exceptions.

From John Baldwin
753bcca440a4d2c95f48536b586131b84c0bb87e in FreeBSD

ok kettenis@ mlarkin@

rename trap.S exception.S and trap_machdep.c trap.c to match other archs
ok kettenis@

Add Radxa Rock Pi N10.

Don't pass NULL as a string in debugging as it does not work on some
platforms in -portable.  ok djm@

Reorder the integer sysctl functions.  Then the traditional 4.4BSD
comment 'As above...' makes sense again.  Improve comments for
sysctl_int_bounded() and sysctl_bounded_arr().
OK gnezdo@ mvs@

shell scripts should use getopts instead of getopt

Add a prominent deprecation notice to getopt.1.
Add examples of the getopts idiom to sh.1 and ksh.1.

Requested by and ok espie@, ok jmc@

As the unbouded feature in sysctl_int_bounded() is no longer used,
remove it.  This also fixes a defective check of the dynamic boundary
in sysctl_sysvshm().
OK mvs@ gnezdo@

sigpending(2) will never fail.  Optimize the syscall stub accordingly like
we do on other architectures.

ok mpi@

Rename shutdown_all() to shutdown_peers() for consistency.

syscalls.c, init_sysent.c, syscall.h, syscallargs.h: regen

Regen after unlocking getitimer(2) and setitimer(2).

ok anton@, mpi@

getitimer(2), setitimer(2): unlock syscalls

With the changes in kern_time.c v1.150, neither getitimer(2) nor
setitimer(2) need the kernel lock anymore.

ok anton@, mpi@

The clock on RISC-V is architectural, so we really don't need the
whole abstraction layer to support multiple timers.  And we don't
really need a separate driver.  Replace timer(4) with code based on
the powerpc64 implementation of the randomized statclock code.

Fixes hangs seen on real hardware.

ok jsg@, drahn@

Fix 2nd and 3rd arguments' cast in atomic_cas_ptr().

This fixes compile errors (actually warnings) on m88k in sys/net/pf.c
revision 1.1116 changes.

Diff from Miod Vallat, tested on GENERIC and GENERIC.MP by me.

Create memory pressure in test.  Allocate heap and stack in child
processes and threads.  Then exit has more work to do.

Add a boot hart ID check in the function that matches secondary CPUs
as well.

ok jsg@

gzread(3) doesn't always set errno, so use gzerror(3)

Compression errors from libz don't set errno.

OK mlarkin@

Move unused task queue stuff to the attic.

Was added about 4 years ago, but hasn't been used and linked into
the build. Discussed with dlg@ and mlarkin@.

mlarkin@: "Let's remove for now..."

Init debug logging state before attempting to log.

Error messages related to bad configuration were not flushing to
stderr.

OK mlarkin@

okay, prevent pkg_* from looking into /usr/local BUT special-case quirks

Initialize `ipsec_policy_pool' within pfkey_init() instead of doing that
in runtime within pfkeyv2_send(). Also set it's interrupt protection
level to IPL_SOFTNET.

ok bluhm@ mpi@

Remove unused `spd_tables' declaration.

ok bluhm@ mpi@

More comment changes to reflect reality. No functional change.

Update comment to match reality.

not yet, need to figure out how to fix quirks first

and do the same thing to pkg_mklocatedb

prevent the base pkg tools from looking under /usr/local

Similar to rsync repo delay deletes for rrdp repos to after processing
all files. Now RRDP has a weak sync mechanism and therefor not all
unreferenced files can be removed, instead look at the list of removes
which were part of the delta processing and remove those files.
Warn and keep the file if a delta specifies to remove a file which is
actually still referenced.
OK benno@

Check that fdt hart id matches boot hart id before associating an fdt
node with the primary cpu.

Prompted by the polarfire icicle where hart 0 is an mmuless e51 core.

ok drahn@ mlarkin@

Remove cerror dependancy from riscv64 asm syscalls.
Directly update cerror as  offset of thread pointer, with
optimizations on error brnaching
ok kettenis@

riscv64 brk()/sbrk() implementations,
based off a combination of aarch64/powerpc64
ok kettenis@

Use limits.h instead of sys/limits.h in dtlstest.c for portable

discussed and input from jsing@

Modify regress ssl_get_shared_ciphers for portable

- Split out the intermediate path (../certs/) to Makefile
- Change 'shutdown' to 'shutdown_all'

ok tb@

Sync changes from arm64 version.

ok patrick@

Hook openssl-ruby test to regress tree

Add scaffold to run the ruby/openssl regression tests

This test depends on the ruby/ruby-openssl-tests port that bundles the
sources and tests of the Ruby OpenSSL gem below /usr/local. The Makefile
compiles the openssl.so shared object below obj/ that provides Ruby
bindings for the OpenSSL API. Once this is built, the regression tests are
run.

There are currently 4 failing tests, all related to the new verifier.
At least one libssl bug is hidden behind a pend. All this will hopefully be
fixed during this release cycle.

This adds a decent amount of test coverage without being overly expensive.
This way, regressions should be spotted during development so jeremy will
no longer have to chase and work around them.

Joint work with jeremy, positive feedback from bcook and jsing.

tweak one description to make it unique

Prefix the hybrid_corner_case test with test_ for consistency.

Exercise the point conversion bit for octet string representations
of points on secp256r1.

Add a test that exercises the point conversion bit of the octet
string representations of points on the binary curve sect571k1.

Fix corner case for compressed points on binary curves

Per X9.62 4.4.1.b., the compressed representation of a point with
zero x coordinate on a binary curve must have y_bit unset. Error
out in that case of ec_GF2m_set_compressed_coordinates() instead
of ignoring y_bit.

ok jsing

When negotiating multiprotocol capabilities only fall ack to AID_INET when
no capability was sent to the peer (this happens if the multiprotocol
capability got disabled). It is possible that local and remote systems end
up with no shared AFI/SAFI pair. In this case the connection will not send
or should not receive any UPDATE messages.
The previous behaviour of falling back to AID_INET in that case can result
in problematic behaviour when sessions are missconfigured.
OK benno@, deraadt@

Print the timestamps both formatted and as a time in seconds field in
the various JSON object that have time values.
OK benno@

When parsing a variable value within double quotes, allow parenthesis
to be accomodated for.

Like in the session engine do not inline the addr2sa call into connect and
bind. The len argument is modified by addr2sa but is also used as argument
in the call and it is undefined if the value of len in connect is set to
the value "returned" by addr2sa().
Should fix connect issues seen on Linux system.
OK denis@

Make sdhc(4) attachment work on Zynq-7000.

OK kettenis@

When parsing a variable value within double quotes, allow an escaped
\" to be accomodated for. Also, move the variable structure to be
global in scope within mg.

fix typo from previous commit

Mention in CAVEATS that iwn(4) doesn't support 40MHz channels yet.

iwm(4) supports Tx aggregation now.

Use the EFI memory map (if available) to determine available physical
memory.  This brings the code closer to arm64 but some key differences
remain.  The most notable difference is that the riscv64 currently uses
its own private direct map of physical memory.  Therefore it needs to know
the RAM address range which we derive from the /memory node in the FDT.

The code also needs to work around some bugs/flaws in the firmware:

* Newer OpenSBI versions no longer add a "no-map" property to the
  reserved memory block that covers the memory used by OpenSBI itself.
  This makes it appear as EfiBootServicesData in the EFI memory map,
  which means it is available for general use.

* The OpenSBI shipped with the beaglev prototype boards doesn't reserve
  the memory used by OpenBSI at all.

The workaround for the first issue is to remove all reserved memory blocks
specified in the FDT.  In its current implementation this may remove
too much memory on certain boards.

The workaround for the second issue is to remove 2MB before the memory
where the kernel lives.  This workaround is fragile since it relies on
a specific memory layout.  Hopefully the beaglev firmware gets fixed and
we can remove this hack.

ok jsg@

remove old gcc/g++ binaries at update time; covers the most common case
where people will run into problems on amd64 now we don't build gcc.
(the gcc-lib files are already removed by bsd.rd upgrades, and gcc/g++
don't work without them).

recognise a small number of riscv relocations in readelf
ok kettenis@

Tweak the heuristic net80211 RA is using to decide whether enough
statistics have been gathered for a candidate Tx rate. The goal is
to avoid Tx rate choices that might turn out to be too optimistic.

In practice this only affects the case where we probe upwards. If the
current Tx rate starts seeing loss we will still scale down very quickly.

Based on a larger collection of patches by Christian Ehrhardt.
I have made stylistic tweaks for consistency.

Tested:
iwn 6205: stsp, Josh Grosse
iwm 7265: stsp
iwm 8265: Matthias Schmidt
iwm 9260: phessler

Add 802.11n Tx aggregation support to iwm(4).

Makes packets go swoosh swoosh swoosh. Welcome to actual 802.11n!

Tested:
7260: dv, florian
7265: trondd, dv, landry, stsp
8260: bket
8265: Matthias Schmidt, stsp
9260: kettenis
9560: phessler, stsp

work around an athn(4) device problem with bogus Michael MIC failures

Clients using Tx aggregation against an athn(4) hostap will send block ack
request control frames whenever they need to sync their Tx block ack window.
athn(4) dropped such frames due to bogus Michael MIC failures reported by
the hardware decryption engine. Ignore such failures for control frames in
order to fix athn(4) hostap mode against clients which use Tx aggregation.

Additionally, only report Michael MIC failures to the net80211 stack if the
offending client is actually using TKIP, which would also have prevented the
problem since we require CCMP as group cipher in our default configuration.

Problem reported and fix tested by kettenis@

thinko, noticed by jmc@

FETCH_CMD, perfect place to explain more about fetching ;)

remove entries for sgi devices: xheart, owmac, and owserial

change some commented vfp paths to riscv64 fpu equivalents

ok mlarkin@

If mode is not allowed in struct opt, then just play/record silence

This is similar to what we already do when device is opened and its
mode doesn't match requested mode. Besides adding consistency, this
change would allow client's opt structure to be changed dynamically.

don't build gdb on riscv64

more debugging for UpdateHostKeys signature failures

riscv64 is a LP64_ARCH, list it as such.

riscv64 initiall installation notes (more of a skeleton).

disable base-gcc on amd64; ok jca@ deraadt@

Put -stable template into #if 0 section of current newvers.sh.
OK deraadt@

Initialize per-CPU pointer register earlier.

ok patrick@

riscv64, fix HANDLE_ERROR
the CERROR handling code had a gross mistake in that that it didn't
continue processing the code after the macro if no error occurred.
ok kettenis@

Try harder to ensure there are no GPT revenants after
choosing MBR partitioning.

riscv64 openssl config
copied from other 64 bit arch
ok jsg@

We need to set the dirty bit whenever we add write permission
otherwise a write will still fault on hardware that doesn't implement
hardware updates for these bits.

ok drahn@

Shuffle some code to eliminate get_address(), bring interface_state() and
initialize_interface() logic into closer alignment, and try harder to
initialize link_state at start up.

Prevent future internal use of some #defines

After jsing's recent commits, SSL3_CC_{READ,WRITE,CLIENT,SERVER}
and the derived SSL3_CHANGE_CIPHER_{CLIENT,SERVER}_{READ,WRITE}
are no longer used by LibreSSL and should never be used again.

discussed with jsing

Clean up tls1_change_cipher_state().

Replace flag gymnastics at call sites with separate read and write,
functions which call the common code. Condition on s->server instead of
using SSL_ST_ACCEPT, for consistency and more readable code.

ok inoguchi@ tb@

In the TLSv1.2 server, set up the key block after sending the CCS.

This avoids calling into the key block setup code multiple times and makes
the server code consistent with the client.

ok inoguchi@ tb@

Clean up dtls1_reset_seq_numbers().

Rather than doing flag gymnastics, split dtls1_reset_seq_numbers() into
separate read and write functions. Move the calls of these functions into
tls1_change_cipher_state() so they directly follow the change of cipher
state in the record layer, which avoids having to duplicate the calls in
the client and server.

ok inoguchi@ tb@

Ensure that handshake hash is non-NULL in tls1_transcript_hash_value().

There are several paths where a subtle bug could result in
tls1_transcript_hash_value() being called with a NULL handshake hash - add
an explicit check for this case. As noted by tb@, due to the wonders of
the libcrypto EVP APIs, combined with integer promotion, we already have
a NULL check - this one is just more obvious.

ok tb@

Harden tls12_finished_verify_data() by checking master key length.

Require master key length to be greater than zero if we're asked to derive
verify data for a finished or peer finished message.

ok tb@

Stop deriving peer finished twice for TLSv1.2.

We already derive the peer finished in ssl3_do_change_cipher_spec(), which
DTLS relies on. In the case of TLS we've been doing it twice - once in
ssl3_get_message() and once in ssl3_do_change_cipher_spec().

ok tb@

Make TS_compute_imprint a bit more robust.

Instead of using the output parameters directly, null them out at the
beginning and work with local variables which are only assigned to the
output parameters on success. This way we avoid leaking stale pointers
back to the caller.

requested/ok jsing

Improve documentation.  Try to explain the various inputs that result in
a rewritten resolv.conf, and without being too precise, the order they will
be in the file
discussed with florian and jmc

Fix having hostnames in the listen on statement. Regression introduced in
r1.39. Issue originally reported by Anton Kasimov via rob@.

OK claudio@

Do soreserve() before `kp' allocation. This simplifies error path. The
same was done for route_attach().

Also do soisconnected() after `kp' is fully initialized. This chair
movement affects nothing for PF_KEY sockets but makes code more
consistent.

ok bluhm@ mpi@

dired-shell-command is listed in the man page under 'DIRED KEY
BINDINGS' but not under 'DIRED COMMANDS'. Add it in.

Initialize the per-CPU pointer register early.

ok drahn@

explain what FETCH_CMD should support in a bit more detail

fix logic error in boot()
ok deraadt@

Remove NetBSDisms that crept into the arm64 version of this file.

ok gnezdo@

Actually, that variable needs to be a u_int8_t pointer.

This is what was tested, but I forgot to commit a file.