Merge documentation for SSL_is_dtls() from OpenSSL

Reshuffle and reindent code. No functional change.

Rework the http code to require poll() only when really needed.
Especially tls_read() and tls_write() do not map 1:1 to read() and write()
calls and so assuming that after a tls_read() one needs to poll for more
data is wrong. Instead call tls_read() until it returns a TLS_WANT_*
return.

While here also ignore SIGPIPE. It is almost impossible to properly guard
from SIGPIPE by looking at POLLHUP. Instead just let write() handle it and
return an error.

Putting this in now so this can be tested widely.

Switch back to the legacy verifier for the release.

This is disappointing as a lot of work was put into the new verifier
during this cycle. However, there are still too many known bugs and
incompatibilities. It is better to be faced with known broken behavior
than with new broken behavior and to switch now rather than via errata.
This way we have another cycle to iron out the kinks and to fix some of
the remaining bugs.

ok jsing

Fix bgpctl show mrt for UPDATE messages. The call to output->attr() was
incorrect. Adjust output->attr() to take a reqflag argument instead of
a struct parse_result pointer since that is the only bit needed.
Found by and OK procter@, OK deraadt@

On powerpc64 regress/usr.sbin/bgpd/config failed.  It parses a
config file, writes bgpd's config to stdout and compares it with
an expected output.  On big endian machines the order of the set
of communities is different.  The parser used memcmp(3) to sort a
struct of integers.  This depends of the endianess.  The correct
way is to compare the integer fields in native byte order.  With
this change, the resulting order is the same on i386 and powerpc64.
OK claudio@

Make rpki-client -V output nicer.
OK job@, kn@, deraadt@

Call rrdp_data_handler() for any kind of poll event that has happened.
On OpenBSD closing a connection will result in a read even (POLLIN) while
on Linux POLLHUP is returned. rrdp_data_handler()'s read() call returns
in both cases 0 and finishes the XML parsing.
Found and fix tested by job@, OK deraadt@

Do not only check the serial number but also the session_id before
adding a delta to the queue. If the session_id differs there is no
need for deltas since a snapshot must be fetched.
OK job@ benno@ deraadt@

The SSR1 register can have bits set that don't match to bits in the MSR
register.  We would set the sc_ps member of struct sigcontext to SSR1
when entering a signal handler, and compare it to PSL_USER in sigreturn(2)
to make sure that the user code didn't set any bits it shouldn't set.
If non-MSR bits are set that comparison would fail and sigreturn(2) would
fail.  Fix this by initializing sc_ps to PSL_USER instead of taking its
value from SSR1.  On OpenBSD we always run processes with the same MSR
value.

ok deraadt@

%begin now has three arguments, not two. GitHubs issue 2646.

Match Linux path in r8153_set_rx_early_size().

The rx early size is used to reduce the loading of CPU by letting a transfer
contain more data to reduce the number of transfers.

ok deraadt@

my fingers cannot avoid KNF'ing as I review code

On powerpc64 tcpdump(8) could not parse wireguard packets.
EXTRACT_LE_32BITS() converts the type from little endian to host
endian.  So we need the constants in host endianess.  This fixes
regress/sys/net/wg.
OK deraadt@ sthen@

Make iwx(4) attach to AX201 devices with PCI ID 0x06f0.

Patch and testing by Ivo Sbalzarini
ok deraadt@

regen

Add PCI IDs of the Thunderbolt and WiFi devices in Thinkpad X1 Extreme Gen 3.

Patch by Ivo Sbalzarini

ok deraadt@

Properly restore FPSCR register.

ok deraadt@

handle obj dir

move the RPKI_VERSION define into its own version.h file, helps portable.
ok claudio@

Unify pivot.h; brings powerpc/powerpc64 support to the usr.bin/lastcomm
regress test.

ok bluhm@

revert previous. some of the keyupdate tests still fail occasionally

Enable test-tls13-keyupdate.py

move test-record-size-limit.py to unsupported

_PASSWORD_LEN is no longer the limit for an unencrypted password.
It is now used as the max length of the encrypted password hash.
From Benjamin Baier.

enable test-record-layer-fragmentation.py

factor argument to catch an alert mismatch into a helper function

Rename privacy to temporary in slaacd regress, then it passes.
OK florian@

spacing

construct an octeon installXX.img file

Automated regress cannot connect to servers in internet.  Check
whether jigsaw.w3.org is reachable and skip rpki client http test
if not.
OK claudio@

enable test-tlsfuzzer-invalid-compression-methods.py

Include modifiers when looking up an individual key.

enable test-large-hello.py as a slow test

with new defaults, test-fuzzed-plaintext.py is no longer slow

move a few tests to the unsupported group and fix two comments

Require that the argument to the window option be non-zero.
A zero-row window would not be usable (no room to edit) and the
code is full of assumptions that "sp->t_rows - 1" >= 0.
From Erik Ruotsalainen, fixes a bug reported by Paul de Weerd.

annotate test-ecdhe-rsa-key-exchange-with-bad-messages.py with expected
alerts and where to add them.

Ignore expandtab setting when in command mode.
Fixes things like searching for a literal tab character when
expandtab is enabled.  From nvi2 (leres).  OK martijn@

Fix merging of files that lack a final \n at EOF after a block of common lines.

Problem reported by Josh Rickmar.
ok millert@

Adjust http_done() the be more like http_fail() -- only do the message
delivery part but don't alter the http_connection anymore.
Also move common code in the connect case into a new function and call it
from connect and finish connect.
OK benno@

Before adding a file to the temporary rrdp repo remove it from the
deleted filepath set. A file can only be in one set (deleted or added)
but not on both.
OK benno@

Change how extended ctrl keys are processed to fix C-S-Tab and C-;.

Unbreak rtable regress test. Define _KERNEL in some crucial spots so that
the include guard in rtsock.h is bypassed and critical defines like rtentry
show up. Also remove the old RADIX bits, rtable code is art only for a while.

Fix rde_decide_test regress test

Add a basic regress test to test the 'rde evaluate all' feature.

Use tee(1) so that the bgpctl output is visible during the run.

Move mode set/reset after sync so cursor doesn't flicker, from Avi
Halachmi.

Handle C-Tab correctly with extended keys, GitHub issue 2642.

handle iso dir

Cast XML_GetCurrentLineNumber() to unsigned long long in warnx since
expat my either use unsigned long or unsigened long long as return value
depending on compile options. This upcast is an easy way around this issue.
OK deraadt@

Spaces, no functional change

Add a flag to disable keys to close a message, GitHub issue 2625.

Permit shortcut keys in buffer, client, tree modes to be configured with
a format; the default remains the line number. GitHub issue 2636.

Document bpe(4)

Diff from Marcus MERIGHI <mcmer-openbsd at tor dot at>, thanks.

Feedback OK jmc
OK dlg

Document 'request' option to request additional configuration payloads.

ok patrick@

KNF, capitalization, whitespace

Remove dead code for unused IMSG_CTL_NOTIFY messages.

Some vestigial code left over from when priv-sep was implemented.

ok mlarkin@

Create a sparc64 install*.img file also
tested by kettenis

vnconfig is run without a label-type (install360), because in-Makefile
scripting calculates msdos+ffs layout, so FSTYPE= is not neccessary.

On systems that hide the PCI bridge device corresponding to a PCIe RC port
we may end up passing a NULL pointer to pcie_get_speed_cap().  Handle this
by returning PCI_SPEED_UNKNOWN instead of dereferencing a null-pointer.

ok jsg@

Correct a comment: reference the correct file

bwfm(4) needs firmload

Otherwise compiling a kernel witout any other wifi drivers fails.

OK patrick deraadt

do not build unused code and remove uneeded dependency on libm.

ok tb@

Update a stale comment and fix a typo.

sync

Fix two typos in comments

sure deraadt@

build arm64 install*.img
requested by kettenis, first testing by kn

Make sure the ip header lands on a 4 byte alignment by adding 2 bytes
padding because the ethernet header in front is only 14 bytes.
Found the hard way by me while testing on sparc64.
Solution suggested by & OK deraadt

Add cabal-module(5) man page

OK kn

remove dead code and unused dependencies

ok tb@

Do not compare TLS config params for non-TLS servers. This allows to
mix 'listen * port 80' and 'listen * tls port 443' in one server block.
Also the last argument of server_tls_cmp - match_keypair - is always 0
so remove this code.
OK florian@ tb@ some long time ago

bump smtpd version

regen

add pcidevs entries for Aquantia ethernet devices

It is macobio0;  hit with the cluestick from jsg

allow to specify tls ciphers and protocols on listeners

ok tb@

When a DHCP server sends an invalid T1 or T2 default back to the default
values as specified in RFC2131 section 4.4.5. Allows my Comtrend VI-3223u
to work.

OK florian@

synopsis: macobio0* -> macobio*

Add a minimal regress test for the http client code.
This currently uses some external website to do redirect test and
to check both regular and chunked downloads.
Only for libressl because you can't mix openssl 1.1 and libtls on OpenBSD.

Only modify routes if SA has a valid address lease.  On IKE SA rekey
sa_cp_addr and sa_cp_addr6 are moved to the new SA before the old
SA is deleted.
Fixes a bug where host routes were deleted on IKE SA rekey.

ok patrick@

Change a type to fix a warning with some compilers.

Tidy up the http state machine a bit. Make sure that http_nextstate() runs
until an error or an IO opperation is needed. In other words it should not
return 0. Because of this adjust the http_tls_connect() call a bit. Also
call http_connect() in http_redirect() instead of needing an extra step
in the state machine. Last but not least make sure that http_handle() does
only one IO operation and check for possible POLLHUP event.
OK tb@

An extra internal consistency check and a missing stats adjustment. ok tb@

Cache implementation has changed, we do not hold on to an exact number
of pages anymore, but also cache larger regions; ok tb@

Fix release time

ok deraadt

Expose two extra metrics via JSON

This removes some of the needs of rpki-client affiniadios who
screen-scrape rpki-client's STDOUT.

OK deraadt@

sync

Increase buffer size for http_info a bit. 64 chars is a bit short for
RRDP URLs.

Refactor the regular and chunked data write so that one function can
handle both cases. Simplifies the code a fair bit.
OK tb@

Do not request unused "classless-static-routes" dhcp-options(5)

Doing so implies support for it, but dhcpleased(8) currently ingores it
entirely and does not configure any route from it.

As per RFC 3442 servers SHOULD NOT respond with a "routers" option when
"classless-static-routes" is set.

dhcpd(8)/dhcpd.conf(5) follows that, hence requesting but not using static
routes results in not installing any routes at all.

Stop signaling support for this option and only request "routers" such that
dhcpleased continues to install a default route and properly ignores the
unsupported option if used by the server.

Report from Uwe Werler <uwe @ werler dot is> about a default route not
being set when requesting the "classless-static-routes" dhcp-options(5)
from dhcpd(8), thanks!

OK florian

Enable test-cve-2016-6309.py

Switch logic from != to ==. Makes the code easier to read.

Change the order of the poll loop to first process active http connections
and then accept new ones. This way there is no risk of processing a new
connection before poll() was called.
OK tb@ as part of a larger diff

Shuffle deck chairs so that the order is more logical (at least for me).
No functional change.

Prevent a use-after-free access in case of a http redirect by also clearing
the conn->res pointer after calling freeaddrinfo().
OK tb@ (as part of a bigger diff)

More cleanup of the main function. Use a loop to collect all childs with
waitpid() and print if they exited non-zero or by a signal. Also adjust
the poll hangup case to exit the poll loop instead of erroring out. This
way a crashed child should be reported before exit.
OK job@ tb@

Missing setproctitle("rrdp") noticed by deraadt@

Log the key written to the terminal as well as tmux's idea of what it
is.

reword manpage on -n

OK claudio@