use private data structure for managing static table content

ok gilles@

move the smtp_mailaddr() calls _before_ filters indirection as filters MUST
only receive valid MAIL FROM and RCPT TO parameters.

add some notes about using col and ul to process the ascii markup
since these may not be commonly known utilities.
with schwarze

Request RSA-SHA2 signatures for rsa-sha2-{256|512}-cert-v01@openssh.com
cert algorithms; ok markus@

Check if a control socket or address is already in use befor using it.
If it is used abort startup or let a reload fail.
Sockets are now not unlinked anymore on regular shutdown.

This helps a lot when one tries to do a config check without -n.

Inputs and OK claudio@

When netbooting a vm using the `-B net' option, set the hostname DHCP
option in the lease to the name of the vm. Makes it easier to use
dedicated autoinstall response files for different vms.

ok ccardenas@

Cope with latest change to KIOENABLE. While here, make it possible to test
different trace modes.

Make KIOENABLE accept a mode argument, currently limited to KCOV_MODE_TRACE_PC.

Thanks to jmc@ for improving the manual bits.

ok deraadt@ mpi@

remove unused file

fifo isn't really the right data structure for varying expirations.
convert to a simple rbtree ordered by expiration time.
ok anton

must remember to unref device if setting the task isn't done.
ok anton

too many words in previous;

Rename ufdesc to udpfd to make the code slightly more intuitive.

convert to unsigned variables to avoid some overflows.
analysis and patch from David Fifield

port ranges can be ambiguous with hypenated port-names.
specify that ranges must be numeric, and only check for range if
first argument is a digit.
identified by danj, fix suggest by sthen

Rename routehandler() to routefd_handler() to make the code slightly
more intuitive.

Rename bfdesc to bpffd and packethandler() to bpffd_handler() to make
the code slightly more intuitive.

Check for main ruleset explicitly

All rulesets reference their parent anchor, except for the special cased
main anchor containing the main ruleset, which's reference is always NULL
since initialization and never changes.

Replacing nullity tests with clearer equality checks makes the code less
ambigious and easier to understand.

OK sashan

Zap duplicate struct declaration

These are in <net/pfvar.h> already.

OK sashan

No need to return early when setting the tick stop.

extract subaddress from last resolved node, not from dest or rcpt address
which was incorrect and can lead to ambiguous cases, this will affect the
people who were using subaddresses within aliases themselves AND expected
deliveries to a maildir subdir of the recipient user.

ok eric@

table_fetch() always expect a valid dst pointer.

ok gilles@

move the iterator variable in the private handle.
it is now correctly reset between updates.

ok gilles@

introduce dump() and add() table methods, only implemented for static tables.

ok gilles@

Convert K&R function definitions to modern C. clang is more picky about
them.
OK otto@ deraadt@

Move away from K&R style function definitions. clang is rather picky about
them especially if char and short arguments are used.
OK otto@ deraadt@

Do not assign node to itself. Instead move the earlier initialisation into
the for loop. Makes clang happier.
OK otto@, deraadt@

remove dead code, we will only support ramstat stat backend

ok eric@

sort and rename tests

Separate kcov descriptor state and trace mode as a first step towards supporting
different trace modes.

ok mpi@

pass the table pointer to the lookup()/fecth() methods

ok gilles@

change the close() method to take the table pointer

ok gilles

Make the backend open method return an int to report success.
The implementation is responsible for setting the handle pointer
as needed.

ok gilles@

ssh_packet_set_state() now frees ssh->kex implicitly, so don't
do explicit kex_free() beforehand

move client/server SSH-* banners to buffers under ssh->kex and factor
out the banner exchange. This eliminates some common code from the
client and server.

Also be more strict about handling \r characters - these should only
be accepted immediately before \n (pointed out by Jann Horn).

Inspired by a patch from Markus Schmidt.
(lots of) feedback and ok markus@

reorder parameters for consistency

uncouple AF_MPLS and AF_INET

input and OK mpi@

simplify code

ok gilles@

document kern.pool_debug; ok tedu@

introduce a table_match() function to check for a key in a table

ok gilles@

Make AES CCM available in tables.
Omission reported by reyk and Alice Wonder.

ok bcook jsing

sync

get rid of the unused dict argument in table lookup and fetch api.

ok gilles@

unbreak VPN routes installation into FIB

OK claudio@

move the table backend name in the backend struct.
remove unused function.

ok gilles@

Remove the rasops24_erasecols and rasops24_eraserows functions from
rasops(9).

We only build rasops24 functions on amd64 (for EFI support in QEMU) and
on armv7 and arm64, and we can safely use the generic functions on those
platforms, like we do for all other color depths. No other platform uses
rasops24, Miod explains why here [1].

No performance regression observed when testing with QEMU in EFI mode.

[1] https://marc.info/?l=openbsd-ppc&m=118664346819989&w=2

OK kettenis@

when passing message to filters, do not worry yet about handling DATA
errors as this requires more work and is caught on stream back anyways

Use estimates of speed to improve gesture detection.

ok mpi@ (to the concept)

revert "kill a region if 'delete' or 'backspace' is pressed"
This caused a change of behaviour in the search case, and isn't yet ready.

Committing on the behalf of lum@

OK lum@

test dying kcov descriptor logic

In the kcov ioctl(KIOSETBUFSIZE) path, malloc() can sleep. Double check that
someone else didn't win the race.

ok mpi@

rework icmp6_error() to be closer to icmp_error()

input & OK mpi@

No need for magic tick_msg(NULL,..) call to
set stop time. The stop time is always
config->link_timeout seconds after the
first call to tick_msg().

Remove unused static function since clang errors out because of this.
OK visa@, mpi@, guenther@

Use the same additional arch specific files for sparc64 as is done for mips
or aarch64. Needed to build userland with clang.
OK visa@ kettenis@

bugfix: make the static class buffer long enough
for .Bl -bullet -compact -offset indent

Always use log_getverbose() instead of sometimes checking OPT_VERBOSE
flag.

mandoc.css lives in /usr/share/misc now; use full paths to indicate this.
ok schwarze

install /usr/share/misc/mandoc.css
users of -T html normally need this file,
so the source tree should not be the only place to get it
pointed out by millert@, OK millert@ deraadt@ tedu@

tick_msg() needs to note that it has called go_daemon(), since
dhclient could have been started with '-d'. Which means go_daemon()
may not actually daemonize. Which means isatty(STDERR_FILENO) may
always return 1. Which means "...  sleeping" messages would be
emitted forever. e.g. running with '-d' and never successfully
obtaining a lease.

Make this page much more readable by deleting as much text as possible
about functions that are deprecated, identical to other functions, and
never made sense in the first place.
As deraadt@ points out, we should not hide the information that
matters in a heap of clutter.  It would waste reader's time and
make confusion and accidental misuse more likely.
OK deraadt@ jmc@

Adjust cpsw for linux 4.20 device tree changes.  The location of the phy
is now found via phy-handle instead of phy_id.

Add support for generating a REPEATED START on operations where we first
write the register address and then read the register data in one go.

ok kettenis@

Finally, stop abusing .Ss and .Sx to mark up macros, use .Ic instead
since these are clearly commands in a domain-specific language.  As
a nice side effect, the resulting list allows including the synopsis
for each macro in the item head, reducing some repetitive verbiage.

Simplify and clarify instructions for .Ql, and deprecate .Li.
The macros .Ql, .Dl, and .Bd -literal leave no room for any
valid use case for .Li whatsoever.
General direction discussed with jmc@.

remove dead code

ok gilles@

the tree_* and dict_* api's in smtpd can be used standalone, do not have
them depend on smtpd.h, it makes it hard to reuse them elsewhere

ok eric@

Simplify the table backend interface: lookup results are returned
as strings, and parsing is handled by the upper layer.

ok gilles@

when a filter chain is only used once, no need to create a named chain, it
can now be inlined on listen lines:  listen on all filter { foo1, foo2 }

when passing mail-from parameter to filters, pass the '<' '>' free version

Deprecate .Lp, use .Pp instead.
Simplicity matters, and fewer macros is simpler.
OK jmc@

simplify builtins

revive filters tracing (-T filters) to make it easier understand what is
happening at filters level

Add regress suite for the noperm mfs mount flag. Protection of the root vnode
should be effective now. Let's make sure it stays that way.

Rectify some issues with the noperm mount flag; the root vnode was not
protected properly and files without any x bit set were accidentaly considered
executable when checked with access(2).

Issues found and reported by deraadt, halex, reyk, tb
ok deraadt

EVP_MD_CTX_cleanup() is deprecated and doesn't free, so recommend using
EVP_MD_CTX_free() instead if the goal is to avoid leaking memory.

From my corresponding upstream commit, reminded by schwarze

Document EVP_PKEY_new_mac_key(3);
from Matt Caswell <matt at openssl dot org>
via OpenSSL commit d45a97f4 Mar 5 17:41:49 2018 +0000.

In the TOC, close <a> before opening <ul>.
Simplified version of a bugfix patch from rapha@.

sync

bgpctl can cause bgpd to do a lot of work (e.g. dumping all of the RIB)
but then bgpctl can quickly exit and bgpd still has to do all the work.
Instead introduce a terminate imsg to stop such long running commands if
bgpctl closes the connection before the run is over.
OK benno@, sthen@, deraadt@

Avoid using m_trailingspace(9) on an mbuf allocated with MGET(9) as it relies
on header fields that aren't initialized, which may trigger an assertion.
Check whether the control message doesn't exceed MLEN instead and turn the
check into a KASSERT as the driver should not generate control messages
that are larger.

with help form claudio@ (who points out that the driver should not use
MT_CONTROL here).

ok patrick@

introduce 'rcpt-to' builtin filter, can only be used on 'rcpt-to' hook

introduce 'mail-from' builtin filter, can be applied on the 'mail-from',
'rcpt-to', 'data' and 'commit' phases.

introduce 'helo' builtin filter, can be used on any hook but 'connect'

remove lka_filter_response() which is no longer used, and reshuffle a bit
the functions within the file to make it easier to read

simplify filter_protocol / filter_protocol_next by factoring code

while at it comment both filter_protocol_internal and filter_data_internal,
the gilles@ that will read this in six months will thank me.

simplify filter_data() and filter_data_next() by factoring logic

Add support for R_MIPS_PC32 relocation. It is needed for linking code
that has been compiled using clang.

The added code is based on old binutils code from year 2000.

Prodded by and OK jca@, OK kettenis@ guenther@

tree_xget() -> tree_get()

reuse existing tokens for builtin filter names to avoid creating too many
new keywords, 'check-rdns' & 'check-src' are not better than 'rdns' & 'src'

introduce new matching criteria 'from rdns' to match sessions based on rDNS
of the client, works with literal and tables, both string and regex:

match from rdns "mx1.poolp.org" for any action blahblah

remove space

prompted by jmc@

Delete irrelevant HISTORY details.  Simply use BN_rand(3); there
is no need to know at which time BN_pseudo_rand(3) was made the
same as BN_rand(3).  Considering that question might even mislead
people to attempt ill-advised #ifdef'ing.
Pointed out by deraadt@.

The wrong header file was given for EVP_PKEY_CTX_set_signature_md(3).
Also clarify to which algorithms it applies.
From Matt Caswell <matt at openssl dot org>
via OpenSSL commit d45a97f4 Mar 5 17:41:49 2018 +0000.

Document
EVP_PKEY_CTX_get_rsa_padding(3), EVP_PKEY_CTX_get_rsa_pss_saltlen(3),
EVP_PKEY_CTX_set_rsa_mgf1_md(3), and EVP_PKEY_CTX_get_rsa_mgf1_md(3).
From Antoine Salon <asalon at vmware dot com>
via OpenSSL commit 87103969 Oct 1 14:11:57 2018 -0700
from the OpenSSL_1_1_1-stable branch, which is still under a free license.

Document the ECDSA_SIG_new(3) return value.
Inspired by OpenSSL commit 6da34cfb Jun 2 16:17:32 2018 -0400
by Ken Goldman <kgoldman at us dot ibm dot com>,
but use the same wording as in ASN1_item_new(3) instead.

Clarify behaviour of DH_get0_pqg(3) and DH_get0_key(3) with NULL arguments;
from <Matthias dot St dot Pierre at ncp dash e dot com>
via OpenSSL commit 5777254b May 27 09:07:07 2018 +0200.

grammar and style fixes from wesinator at github
via OpenSSL commit 521738e9 Oct 5 14:58:30 2018 -0400

since we already support regex lookups in tables for builtin filters, let's
also support regex lookups in match rule criterias performing table lookups

ok millert@

do not tree_xget() sessions in filter_protocol_next(), filter_data_next() &
lka_proc_filter_in_session() because there are legitimate reasons a session
would no longer be around.

Since OpenBSD 6.1, BN_pseudo_rand*(3) does the same as BN_rand*(3).
Say so, and note that OpenSSL followed suit in 1.1.0 according
to OpenSSL commit 5ecff87d Jun 21 13:55:02 2017 +0100.