Add some additional config regress tests. Testing neighbor, group and rdomain.

More BGPD_OPT_NOACTION checking to make regress happier.

If BGPD_OPT_NOACTION is set don't check that the rdomain exists.
This makes it possible to use bgpd -nv in regress with unknown rdomains.

Fix indent and adjust line fit to 80 columns.

indent labels

missing word & a couple of typos

use symbolic integer values for the different tls options when relaying,
rather than a confusing set of flags.

ok gilles@

Split test blocks into a function. Test contents are not changed.

Change the way we parse prefix-sets so that newlines are allowed in more
places and so prefix-sets look a lot better. Currently commas are not allowed
but they will come back soon.
OK benno@

Fix print_as_sets() a bit.
OK benno@

add a check for curly braces in a macro being used inside a filter
rule with curly braces

Remove optional commas from example config. In the future these optional
commas may become a syntax error.

Test more ciphers and randomize the order in regress appstest.sh

- change test target ciphers
- randomize the test ciphers order
- display test cipher count

blkfree() takes no action for NULL pointer so callers can avoid checking.

ok jca@

Don't cause an error when setting the same rdomain.
Found by asou at soum.co.jp.

ok claudio mpi akoshibe benno

More __func__ to fix error messages

Make host_*() AF-agnostic

Merge host_v{4,6}() into much simpler host_ip() using just getaddrinfo().

host_dns() uses the same procedure.

OK naddy

The debug function trie_dump() should use stderr since that does not case
that much problem with the regress test which writes its stuff on stdout.

Fix function name in error messages by using __func__

fix badly broken reload of filter rules that use prefix-sets. debugged
and fixed with/by claudio@

Not adding ::1 on non-default lo(4) broke regress/sbin/route.
Adjust test's expected output files.
OK mpi@

Regress test for rde_trie should cover some basics for now.

fgetln(3) -> getline(3); from Lauri Tirkkonen; ok millert@

Remove wildcard address on loopack remnants

henning@ removed this functionality years ago, see the share/man/man4/lo.4
revision 1.27.

OK jca claudio

tests all available TLSv1.2 ciphers

Revert earlier revert.
It turned out the issue was a badly applied diff on stsp@'s machine.

OK stsp@

Add missing htonl() else matching does not really work.

remove some unused variables and otherwise tidy up a bit.

Fragment one large 64k IP ping packet into 155 fragments, each with
424 bytes payload.  Send them in random order.  Expect a fragment
with matching echo reply header.

Document the spin CPU state column

ok yasuoka@ jca@

Remove unnused af argument from unmask(), sync with pfctl

Noted by jca, thanks.

OK jca claudio

remove unused function find_prefixsetitem(), ok claudio@

Backout recent cp(1) changes; they broke texlive's mktexlsr(1)

Some space fixes mentioned by benno@

Explain the special case for redirect to localhost in a comment.
input and OK claudio@

Implement a fast presix-set lookup. This magic trie is able to match a
prefix addr/plen to a prefix-set spec addr/plen prefixlen min - max (a
prefix including prefixlen range). Every addr/plen pair is a node in the
trie and the prefixlen is added as a bitmask to those nodes.
For the lookup the any match is OK, there is no need to do longest or
best prefix matching.
Inspiration for this solution comes from the way bird implements this
which was done by Ondrej Zajicek santiago (at) crfreenet.org
OK benno@

Make print_hostname() less AF-specific

Reduce differences address families and replace strlcpy() with simpler
if/else logic as done in print_addr_str().

OK sashan

Declare strings passed to local_listen() as const.  This makes it
consistent to remote_connect() and getaddrinfo(3).
from Nan Xiao

allow as4number_any in as-sets. Otherwise you cant filter bogon as'es.
ok claudio@

Refactor a bit and add another test

Do not send a Content-Length header for 1xx and 204 status codes since
RFC 7230 states that a server MUST NOT do so.
At least relayd chokes on this.

Pointed out & diff by Carlin Bingham (cb AT walcyrge.org), thanks!
OK benno

Add a basic unittest for the as_set_* functions

Move the config regress tests into own directory making space for additional
unittests and maybe more. bgpd needs more test coverage.
Discussed with bluhm@

Fix the build after removing an unused af argument from unmask().

ok claudio@

Rename dne in copy_file to exists to be more consistent with the other
copy_* functions.

OK stsp@

replace malloc()+strlcpy() with strndup() in cmdline_symset().

"looks good" gilles@ halex@

Fix "_nfiles" reference for crash dump.
Diff from fukaumi at soum.co.jp

ok mpi

Also verify a overwrite for the copy of a fifo, link and device node.

OK stsp@

Move the question to allow a copy to its own function.

OK stsp@

The combination of -v and -i and the deny of a copy would cause the copy
still to be printed. This fixes that edge-case.

OK stsp@

tweak previous;

Remove some newlines that have gone with last commit.

When parsing AS numbers set both as_min and as_max to the parsed value.
Not strictly needed but better to have both initialized.

Add a dummy as_set_match() function since it is needed to link util.c now.

Implement as-set a fast lookup table to be used instead of long list of
AS numbers in source-as, AS and transit-as filterstatements. These table
use bsearch to quickly verify if an AS is in the set or not.
The filter syntax is not fully set in stone yet.
OK denis@ benno@ and previously OK deraadt@

Add FALLTHROUGH comments where appropriate.  Patch from jjelen at redhat
via bz#2687.

clarify that goto error in alloc_all_endpoints_fixed_ep() always returns
USBD_INVAL.

ok mpi@

move initial jack count to alloc_all_endpoints(), and reset count to zero
in free_all_jacks().

ok stsp@ ratchov@

ssh -MM requires confirmation for all operations that change the
multiplexing state, not just new sessions.

mention that confirmation is checked via ssh-askpass

Add retguard macros to cpu_switchto, setjmp, longjmp.
ok kettenis@

Use getline() for the network bulk code. Also make the parser better by
doing tokenizing on spaces and correctly ignore comments.
This should make this feature in general more robust.
OK benno@

Drop SSL_CIPHER_ALGORITHM2_AEAD flag.

All of our algorithm_mac == SSL_AEAD cipher suites use EVP_AEAD, so we can
condition on that rather than having a separate redundant flag.

ok tb@

get rid of a temp file, noted by claudio@

If we cannot stop the endpoint when aborting a transfer assume that
the device is gone and give back the descriptor to the stack.

Without this usbd_abort_pipe() could end up in an infinite loop.

Issue reported by Tom Murphy.

when people update /etc/example/bgpd.conf, the forget to update the
regression test.

- make bgpd-example just check the config file we ship,
to make sure the config is not broken

- make bgpd-printconf checks a config file, writes the parsed output to a file
and checks if that file is parsable config, i.e. this check makes sure that
the config printer produces parsable configuration.

This way we still have to update the regression tests when the syntax
changes, and we fail if the commited example is bad, but we do not fail
just because someone forgot to update a file here.

ok claudio

Remove unused af argument from unmask()

This has been unused for years.

While here, zap the duplicate function signature from pfctl.h (already
present in pfctl_parser.h); spotted by sashan, thanks.

OK sashan

Fill netmask AF-independently in print_host()

Instead of masking the host address in two different ways, just fill it
no matter the address family. In case of AF_INET, setting the extra 96 bit
does not hurt.

While here, stop resetting `af' for no reason and move up the variable
declaration.

OK benno sashan

Do not close the socket twice in netcat.
from Nan Xiao; OK tb@

fix whitespace

Implement 64-bit DMA support in sdhc(4).

tested in snaps
ok kettenis@

execute the same code for failure of assign_all_jacks_automatically()
and attach_all_mididevs(). this ensures unbind_all_jacks() and
usbd_deactivate() happen for both cases.

ok ratchov@

sync icmp_mtudisc_clone() with icmp6_mtudisc_clone(); prompted by bluhm@

Move AF-specific mask logic from callers into set_ipmask()

Instead of doing the same dance with every caller, check for user provided
mask or address familiy specific maximum inside the function itself.

Feedback and OK claudio

synchronize resolver code with smtpd

Implement most prefixlen operations as OP_RANGE (prefixlen A - B).
Simplify the RDE logic this way and make it possible to load such ranges
into a much faster lookup trie for prefix-sets.
When printing the config bgpd tries to use the nices way to express the rule:
e.g.    match from any prefix 18.0.0.0/8 prefixlen 8 - 32
becomes match from any prefix 18.0.0.0/8 or-longer
Apart from that there is no user visible change because of this.
OK sthen@

Use the newer/more sensible names for EVP_MD_CTX_* functions.

 EVP_MD_CTX_create -> EVP_MD_CTX_new
 EVP_MD_CTX_destroy -> EVP_MD_CTX_free

This should make the intent more obvious and reduce head scratching during
code reviews.

Raised by tb@

Correctly clear the current cipher state, when changing cipher state.

When a renegotiation results in a change of cipher suite, the renegotation
would fail if it switched from AEAD to non-AEAD or vice versa. This is due
to the fact that the previous EVP_AEAD or EVP_CIPHER state remained,
resulting in incorrect logic that caused MAC failures.

Rename ssl_clear_cipher_ctx() to ssl_clear_cipher_state() and split it
into separate read/write components, then call these functions from the
appropriate places when a ChangeCipherSpec message is being processed.
Also, remove the separate ssl_clear_hash_ctx() calls and fold these into
the ssl_clear_cipher_{read,write}_state() functions.

Issue reported by Bernard Spil, who also tested this diff.

ok tb@

Back out 1.4, it broke things

Serialize synchronous commands with a rwlock.

Prevent triggering an assert if two drivers try to submit a command
at the same time.

Issue reported by Tom Murphy.

rename flag

ok gilles@

Adjust after change of struct filter_as.
OK phessler@

Change the way as_compare() and aspath_match() handle 'neighbor-as'. Instead
of doing the condition before calling aspath_match() just pass the neighbor-as
down to as_compare() which then has all needed data for the lookup. While
doing this also remove one of the as fields in struct filter_as since the
min/max fields can be reused for unary operations.
OK denis@ phessler@

factor error code in icmp6_mtudisc_clone(); ok kn@ florian@

Add "op" column for CP_SPIN.  Diff from fukaumi at soum.co.jp

ok solene

rename token to match naming convention

ok eric@

Use error label in host_if()

This brings it in line with host() and host_dns().

OK sashan miko

Change verification of communities a bit. Move the flag checking first since
it is currently terminal and then do the length check. If that one triggers
do a treat-as-withdraw but at the same time drop the bad attribute since it
is better to not have invalid attributes in the Adj-RIB-In since most code
does not expect that.
OK benno@

some text improvements from matt schwartz; ok gilles

do not use the literal string "label" as our example label; ok gilles

rework the text about "label" somewhat for clarity; ok eric

Add defines for dealing with PCID support in cr3

ok mlarkin@

use timing-safe compares for checking results in signature verification
(there are no known attacks, this is just inexpensive prudence)

feedback and ok tb@ jsing@

Forgot to rename pf_frent_holes() prototype in previous commit.

Avoid traversing the list of fragment entris to check whether the
pf(4) reassembly is complete.  Instead count the holes that are
created when inserting a fragment.  If there are no holes left, the
fragments are continuous.
idea from claudio@; OK claudio@ sashan@

remove useless session flag

ok gilles@

move readmes detection to find_extractible, so that only changed/new readmes
are recorded.

Be more specific and list those readmes in alphabetic order at end.

document PKGSTEM changes

upon mda failure, smtpd would assume tempfail and retry. this is at odds
with the other MTA which assume a permfail unless the exit status is one
of a specific set. make smtpd honour the same exit statuses as postfix.

note that all errors that occur before the user mda is executed (fork, pipe
and related) are still considered tempfail, only errors coming from the mda
itself are handled as permfail.

this commit is a temporary solution as i believe the SIGCHLD handler is way
more complex than it should be and we'll simplify it after 6.4 is out.

ok eric@

Correct usbd_abort_pipe() signature.

From Artturi Alm.

Introduce inet4applymask() which does the same as inet6applymask() and
can be used instead of doing direct fiddling around with struct in_addr.
Use it in a few cases where it makes the code more similar between INET
and INET6 case.
OK denis@