Enable all the #notyet tests since the parser supports those now

prefix-set printing was adjusted in last commit. Adjust test.

Rework the parser a bit to be more sane when it comes to newline and comma
handling. In expansion lists we want that commas and newlines are allowed
but optional. In the neighbor, group and rdomain blocks statements need to
be newline separated but neighbor 192.0.2.3 { descr "test-peer" } is allowed.
OK sthen@ benno@

Write asset as as_set since the other word is already used in English.
benno@ agrees, OK compiler

Fixup regress test after the last burst of commits by benno@

sync header line with whats actually in the output.
ok claudio@

Make it clear what 'dynamically added' prefixes are.
Say that adding a prefix will overwrite an existing (equal) prefix.
ok claudio@

update example bgpd.conf to use new config language features:
network prefix-set ... and filters with prefix-set ... or-longer.
ok claudio@

Fixup unit test after change to trie_match (or-longer case)

Clean up prefix flag handling. First of all the dynamic networks no longer
need this and are now treated equally to the network statement in the config.
This makes bgpctl network delete <net> also remove a network which was defined
in the config.
While there remove the other use of flag which was done to support Adj-RIB-Out
but the direction we're taking is no longer needing that. Makes code simpler
again.
OK benno@

Add network prefix-set <name> syntax to announce networks in a prefix-set.
feature discussed with deraadt@ and job@, ok claudio@

rdomains can be deleted again - remove caveat, tell ppl how to delete, and
show an example. reminded by kn

allow the automatically created loopback interfaces in rdomains to be
deleted if the rdomain doesn't contain any other interface. turn the rdomain
back into an ordinary, empty rtable in that case.
with this and the previous commits one can get rid of rdomains again without
rebooting, which wasn't possible any more for some time
ok bluhm, input mpi

if_setrdomain: allow empty rtables to be turned into rdomains, not just
nonexistant ones as before. nasty error handling with bluhm, feedback mpi as
well. ok bluhm

provide rtable_empty(), returns 1 if the rtable doesn't contain any routes
ok bluhm

tweak previous;

Add disk format tests.

Thanks to Ori Bernstein.

Add tests for disk format.

Thanks to Ori Bernstein.

Add initial qcow2 image support.

Users are able to declare disk images as 'raw' or 'qcow2' using either
vmctl and vm.conf.  The default disk image format is 'raw' if not specified.

Examples of using disk format:

vmctl start bsd -Lc -r cd64.iso -d qcow2:current.qc2
or
vmctl start bsd -Lc -r cd64.iso -d raw:current.raw
is equivalent to
vmctl start bsd -Lc -r cd64.iso -d current.raw

in vm.conf
vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.qc2" format "qcow2"
    interface { switch "external" }
}

or

vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.raw" format "raw"
    interface { switch "external" }
}

is equivlanet to

vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.raw"
    interface { switch "external" }
}

Tested by many.

Big Thanks to Ori Bernstein.

Bump NMBCLUSTERS to a more reasonable 256MB instead of the tiny 4MB.
May help ports builders to not run out of memory.
Lots of agreement and OK n2k18@

missing Ed;

implement or-longer filter op for prefix-sets. Allows one two write rules like
  deny from any prefix-set mynetworks or-longer
ok claudio, feature discussed with job and deraadt

Enforce that "join" and "nwid" may not be used at the same time.

OK stsp@

Allocate path only when needed, use __func__

Remove now unused code for EVP_CIPH_FLAG_AEAD_CIPHER and EVP_CIPH_GCM_MODE.

ok inoguchi@ tb@

SSL_MAX_DIGEST is no longer needed.

Error out early on bad anchor usage

`pfctl -a foo' would do nothing with the non-existent anchor and exit 0.
This implements behaviour as documented in pfctl(8):

-a anchor
    Apply flags -f, -F, and -s only to the rules in the specified
    anchor.

While here, hoist a duplicate "_" check by using the more mnemonic `mode'.

OK henning sashan

ASN1_OBJECTs should be freed with ASN1_OBJECT_free(3), not with free(3).

ok inoguchi, jsing

Check for malloc() failures.

Initial diff from Clemens Goessnitzer on tech@

Feedback and ok tb@

Split the pf(4) fragment reassembly queue into smaller parts.
Remember 16 entry points based on the fragment offset.  Instead of
a worst case of 8196 list traversals we now check a maximum of 512
list entries or 16 array elements.
discussed with claudio@ and sashan@; OK sashan@

Regress tests for as-set and prefix-set blocks

Add some additional config regress tests. Testing neighbor, group and rdomain.

More BGPD_OPT_NOACTION checking to make regress happier.

If BGPD_OPT_NOACTION is set don't check that the rdomain exists.
This makes it possible to use bgpd -nv in regress with unknown rdomains.

Fix indent and adjust line fit to 80 columns.

indent labels

missing word & a couple of typos

use symbolic integer values for the different tls options when relaying,
rather than a confusing set of flags.

ok gilles@

Split test blocks into a function. Test contents are not changed.

Change the way we parse prefix-sets so that newlines are allowed in more
places and so prefix-sets look a lot better. Currently commas are not allowed
but they will come back soon.
OK benno@

Fix print_as_sets() a bit.
OK benno@

add a check for curly braces in a macro being used inside a filter
rule with curly braces

Remove optional commas from example config. In the future these optional
commas may become a syntax error.

Test more ciphers and randomize the order in regress appstest.sh

- change test target ciphers
- randomize the test ciphers order
- display test cipher count

blkfree() takes no action for NULL pointer so callers can avoid checking.

ok jca@

Don't cause an error when setting the same rdomain.
Found by asou at soum.co.jp.

ok claudio mpi akoshibe benno

More __func__ to fix error messages

Make host_*() AF-agnostic

Merge host_v{4,6}() into much simpler host_ip() using just getaddrinfo().

host_dns() uses the same procedure.

OK naddy

The debug function trie_dump() should use stderr since that does not case
that much problem with the regress test which writes its stuff on stdout.

Fix function name in error messages by using __func__

fix badly broken reload of filter rules that use prefix-sets. debugged
and fixed with/by claudio@

Not adding ::1 on non-default lo(4) broke regress/sbin/route.
Adjust test's expected output files.
OK mpi@

Regress test for rde_trie should cover some basics for now.

fgetln(3) -> getline(3); from Lauri Tirkkonen; ok millert@

Remove wildcard address on loopack remnants

henning@ removed this functionality years ago, see the share/man/man4/lo.4
revision 1.27.

OK jca claudio

tests all available TLSv1.2 ciphers

Revert earlier revert.
It turned out the issue was a badly applied diff on stsp@'s machine.

OK stsp@

Add missing htonl() else matching does not really work.

remove some unused variables and otherwise tidy up a bit.

Fragment one large 64k IP ping packet into 155 fragments, each with
424 bytes payload.  Send them in random order.  Expect a fragment
with matching echo reply header.

Document the spin CPU state column

ok yasuoka@ jca@

Remove unnused af argument from unmask(), sync with pfctl

Noted by jca, thanks.

OK jca claudio

remove unused function find_prefixsetitem(), ok claudio@

Backout recent cp(1) changes; they broke texlive's mktexlsr(1)

Some space fixes mentioned by benno@

Explain the special case for redirect to localhost in a comment.
input and OK claudio@

Implement a fast presix-set lookup. This magic trie is able to match a
prefix addr/plen to a prefix-set spec addr/plen prefixlen min - max (a
prefix including prefixlen range). Every addr/plen pair is a node in the
trie and the prefixlen is added as a bitmask to those nodes.
For the lookup the any match is OK, there is no need to do longest or
best prefix matching.
Inspiration for this solution comes from the way bird implements this
which was done by Ondrej Zajicek santiago (at) crfreenet.org
OK benno@

Make print_hostname() less AF-specific

Reduce differences address families and replace strlcpy() with simpler
if/else logic as done in print_addr_str().

OK sashan

Declare strings passed to local_listen() as const.  This makes it
consistent to remote_connect() and getaddrinfo(3).
from Nan Xiao

allow as4number_any in as-sets. Otherwise you cant filter bogon as'es.
ok claudio@

Refactor a bit and add another test

Do not send a Content-Length header for 1xx and 204 status codes since
RFC 7230 states that a server MUST NOT do so.
At least relayd chokes on this.

Pointed out & diff by Carlin Bingham (cb AT walcyrge.org), thanks!
OK benno

Add a basic unittest for the as_set_* functions

Move the config regress tests into own directory making space for additional
unittests and maybe more. bgpd needs more test coverage.
Discussed with bluhm@

Fix the build after removing an unused af argument from unmask().

ok claudio@

Rename dne in copy_file to exists to be more consistent with the other
copy_* functions.

OK stsp@

replace malloc()+strlcpy() with strndup() in cmdline_symset().

"looks good" gilles@ halex@

Fix "_nfiles" reference for crash dump.
Diff from fukaumi at soum.co.jp

ok mpi

Also verify a overwrite for the copy of a fifo, link and device node.

OK stsp@

Move the question to allow a copy to its own function.

OK stsp@

The combination of -v and -i and the deny of a copy would cause the copy
still to be printed. This fixes that edge-case.

OK stsp@

tweak previous;

Remove some newlines that have gone with last commit.

When parsing AS numbers set both as_min and as_max to the parsed value.
Not strictly needed but better to have both initialized.

Add a dummy as_set_match() function since it is needed to link util.c now.

Implement as-set a fast lookup table to be used instead of long list of
AS numbers in source-as, AS and transit-as filterstatements. These table
use bsearch to quickly verify if an AS is in the set or not.
The filter syntax is not fully set in stone yet.
OK denis@ benno@ and previously OK deraadt@

Add FALLTHROUGH comments where appropriate.  Patch from jjelen at redhat
via bz#2687.

clarify that goto error in alloc_all_endpoints_fixed_ep() always returns
USBD_INVAL.

ok mpi@

move initial jack count to alloc_all_endpoints(), and reset count to zero
in free_all_jacks().

ok stsp@ ratchov@

ssh -MM requires confirmation for all operations that change the
multiplexing state, not just new sessions.

mention that confirmation is checked via ssh-askpass

Add retguard macros to cpu_switchto, setjmp, longjmp.
ok kettenis@

Use getline() for the network bulk code. Also make the parser better by
doing tokenizing on spaces and correctly ignore comments.
This should make this feature in general more robust.
OK benno@

Drop SSL_CIPHER_ALGORITHM2_AEAD flag.

All of our algorithm_mac == SSL_AEAD cipher suites use EVP_AEAD, so we can
condition on that rather than having a separate redundant flag.

ok tb@

get rid of a temp file, noted by claudio@

If we cannot stop the endpoint when aborting a transfer assume that
the device is gone and give back the descriptor to the stack.

Without this usbd_abort_pipe() could end up in an infinite loop.

Issue reported by Tom Murphy.

when people update /etc/example/bgpd.conf, the forget to update the
regression test.

- make bgpd-example just check the config file we ship,
to make sure the config is not broken

- make bgpd-printconf checks a config file, writes the parsed output to a file
and checks if that file is parsable config, i.e. this check makes sure that
the config printer produces parsable configuration.

This way we still have to update the regression tests when the syntax
changes, and we fail if the commited example is bad, but we do not fail
just because someone forgot to update a file here.

ok claudio

Remove unused af argument from unmask()

This has been unused for years.

While here, zap the duplicate function signature from pfctl.h (already
present in pfctl_parser.h); spotted by sashan, thanks.

OK sashan

Fill netmask AF-independently in print_host()

Instead of masking the host address in two different ways, just fill it
no matter the address family. In case of AF_INET, setting the extra 96 bit
does not hurt.

While here, stop resetting `af' for no reason and move up the variable
declaration.

OK benno sashan

Do not close the socket twice in netcat.
from Nan Xiao; OK tb@

fix whitespace