add a test for network statements with prefix-sets

tweak previous;

Mirror bluhm's fixes for proc.c daemons to dup /dev/null for child processes
in switchd(8).

OK henning@ bluhm@

fix typos

OK claudio@

Send many small fragments that exceed the pf reassembly queue limit.

During fragment reassembly, mbuf chains with packet headers were
created.  Add a new function m_removehdr() do convert packet header
mbufs within the chain to regular mbufs.  Assert that the mbuf at
the beginning of the chain has a packet header.
found by Maxime Villard in NetBSD; from markus@; OK claudio@

tweak the table commands somewhat; ok gilles

Limit the fragment entry queue length to 64 per bucket.  So we have
a global limit of 1024 fragments, but it is fine grained to the
region of the packet.  Smaller packets may have less fragments.
This costs another 16 bytes of memory per reassembly and devides
the worst case for searching by 8.
requestd by claudio@; OK sashan@ claudio@

use filterset_move() like all other network statements. It checks for
source == NULL, avoiding a possible crash introduced yesterday.
ok claudio@

do not immediately set the join'd network, the join command only updates
the list.

makes /etc/netstart very fast when ran while the interface is up

OK stsp@

update regression tests after previous commit. ok claudio@

remove some empty lines from printconf output. ok claudio@

vmd(8) clould close file descriptor 0 as not all fd fields were
properly initialized with -1.  Also avoid closing -1.
OK mlarkin@

During the fork+exec implementation, daemon(3) was moved after
proc_init().  As a consequence vmd(8) child processes did not detach
from the terminal anymore.  Dup /dev/null to the stdio file descriptors
in the children.
OK mlarkin@ reyk@

fix typo in the length of the essid we want to switch to

found with and OK stsp@

extract clearing WEP/WPA in ess into helper functions

Adjust the config to -current bgpd which makes it a lot more readable.
OK phessler@

use the correct essid when switching during the ioctl path

pointed out by stsp@

give set_ess a len variable, so we can correctly match the essid we want
to switch to.

pointed out by stsp@

Do not clear selection when searching.

Fix previous commit.  It mistakenly included a change for debug.

put the port into autonegotiate mode on attach, since that's the default
media setting.

tested by and ok ccardenas@

if the adapter can't determine the phy type on a port, pretend it's baseCR
so we get a usable list of media types to pick from.

tested by and ok ccardenas@

bit rates over 2G won't fit in an int, so use uint64_ts instead

pmap_activate() should match cpu_switchto, so set up ci_{kern,user}_cr3
if activating for the current thread and meltdown mitigations are in effect.
Not clear if it's actually possible to hit the case where this matters,
but it's the Right Thing.

ok mlarkin@

Simplify pmap_is_curpmap(): %cr3 can never match pm_pdirpa_intel here
as this code isn't present in those page tables

ok mlarkin@

Calculate automatically the padding necessary for lining up the
iretq instruction used when Meltdown mitigation is effect.  It got
pushed off when an lfence was added in locore.S rev 1.107, resulting
in two signals being sent instead of one when iretq faulted, and
neither signal had the correct sigcontext info.  Update the makefile
rule for locore.o to verify that things are correct.

ok mlarkin@

Teach binutils how to assemble INVPCID and how to disassemble
INV{EPT,VPID,PCID}

ok mlarkin@

merge in some missed bits from 1.7.0 to simplify update prep.

merge in some missed bits from 1.7.0 to simplify update prep.
(I think we actually had slightly beyond 1.7.0, I've left code bits but
there are some SSL->TLS changes which go away with this and will come back
with the update).

During the fork+exec implementation, daemon(3) was moved after
proc_init().  As a consequence httpd(8) and relayd(8) child processes
did not detach from the terminal anymore.  Dup /dev/null to the
stdio file descriptors in the children.
OK benno@

Enable the empty as-set and prefix-set tests since that is now allowed again

Allow for empty as-set and prefix-set definitions by adding explicit rules
for those because shift/reduce issues in the list with optional commas.
OK benno@

convert the things we save in 'join' into a single ioctl.  mixing related
settings over multiple calls was risky and racy.  Pass essid, wpa, and wep
paramaters in a single ioctl and process it atomically.

no change for 'nwid' users

OK stsp@ benno@

missing Xc;

Apply retguard to the last asm functions in the arm64 kernel. This completes
retguard in the kernel and brings the number of useful ROP gadgets at
runtime to zero.

ok kettenis@

Shut up a gcc warning about uninitialized use of min & max by adding a default
case in the switch statement. Found by denis@ and fix proposed by sthen@

use rib_valid() to check if a rib is useable. ok claudio@

Comment the empty as-set and prefix-set tests. This is not yet working.
Add a single asnum test, just to make sure that works as well

Can not allow empty as-set and prefix-set blocks right now. This produces
shit/reduce confilcts which need to be resolved first.

Make switchd(8) ignore PACKET_INs generated from looped traffic. Currently,
it responds to these messages with an invalid PACKET_OUT onto OFP*_PORT_ANY,
resulting in the switch responding with an error, causing switchd to
disconnect the switch.

OK phessler@ claudio@

use TAILQ_CONCAT in filterset_move(). ok claudio@

Fix a crash in rdistd triggered by the recent getpw{ent,nam,uid}
changes.  This stems from rdist stashing a pointer to the static
area used by getpw{ent,nam,uid} and using it to avoid repeating
passwd lookups when pw->pw_name matches the user to be looked up.

This relied on undefined behavior, and with the recent passwd
changes, is no longer possible as the old pointer will be invalidated.
A better approach is to use the upcoming uid_from_user(3) functions.
Found by and fix OK tim@

Remove another optnl. In general we no longer support a newline between
the keyword and "{". In this case it is 'set {'.
Newlines afterwards are accepted.

Bad merge, change a optnl to comma since that is what we want there.

Enable all the #notyet tests since the parser supports those now

prefix-set printing was adjusted in last commit. Adjust test.

Rework the parser a bit to be more sane when it comes to newline and comma
handling. In expansion lists we want that commas and newlines are allowed
but optional. In the neighbor, group and rdomain blocks statements need to
be newline separated but neighbor 192.0.2.3 { descr "test-peer" } is allowed.
OK sthen@ benno@

Write asset as as_set since the other word is already used in English.
benno@ agrees, OK compiler

Fixup regress test after the last burst of commits by benno@

sync header line with whats actually in the output.
ok claudio@

Make it clear what 'dynamically added' prefixes are.
Say that adding a prefix will overwrite an existing (equal) prefix.
ok claudio@

update example bgpd.conf to use new config language features:
network prefix-set ... and filters with prefix-set ... or-longer.
ok claudio@

Fixup unit test after change to trie_match (or-longer case)

Clean up prefix flag handling. First of all the dynamic networks no longer
need this and are now treated equally to the network statement in the config.
This makes bgpctl network delete <net> also remove a network which was defined
in the config.
While there remove the other use of flag which was done to support Adj-RIB-Out
but the direction we're taking is no longer needing that. Makes code simpler
again.
OK benno@

Add network prefix-set <name> syntax to announce networks in a prefix-set.
feature discussed with deraadt@ and job@, ok claudio@

rdomains can be deleted again - remove caveat, tell ppl how to delete, and
show an example. reminded by kn

allow the automatically created loopback interfaces in rdomains to be
deleted if the rdomain doesn't contain any other interface. turn the rdomain
back into an ordinary, empty rtable in that case.
with this and the previous commits one can get rid of rdomains again without
rebooting, which wasn't possible any more for some time
ok bluhm, input mpi

if_setrdomain: allow empty rtables to be turned into rdomains, not just
nonexistant ones as before. nasty error handling with bluhm, feedback mpi as
well. ok bluhm

provide rtable_empty(), returns 1 if the rtable doesn't contain any routes
ok bluhm

tweak previous;

Add disk format tests.

Thanks to Ori Bernstein.

Add tests for disk format.

Thanks to Ori Bernstein.

Add initial qcow2 image support.

Users are able to declare disk images as 'raw' or 'qcow2' using either
vmctl and vm.conf.  The default disk image format is 'raw' if not specified.

Examples of using disk format:

vmctl start bsd -Lc -r cd64.iso -d qcow2:current.qc2
or
vmctl start bsd -Lc -r cd64.iso -d raw:current.raw
is equivalent to
vmctl start bsd -Lc -r cd64.iso -d current.raw

in vm.conf
vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.qc2" format "qcow2"
    interface { switch "external" }
}

or

vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.raw" format "raw"
    interface { switch "external" }
}

is equivlanet to

vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.raw"
    interface { switch "external" }
}

Tested by many.

Big Thanks to Ori Bernstein.

Bump NMBCLUSTERS to a more reasonable 256MB instead of the tiny 4MB.
May help ports builders to not run out of memory.
Lots of agreement and OK n2k18@

missing Ed;

implement or-longer filter op for prefix-sets. Allows one two write rules like
  deny from any prefix-set mynetworks or-longer
ok claudio, feature discussed with job and deraadt

Enforce that "join" and "nwid" may not be used at the same time.

OK stsp@

Allocate path only when needed, use __func__

Remove now unused code for EVP_CIPH_FLAG_AEAD_CIPHER and EVP_CIPH_GCM_MODE.

ok inoguchi@ tb@

SSL_MAX_DIGEST is no longer needed.

Error out early on bad anchor usage

`pfctl -a foo' would do nothing with the non-existent anchor and exit 0.
This implements behaviour as documented in pfctl(8):

-a anchor
    Apply flags -f, -F, and -s only to the rules in the specified
    anchor.

While here, hoist a duplicate "_" check by using the more mnemonic `mode'.

OK henning sashan

ASN1_OBJECTs should be freed with ASN1_OBJECT_free(3), not with free(3).

ok inoguchi, jsing

Check for malloc() failures.

Initial diff from Clemens Goessnitzer on tech@

Feedback and ok tb@

Split the pf(4) fragment reassembly queue into smaller parts.
Remember 16 entry points based on the fragment offset.  Instead of
a worst case of 8196 list traversals we now check a maximum of 512
list entries or 16 array elements.
discussed with claudio@ and sashan@; OK sashan@

Regress tests for as-set and prefix-set blocks

Add some additional config regress tests. Testing neighbor, group and rdomain.

More BGPD_OPT_NOACTION checking to make regress happier.

If BGPD_OPT_NOACTION is set don't check that the rdomain exists.
This makes it possible to use bgpd -nv in regress with unknown rdomains.

Fix indent and adjust line fit to 80 columns.

indent labels

missing word & a couple of typos

use symbolic integer values for the different tls options when relaying,
rather than a confusing set of flags.

ok gilles@

Split test blocks into a function. Test contents are not changed.

Change the way we parse prefix-sets so that newlines are allowed in more
places and so prefix-sets look a lot better. Currently commas are not allowed
but they will come back soon.
OK benno@

Fix print_as_sets() a bit.
OK benno@

add a check for curly braces in a macro being used inside a filter
rule with curly braces

Remove optional commas from example config. In the future these optional
commas may become a syntax error.

Test more ciphers and randomize the order in regress appstest.sh

- change test target ciphers
- randomize the test ciphers order
- display test cipher count

blkfree() takes no action for NULL pointer so callers can avoid checking.

ok jca@

Don't cause an error when setting the same rdomain.
Found by asou at soum.co.jp.

ok claudio mpi akoshibe benno

More __func__ to fix error messages

Make host_*() AF-agnostic

Merge host_v{4,6}() into much simpler host_ip() using just getaddrinfo().

host_dns() uses the same procedure.

OK naddy

The debug function trie_dump() should use stderr since that does not case
that much problem with the regress test which writes its stuff on stdout.

Fix function name in error messages by using __func__

fix badly broken reload of filter rules that use prefix-sets. debugged
and fixed with/by claudio@

Not adding ::1 on non-default lo(4) broke regress/sbin/route.
Adjust test's expected output files.
OK mpi@

Regress test for rde_trie should cover some basics for now.

fgetln(3) -> getline(3); from Lauri Tirkkonen; ok millert@

Remove wildcard address on loopack remnants

henning@ removed this functionality years ago, see the share/man/man4/lo.4
revision 1.27.

OK jca claudio