Fix netmask regression in get_dynnode()

I introduced this error with r1.330 while removing the af parameter from
unmask().

`pass inet from (lo0)/24' would result in `pass inet from (lo0)', sorry.

Nuke some trailing spaces that wandered into the
crosshairs.

With the interface debug flag enabled, print a "score" for each AP we
consider during auto-join.  This can help users determine why a specific
network was chosen.

OK stsp@

add the conflict info to what's stored in pkglocatedb, as it's meta-info
that's not readily available otherwise.

Fix --exclude-libs option.  Based on code already committed upstream.

tested by naddy@

Tighten validation tests on an obscure corner case of
trying to align partitions to size <= 0 or past the
end of the disk. Emit error message in this case as
in other align errors.

Looks good to otto@.

Remove unused buffer from host()

Left-over from pre-host_ip() times. While here, use __func__.

OK henning benno

add files for test 4

- moving state look up outside of PF_LOCK()

this change adds a pf_state_lock rw-lock, which protects consistency
of state table in PF. The code delivered in this change is guarded
by 'WITH_PF_LOCK', which is still undefined. People, who are willing
to experiment and want to run it must do two things:

- compile kernel with -DWITH_PF_LOCK
- bump NET_TASKQ from 1 to ... sky is the limit,
  (just select some sensible value for number of tasks your
  system is able to handle)

OK bluhm@

Add defines for amd microcode msrs which appear to be present since k8
though amd only provides public redistributable updates for >= family 10h.

Do not check for mouse events on pane borders when zoomed, based on a
fix from Avi Halachmi.

Fail fast when we are unable to determine disk format.

While here, minor cleanup on logging.

Add ability to create qcow2 disk.

vmctl create now takes an optional disk format parameter: raw or qcow2.
If format is omitted, raw is used.

Many thanks to Ori Bernstein.

Remove useless INPCBHASH() macros.  Just expand them.
OK stsp@

Merge host_v{4,6}() into simpler host_ip()

Except for networks such as "10/8" host_ip() now handles addresses in an
AF-agnostic way with more duplicate code removed/merged.

OK sashan (as for earlier copy_satopfaddr() diff) henning

check orlonger option of trie_match()

logmsg(LOG_ERR) -> logerr(); ok tedu@

Prevent a panic in umb(4) when roaming is diabled.

Found by beck@, tested and ok by bluhm@

- if_cloners list populated at boot time only then becomes immutable,
  so we can let go if_cloners_lock.

OK tb@, claudio@, bluhm@, kn@, henning@

Introduce copy_satopfaddr()

Move the same dance around v4/v6 for copying IP addresses from sockaddr
into pf_addr to avoid duplicate code and improve readability.

Feedback and OK bluhm

Instead of calculating the mbuf packet header length here and there,
put the algorithm into a new function m_calchdrlen().  Also set an
uninitialized m_len to 0 in NFS code.
OK claudio@

if_setrdomain could potentially call if_clone_create recursively in the create
rdomain case leading to locking issues and lots of headscratching. turns out
the only case where if_setrdomain could actually create an rdomain and thus
end up with that pattern is the ioctl path.
make if_setrdomain never create an rdomain, return error if it doesn't exist
already, introduce if_createrdomain, and adjust the ioctl path to use it.
ok sashan bluhm claudio

in pf_syncookie_validate, return early if we don't have syncookies in
flight that can possibly match. there is a tiny but existing chance that
a sequence number matches w/ our hash and we'd end up dropping traffic.
unclear whether that has actually happened since the report chain is long :)
report via haesbert via bluhm; ok bluhm

test all variations of network statements

add a test for network statements with prefix-sets

tweak previous;

Mirror bluhm's fixes for proc.c daemons to dup /dev/null for child processes
in switchd(8).

OK henning@ bluhm@

fix typos

OK claudio@

Send many small fragments that exceed the pf reassembly queue limit.

During fragment reassembly, mbuf chains with packet headers were
created.  Add a new function m_removehdr() do convert packet header
mbufs within the chain to regular mbufs.  Assert that the mbuf at
the beginning of the chain has a packet header.
found by Maxime Villard in NetBSD; from markus@; OK claudio@

tweak the table commands somewhat; ok gilles

Limit the fragment entry queue length to 64 per bucket.  So we have
a global limit of 1024 fragments, but it is fine grained to the
region of the packet.  Smaller packets may have less fragments.
This costs another 16 bytes of memory per reassembly and devides
the worst case for searching by 8.
requestd by claudio@; OK sashan@ claudio@

use filterset_move() like all other network statements. It checks for
source == NULL, avoiding a possible crash introduced yesterday.
ok claudio@

do not immediately set the join'd network, the join command only updates
the list.

makes /etc/netstart very fast when ran while the interface is up

OK stsp@

update regression tests after previous commit. ok claudio@

remove some empty lines from printconf output. ok claudio@

vmd(8) clould close file descriptor 0 as not all fd fields were
properly initialized with -1.  Also avoid closing -1.
OK mlarkin@

During the fork+exec implementation, daemon(3) was moved after
proc_init().  As a consequence vmd(8) child processes did not detach
from the terminal anymore.  Dup /dev/null to the stdio file descriptors
in the children.
OK mlarkin@ reyk@

fix typo in the length of the essid we want to switch to

found with and OK stsp@

extract clearing WEP/WPA in ess into helper functions

Adjust the config to -current bgpd which makes it a lot more readable.
OK phessler@

use the correct essid when switching during the ioctl path

pointed out by stsp@

give set_ess a len variable, so we can correctly match the essid we want
to switch to.

pointed out by stsp@

Do not clear selection when searching.

Fix previous commit.  It mistakenly included a change for debug.

put the port into autonegotiate mode on attach, since that's the default
media setting.

tested by and ok ccardenas@

if the adapter can't determine the phy type on a port, pretend it's baseCR
so we get a usable list of media types to pick from.

tested by and ok ccardenas@

bit rates over 2G won't fit in an int, so use uint64_ts instead

pmap_activate() should match cpu_switchto, so set up ci_{kern,user}_cr3
if activating for the current thread and meltdown mitigations are in effect.
Not clear if it's actually possible to hit the case where this matters,
but it's the Right Thing.

ok mlarkin@

Simplify pmap_is_curpmap(): %cr3 can never match pm_pdirpa_intel here
as this code isn't present in those page tables

ok mlarkin@

Calculate automatically the padding necessary for lining up the
iretq instruction used when Meltdown mitigation is effect.  It got
pushed off when an lfence was added in locore.S rev 1.107, resulting
in two signals being sent instead of one when iretq faulted, and
neither signal had the correct sigcontext info.  Update the makefile
rule for locore.o to verify that things are correct.

ok mlarkin@

Teach binutils how to assemble INVPCID and how to disassemble
INV{EPT,VPID,PCID}

ok mlarkin@

merge in some missed bits from 1.7.0 to simplify update prep.

merge in some missed bits from 1.7.0 to simplify update prep.
(I think we actually had slightly beyond 1.7.0, I've left code bits but
there are some SSL->TLS changes which go away with this and will come back
with the update).

During the fork+exec implementation, daemon(3) was moved after
proc_init().  As a consequence httpd(8) and relayd(8) child processes
did not detach from the terminal anymore.  Dup /dev/null to the
stdio file descriptors in the children.
OK benno@

Enable the empty as-set and prefix-set tests since that is now allowed again

Allow for empty as-set and prefix-set definitions by adding explicit rules
for those because shift/reduce issues in the list with optional commas.
OK benno@

convert the things we save in 'join' into a single ioctl.  mixing related
settings over multiple calls was risky and racy.  Pass essid, wpa, and wep
paramaters in a single ioctl and process it atomically.

no change for 'nwid' users

OK stsp@ benno@

missing Xc;

Apply retguard to the last asm functions in the arm64 kernel. This completes
retguard in the kernel and brings the number of useful ROP gadgets at
runtime to zero.

ok kettenis@

Shut up a gcc warning about uninitialized use of min & max by adding a default
case in the switch statement. Found by denis@ and fix proposed by sthen@

use rib_valid() to check if a rib is useable. ok claudio@

Comment the empty as-set and prefix-set tests. This is not yet working.
Add a single asnum test, just to make sure that works as well

Can not allow empty as-set and prefix-set blocks right now. This produces
shit/reduce confilcts which need to be resolved first.

Make switchd(8) ignore PACKET_INs generated from looped traffic. Currently,
it responds to these messages with an invalid PACKET_OUT onto OFP*_PORT_ANY,
resulting in the switch responding with an error, causing switchd to
disconnect the switch.

OK phessler@ claudio@

use TAILQ_CONCAT in filterset_move(). ok claudio@

Fix a crash in rdistd triggered by the recent getpw{ent,nam,uid}
changes.  This stems from rdist stashing a pointer to the static
area used by getpw{ent,nam,uid} and using it to avoid repeating
passwd lookups when pw->pw_name matches the user to be looked up.

This relied on undefined behavior, and with the recent passwd
changes, is no longer possible as the old pointer will be invalidated.
A better approach is to use the upcoming uid_from_user(3) functions.
Found by and fix OK tim@

Remove another optnl. In general we no longer support a newline between
the keyword and "{". In this case it is 'set {'.
Newlines afterwards are accepted.

Bad merge, change a optnl to comma since that is what we want there.

Enable all the #notyet tests since the parser supports those now

prefix-set printing was adjusted in last commit. Adjust test.

Rework the parser a bit to be more sane when it comes to newline and comma
handling. In expansion lists we want that commas and newlines are allowed
but optional. In the neighbor, group and rdomain blocks statements need to
be newline separated but neighbor 192.0.2.3 { descr "test-peer" } is allowed.
OK sthen@ benno@

Write asset as as_set since the other word is already used in English.
benno@ agrees, OK compiler

Fixup regress test after the last burst of commits by benno@

sync header line with whats actually in the output.
ok claudio@

Make it clear what 'dynamically added' prefixes are.
Say that adding a prefix will overwrite an existing (equal) prefix.
ok claudio@

update example bgpd.conf to use new config language features:
network prefix-set ... and filters with prefix-set ... or-longer.
ok claudio@

Fixup unit test after change to trie_match (or-longer case)

Clean up prefix flag handling. First of all the dynamic networks no longer
need this and are now treated equally to the network statement in the config.
This makes bgpctl network delete <net> also remove a network which was defined
in the config.
While there remove the other use of flag which was done to support Adj-RIB-Out
but the direction we're taking is no longer needing that. Makes code simpler
again.
OK benno@

Add network prefix-set <name> syntax to announce networks in a prefix-set.
feature discussed with deraadt@ and job@, ok claudio@

rdomains can be deleted again - remove caveat, tell ppl how to delete, and
show an example. reminded by kn

allow the automatically created loopback interfaces in rdomains to be
deleted if the rdomain doesn't contain any other interface. turn the rdomain
back into an ordinary, empty rtable in that case.
with this and the previous commits one can get rid of rdomains again without
rebooting, which wasn't possible any more for some time
ok bluhm, input mpi

if_setrdomain: allow empty rtables to be turned into rdomains, not just
nonexistant ones as before. nasty error handling with bluhm, feedback mpi as
well. ok bluhm

provide rtable_empty(), returns 1 if the rtable doesn't contain any routes
ok bluhm

tweak previous;

Add disk format tests.

Thanks to Ori Bernstein.

Add tests for disk format.

Thanks to Ori Bernstein.

Add initial qcow2 image support.

Users are able to declare disk images as 'raw' or 'qcow2' using either
vmctl and vm.conf.  The default disk image format is 'raw' if not specified.

Examples of using disk format:

vmctl start bsd -Lc -r cd64.iso -d qcow2:current.qc2
or
vmctl start bsd -Lc -r cd64.iso -d raw:current.raw
is equivalent to
vmctl start bsd -Lc -r cd64.iso -d current.raw

in vm.conf
vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.qc2" format "qcow2"
    interface { switch "external" }
}

or

vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.raw" format "raw"
    interface { switch "external" }
}

is equivlanet to

vm "current" {
    disable
    memory 2G
    disk "/home/user/vmm/current.raw"
    interface { switch "external" }
}

Tested by many.

Big Thanks to Ori Bernstein.

Bump NMBCLUSTERS to a more reasonable 256MB instead of the tiny 4MB.
May help ports builders to not run out of memory.
Lots of agreement and OK n2k18@

missing Ed;

implement or-longer filter op for prefix-sets. Allows one two write rules like
  deny from any prefix-set mynetworks or-longer
ok claudio, feature discussed with job and deraadt

Enforce that "join" and "nwid" may not be used at the same time.

OK stsp@

Allocate path only when needed, use __func__

Remove now unused code for EVP_CIPH_FLAG_AEAD_CIPHER and EVP_CIPH_GCM_MODE.

ok inoguchi@ tb@

SSL_MAX_DIGEST is no longer needed.

Error out early on bad anchor usage

`pfctl -a foo' would do nothing with the non-existent anchor and exit 0.
This implements behaviour as documented in pfctl(8):

-a anchor
    Apply flags -f, -F, and -s only to the rules in the specified
    anchor.

While here, hoist a duplicate "_" check by using the more mnemonic `mode'.

OK henning sashan

ASN1_OBJECTs should be freed with ASN1_OBJECT_free(3), not with free(3).

ok inoguchi, jsing

Check for malloc() failures.

Initial diff from Clemens Goessnitzer on tech@

Feedback and ok tb@

Split the pf(4) fragment reassembly queue into smaller parts.
Remember 16 entry points based on the fragment offset.  Instead of
a worst case of 8196 list traversals we now check a maximum of 512
list entries or 16 array elements.
discussed with claudio@ and sashan@; OK sashan@

Regress tests for as-set and prefix-set blocks