Extend pf queueing ops to include queue manager hooks

Discussed with and OK henning@ at d2k17 as a part of a larger diff.

hfsc.c should depend on pf instead of inet

Discussed with and OK henning@ at d2k17 as a part of a larger diff.

reinstate .El removed in previous;

Test for file from stdin.

Fix stdin file read support, accidentally broken in my last commit.

Only pass required fields of interface_info to priv_* functions
and friends. i.e. ifi->name, ifi->rdomain, or both.

delete_route() doesn't need any info from its struct interface_info
parameter as the route message already has the correct tableid. So
eliminate the useless parameter.

remove excess #include

perform an initial pledge very early on, and drop tzset to later.
ok nicm brynet

resolv_conf_priority() is a function local to kroute.c, no
need to expose its definition in dhcpd.h. While here change
the parameter from struct interface_info to int and just pass
the only field used (rdomain).

Add regression tests for mail.

Replace usage of TIOCSTI in mail while editing headers using a more common
IO-loop where ICANON is disabled and a single char of input is read at a time.
This requires the line editing capabilities provided when ICANON is enabled to
be implemented.

ok deraadt@

Remove the nonsensical "-s - -" in the third example; quirk reported
by Redouan Ait Mallouk <raitmallouk at gmail dot com>.

The paste(1) utility allows two equivalent solutions for many tasks
involving only one input stream; while here, make that more obvious
by always showing both solutions.

Stop trying to clean up addresses, routes and "-L" file
whenever dhclient dies. Eliminates differences in handling
and thus need to intercept signals INT, TERM, USR1,
USR2. Eliminates need for 'zapzombies' field and thus
entire struct imsg_flushroutes. Eliminates need for 'imsg'
parameter to and associated logic in priv_flush_routes().

Address, routes and '-L' file are still cleaned out when
binding a lease.

remove a contradictory sentence (see dhcp-options(5)) which claims
hostnames which resolve to muliple ip addresses are all forwarded to
the client;

issue reported by edgar pettijohn;
discussed with dhcpd's de facto maintainer, kenneth westerback;

Simplify file(1) by removing the no longer necessary parent/child separation
and just drop privileges in the main process.

Also allows for a tighter "stdio" pledge.

passing regress tests still pass

ok nicm@ with helpful feedback

.init stub creation doesn't need a jmp + .align to reach a branch target,
just fall into the code.  The .align created a FILL zone in the .init section,
which on i386 was filled with a NOP-sled, something we want to get away
from.
discussed with kettenis and tom

Consistently use socket(..., AF_INET) for routing
sockets to cut down on unwanted IPv6 messages.

suggested by & ok claudio@

fix incomplete handling of roff(7) nodes in man(7) block next-line scope;
assertion failure in tclsh(1) reported by deraadt@ via bentley@

Be consistent and always use socket(..., SOCK_DGRAM, ...) for
the sockets being used to issue ioctl()'s.

ok claudio@

Apply the xterm key flag when needed for send-keys, fixes problem
reported by Franky Spamschleuder.

whitespace fixes, from Rob Pierce and me

usage() gets __dead attribute, from Rob Pierce

and emphasize that PKGDIR must exist.

document generate-readmes and diagnostic for missing PKGDIR.

Delete '0x' in DIAGNOSTIC panic message; ipl value is printed in decimal.

extra step between fake and package

hide symbols in the acpi trampoline pages. matches a previous diff from
amd64.

tested un-zzz and un-ZZZ on i386 VM, no issues seen.

ok deraadt

move all the post-Configure stuff to Makefile.bsd-wrapper1 instead of just
the man parts.

just leave Configure and forwarding targets in Makefile.bsd-wrapper,
this allows bsd.lib.mk to function normally without depend, because all
the puzzle is here.

okay millert@ afresh1@

if we return nullptr for a "noexec" section, then don't change section.
prevents core dumps :)

okay tedu@

hide symbols used in the ACPI resume trampoline pages

ok deraadt@

fix potential use of uninitialized variable, noticed by jsg@.

Fix visual-silence (check accidentally the wrong way round), from Brad
Town. Plus some tmux.1 fixes from jmc@.

add -v to SYNOPSIS and STANDARDS;

Allow ssh-keygen to use a key held in ssh-agent as a CA when signing
certificates. bz#2377 ok markus

Rewrite half of this, i was completely unaware how bad it was.
Remove several lies, lots of duplicate information,
and a lengthy discussion of features we don't support.
Clarify the wording in some places and make it more concise in others.
Delete examples from where they don't belong
and write a new EXAMPLES section from scratch.

remove the obsolete timeslot ioctl

fix a few lines of unusual length

add a -v verbose flag to cp, mv, and rm. useful for monitoring progress,
and present on several other systems. some ok, some less ok.
from Job Snijders

Hoist some privileged code in preparation for future work.
Based on an approach in vmd with mc146818/ns8250.
diff by Rob Pierce <rob -AT- 2keys -DOT- ca>

ok deraadt@

test inter-column spacing

Implement spacing of columns as defined in the table layout;
this is for example used by lftp(1)
and, ironically, misused by our very own tbl(7) manual...

trapsleds for clang, similar to the change on gas side.
Also from Todd Mortimer
tested by espie

Remove an extra '\n' from the printf strings fed into disklabel -E

from corsah () mail ! ru

move a global into local context; from rob pierce

Make if_register_bpf() the same as the other if_register_*() functions
by directly assigning the socket fd to ifi->bfdesc rather than
returning it and having the caller do the assignment.

Tweak previous: align declarations and rename local variable.

in recently commited TIOCSTI replacement code, do not assume
little-endian or unsigned char :-)
ok anton

Provide a handler stub for the "channel rescind" message

Convert ip6_input() to a pr_input style function.  Goal is to process
IPsec packets without additional enqueueing.
OK mpi@

Nuke get_rdomain() and just snag the interface rdomain from the same
ifa we use to get the interface hw address. One less socket() and
ioctl()! MIssed cleanup from shift to just watching RTM_IFINFO
messages for rdomain switch.

warn about .Ns macros that have no effect because they are followed
by an isolated closing delimiter; inspired by mdoclint

Avoid the possibility of accessing an array out of bounds.
Found with cppcheck. ok krw@

Avoid testing an uninitialised variable in the SCSI_BUSY/SCSI_QUEUE_FULL
paths of hvs_scsi_cmd_done().

ok mikeb@

Add missing solock()/sounlock() dances around sbreserve().

While here document an abuse of parent socket's lock.

Problem reported by krw@, analysis and ok bluhm@

remove -DSw; the useful parts are now covered by mandoc;
discussed with jmc@

throw strip into base, until we consider a solution for the
linkkit bsd.gdb strip gongshow

the illegal instruction is 0x00000000

remove some old cruft.

Minor cleanup; when polling delay before calling the interrupt handler

catch up with the recent eqn(7) improvements

Complete rewrite of the lexer in a single function with four operation
modes instead of four functions, resulting in considerable
simplification, fifty lines less of code, fifteen fewer automatic
variables, and several bug fixes, for example:

1. The delim control statement consumes exactly two bytes of input,
requires no whitespace after these two bytes, and does not treat
quotes in any special way.
2. If the argument of left, right, gfont, gsize, or size is defined
as an alias, only the first word of the value is used as the
delimiter, font name, or font size.
3. If a back, fwd, down, or up keyword is followed by another keyword
instead of the required number, GNU eqn does nothing useful, but
typically errors out.  So no need to have special handling (with
an ugly goto!) for it in mandoc.

Also getting rid of one pointless static buffer and twelve redundant
calls to strlcpy(3).

Convert ip_input() to a pr_input style function.  Goal is to process
IPsec packets without additional enqueueing.
OK mpi@

Rework the deferred interrupt loop

By performing a task_add an interrupt handler can rely on the
taskq_thread to invoke it again with an additional benefit of
being able to sched_pause when required. In the long run more
than 99.8% of calls do not require an additional iteration.

Fragments for a single connection (a combination of proto,src,dst,af)
may easily reuse the fragment id as it is only 16 bit for IPv4.  To
avoid that pf reassembles them into the wrong packet, throw away
stale fragments.  With the default timeout this happens after 12,000
newer fragements have been seen.
from markus@; OK sashan@

Add a MDKERNEL variable that contains the name of the boot kernel.
This will be used by the installer in an upcoming change.

OK deraadt@

RANDOM1 was subject to rather bad modulus bias. Improve the situation a bit
by implementing an arc4random_uniform(3) clone with beloved jot(1) and
using it.

discussed with and ok deraadt

Arrange a phandle for the "ciu" node.

note.ABI-tag and .MIPS.options are not needed anymore when
we use gapdummy.o

When pinging an IPv6 link-local address, the reflected packet had
::1 as source address.  It should be the link-local address of the
attached interface.  The rtalloc() in icmp6_reflect() did not find
the correct local address.  The IPv6 routing table does not use
sin6_scope_id, but the embedded scope.  So do not recover the scope.
bug report Harald Dunkel; OK mpi@

when splitting a composite word,
do not forget to close the inserted list box

don't print the WELLKNOWN string for unknown well-known communities

from Job Snijders
ok phessler@ benno@

let admins set an unknown well-known community

from Job Snijders
ok phessler@ benno@

add support for the "graceful shutdown" well-known community as described
in draft-ietf-grow-bgp-gshut

from Job Snijders
ok phessler@ benno@

allow setting localpref to 0

from Job Snijders
ok phessler@ benno@

Assert that the corresponding socket is locked when manipulating socket
buffers.

This is one step towards unlocking TCP input path.  Note that all the
functions asserting for the socket lock are not necessarilly MP-safe.
All the fields of 'struct socket' aren't protected.

Introduce a new kernel-only kqueue hint, NOTE_SUBMIT, to be able to
tell when a filter needs to lock the underlying data structures.  Logic
and name taken from NetBSD.

Tested by Hrvoje Popovski.

ok claudio@, bluhm@, mikeb@

Allow updating the destination address of an existing TDB.  Since the
destination address is used as an index when looking for a TDB, we need
to supply the new destination address in a different member.  For this,
re-use the proxy address, that so far no one else has been using.  It
would make sense to rename this member in the future.

ok claudio@

Split a part of tdb_delete() into tdb_unlink() so that we can remove
a TDB from the hash table without actually free()ing it.  That way we
can modify the TDB and then put it back in using puttdb().

ok claudio@

Factor a variable assignment in audiopoll().
From Michael Bombardieri, thanks.

Make ifconfig(8) default to prefixlen 128 when setting an IPv6 destination
address on a point-to-point interface. Makes it easier to configure IPv6 on
interfaces such as gif(4). Specifying 'prefixlen 128' is no longer required.
This is consistent with IPv4 where a netmask is not required either.
ok mpi@ bluhm@ benno@

Link acme-client, ldapd, switchd regress to build.

Do not run .END cleanup during clean, cleandir, obj in ldapd regress.

Clean all files created during switchd regress.

Convert the acme-client test to use a config file acme-client.conf.
Restructure the Makefile, put httpd.conf in separate config file.
Skip test if domain name for letsencrypt.org is not set.
discussed with benno@

Catch typos in .Sh names; suggested by jmc@.

I'm using a very simple, linear time / zero space fuzzy string
matching heuristic rather than a full Levenshtein metric, to keep
the code both simple and fast.

No need to NUL-terminate the line buffer since it's handled by x_e_getu8() by
now.

ok schwarze@

lld's linker-script parser has to be fixed to accept ; after LONG()
directives.  binutils requires it, and binutils is the authoritative
parser in this regard.  This means arm64 +lld remains broken (but all
the other architectures work)

test new MT macro

dull dependency for copying makegap.sh to obj, so that installs
without src and comp work.  That is what we've designed for, but since
we always have src and comp on our systems it is so easy to slide...
problem first noted by rpe.

cope with changes in BASE messages

add some empty targets that were missing

Don't output partial UTF-8 characters in ksh emacs mode. Instead, try to read a
complete UTF-8 character first. Fixes an issue while running ksh in tmux where
UTF-8 characters inserted in columns other than the last one are discarded.

With help from nicm@ and schwarze@ who also wrote the UTF-8 validation, thanks!

ok schwarze@

Capture SIGINT and print out all received output so far. Useful when debugging
broken tests.

Add support for the MT and ME mailto macros, used for example in wg(8).

feedback and ok schwarze@

ldd is more strict wrt semicolons, they can only appear after an
expression line. Removing the extra semicolons makes both ld and
ldd accept the link script generated, although ldd produces a wrong
object file on arm64; ok kettenis@ deraadt@

priv_add_address() is no longer invoked to signal the deletion of the
active address. So no need to check for the magic INADDR_ANY address.

Oops. Revert unintentional/premature functional change. Deleting the
address configured by dhclient should cause exit, not restart. There
is no need to invoke sendhup(). Just exit and let the privileged child
follow.

Tweak handling of HUP and new LLADDR. Just use expose and use sighup()
function. Don't exit dispatch() loop on SIGHUP, wait for privileged
child to execvp() dhclient. Eliminate struct imsg_hup since its
contents were not being used except in priv_cleanup(). And
'active_addr' works just as well there.

Cleaner and eliminates some extraneous log entries.

delete useless .Ns macro that jmc@ found with mdoclint(1)

To avoid packet loss due to reuse of the 16 bit IPv4 fragment id,
we need suitable data structures.  Organize the pf fragments with
two red-black trees.  One is holding the address and protocol
information and the other has only the fragment id.  This will allow
to drop fragemts for specific connections more aggressively.  `
from markus@; OK sashan@