use new cert helpers for mta sessions

ok @gilles

Switch from timeout_add with tvtohz to just timeout_add_tv. Now this change
will reduce the sleep time by one tick which doesn't matter in the common
case. The code never passes a true 0 timeval to timeout_add_tv so the code
will always sleep for at least 1 tick which is good enough.
OK kn@, florian@, visa@, cheloha@

Use timeout_add_sec() instead of timeout_add() with a multiplication with hz
OK kn@, florian@, visa@, cheloha@

set the return pointer to NULL when receiving a 0-sized data.

ok gilles

Remove control-use-cert. It is ignored for local sockets (since unbound 1.7.3).

OK florian@ sthen@

split tests into multiple make targets

Restore the optimization for unbuffered I/O.  The buffer needs to
be reset before each call to __srefill().  Passes new regress.
OK semarie@

Add regress test for bugs in stdio/fread.c rev 1.13 and 1.17

sync

few more devs

Fix pool ipl to prevent a deadlock scenario.

While here, make the pool use the default memory alignment. The default
setting is good enough for the driver and the hardware.

Tweak the syntax displays to show that the list of words
in "for name in [word ...]; do list; done" can be empty.
In sh(1), clarify what happens in that case.
In ksh(1), clarify how it can happen that the list is never executed.
OK jmc@ tb@

Regenerate root CA list using updated format-pem.pl. Specifically this
drops CA certificates whose validity dates don't comply with the rules on
ASN.1 encoding in RFC 5280 (and predecessors - same rule goes back to at
least RFC 2459, section 4.1.2.5).

LibreSSL strictly enforces this, so attempting to validate certificates
signed by these CAs just result in the following:

error 13 at 1 depth lookup:format error in certificate's notBefore field

"probably" beck@

Add a check that libressl is actually able to verify CA certs.
Skip outputting them if invalid (e.g. GENERALIZEDTIME date before 2050).

bad choice of name. don't reuse the same method name to mean different
things

missing annotation after refactor
dependency on libraries should always trigger an update

found by landry@

the width code was moved to State.pm a while ago, remove last remnants

Avoid using a too big bounce buffer by splitting up large reads. Allows
for booting using large (64k) blocksize filesystems. ok tedu@

Make the freelist best fit code a tiny bit smarter to not use a block if
half or more would be wasted. Causes more effective re-use of blocks.
ok jsing@

Back out rev 1.17 for now, it causes issues with python when building
databases/tdb from ports.

document task_pending()

add task_pending

jsg@ wants this for drm, and i've had a version of it in diffs sine
2016, but obviously havent needed to use it just yet.

task_pending is modelled on timeout_pending, and tells you if the
task is on a list waiting to execute.

ok jsg@

The .HP macro was deprecated by groff, and that makes sense
because it serves no real purpose and works poorly with HTML.
While here, describe the section argument of .TH,
clarify the syntax display of .TP, and polish some wordings.

minor polishing, in parts related to functional improvements in the past,
and also adding some cross references for important escape sequences

make test output less ugly

Yet another round of improvements to manual font selection.

Unify handling of \f and .ft.
Support \f4 (bold+italic).
Support ".ft BI" and ".ft CW" for terminal output.
Support the .ft request in HTML output.
Reject the bogus fonts \f(C1, \f(C2, \f(C3, and \f(CP.

Several improvements to escape sequence handling.

* Add the missing special character \_ (underscore).
* Partial implementations of \a (leader character)
and \E (uninterpreted escape character).
* Parse and ignore \r (reverse line feed).
* Add a WARNING message about undefined escape sequences.
* Add an UNSUPP message about unsupported escape sequences.
* Mark \! and \? (transparent throughput)
and \O (suppress output) as unsupported.
* Treat the various variants of zero-width spaces as one-byte escape
sequences rather than as special characters, to avoid defining bogus
forms with square brackets.
* For special characters with one-byte names, do not define bogus
forms with square brackets, except for \[-], which is valid.
* In the form with square brackets, undefined special characters do not
fall back to printing the name verbatim, not even for one-byte names.
* Starting a special character name with a blank is an error.
* Undefined escape sequences never abort formatting of the input
string, not even in HTML output mode.
* Document the newly handled escapes, and a few that were missing.
* Regression tests for most of the above.

add a -R option to set/unset resolver flags.
use strcasecmp for reading args.

remove unused and problematic sudo clean. ok espie

Revisit the optimization for unbuffered I/O.  We can use the buffer
passed to fread(3) directly in the FILE * and call __srefill() in
a loop without the memcpy().  This preserves the expected behavior
in all cases.  OK semarie@, "This is neat" tedu@

Back out the optimization in rev 1.13, it does not update flags on
EOF or error.  This caused a regression in the cPickle python extension.

let smtpd fatal on misbehaving proc filters
let filters register the reporting events and filter hooks they support but
only as a stub for now

Delete a note taken during the rev. 1.1 man page splite
that should have been deleted before commit.
The cross reference is already present below SEE ALSO.
Glitch noticed by jsing@.

Delete unused phdr functions; move declarations for functions internal to
elf.c to that file

ok mpi@

use new cert helpers for incoming smtp sessions

ok gilles@

sync usage(); also, stop enclosing arg names in quotes, since it was
applied inconsistently, and applied consistently would make it
look like spaghetti;

ok mlarkin

Cleanup, no functional change:
Now that message handling is properly encapsulated,
remove struct mparse pointers from four structs (roff, roff_man,
tbl_node, eqn_node) and from the argument lists of five functions
(roff_alloc, roff_man_alloc, mandoc_getarg, tbl_alloc, eqn_alloc).
Except for being passed to the main program as an opaque object,
it now only occurs in read.c, as it should, and not across 15 files
like in the past.

Almost mechanical diff to remove the "struct mparse *" argument
from mandoc_msg(), where it is no longer used.
While here, rename mandoc_vmsg() to mandoc_msg() and retire the
old version:  There is really no point in having another function
merely to save "%s" in a few places.
Minus 140 lines of code.

Fold mparse_parse_buffer() into mparse_readfd(), making the code
considerably more readable.  This is possible now that i finally
deleted mparse_readmem() from mandoc portable - an unused function
that never existed in OpenBSD.

This cleanup already made me find a minor bug: after a recursive
parse, restoring the line number of the parent file was forgotten.
This is fixed now.

Major cleanup; may imply minor changes in edge cases of error reporting.

Finally, drop support for the run-time configurable mandocmsg()
callback.  It was over-engineered from the start, never used for
anything in a decade, and repeatedly caused maintenance headaches.

Consolidate reporting infrastructure into two files, mandoc.h and
mandoc_msg.c, mopping up the bits and pieces that were scattered
around main.c, read.c, mandoc_parse.h, libmandoc.h, the prototypes
of four parsing-related functions, and both parser structs.

in event reports, use a struct timeval instead of time_t since we want more
than second precision

discussed with eric@

do not use err() on fork_processor() exit

Use a faster, more reliable way to figure out how many TLB entries are
available on RM7000 processors.

From miod@

Allow all non-ephemeral buffers to be toggled writable or read-only
while mg is running: toggle-read-only-all

only allow builtin filters to declare which hook they listen to in the conf
since proc filters are going to register themselves through the protocol.

this will allow us to plug proc filters that deal with multiple hooks w/out
having to declare each and every hook, and without risking to forget one.

discussed with eric@

Revert last. Breaks landisk snap building for currently unknown
reason.

Noticed by deraadt@

we don't want to parse a filter command line

split the status display in two, so that I can explicitly show I'm
not extracting files, but skipping tied entries, which still takes
time for texlive.

Cleanup, no functional change:
Split the top level parser interface out of the utility header
mandoc.h, into a new header mandoc_parse.h, for use in the main
program and in the main parser only.
Move enum mandoc_os into roff.h because struct roff_man is the
place where it is stored.
This allows removal of mandoc.h from seven files in low-level
parsers and in formatters.

fix printf statements when compiled with -DDEBUG.

OK deraadt@, tb@, claudio@

libmdoc.h no longer needs mdoc.h

Cleanup, no functional change:
Finally merge the pointless file st.in into st.c.
Nobody should do operating systems dependent changes to standards:
By definition, standards are the same for every operating system.
While here, libmdoc.h no longer requires mdoc.h.

various minor tweaks; ok mlarkin

further document pcap_dump; from jan stary
text tweaked and ok djm

Cleanup, no functional change:
Move the roffhash_*() functions from roff.h to roff_int.h
because they are only intended for use by parsers,
neither by main programs nor by formatters.

Cleanup, no functional change:
No need to expose the eqn(7) syntax tree data structures everywhere.
Move them to their own include file, "eqn.h".
While here, delete the unused enum eqn_pilet.

Cleanup, no functional change:
In libroff.h, nothing was left except the eqn(7) parser interface, which
isn't really part of the roff(7) parser, so rename it to eqn_parse.h.

While here, move struct eqn_def to eqn.c because that's the only
file using it, and let eqn_box_free() and eqn_free() handle NULL.

Cleanup, no functional change:
Move tbl(7)-specific parser internals out of libroff.h.
Move some tbl(7)-internal processing from roff.c to tbl.c.

add commented-out "val-log-level: 2" next to the uncommentable line to
enable dnssec validation, it's really useful for debug

Cleanup, no functional change:
No need to expose the tbl(7) syntax tree data structures everywhere.
Move them to their own include file, "tbl.h", and improve comments.

remove unused prototypes

add tx-data reporting event

Simplify mbzero() by using mem_write with a NULL buf which does zero out
all memory at once without having to use a zero buffer.
OK mlarkin@

Set the com speed to 115200 like we do in our bootloader when using SeaBIOS.
OK mlarkin@

zap trailing whitespace;

some pcap_setdirection details; from jan stary
ok djm

allow reading from stdin with -f -.
ok kn

document show-indexed

Various cleanups:

- Unify the two hooks by passing the same argument
- Check for nullity before dereferencing `if_bridgeport', this will
  matter when we go MP
- Use the same pattern to find a member in the ioctl path

ok bluhm@, visa@

free(9) sizes for sysv shm.

ok bluhm@, visa@

free(9) sizes for SVID semaphores.

ok bluhm@, visa@

+nettle-bug now that the fix has been committed

even when there's no update needed, respect dependency chain order.

More specifically, the set currently being installed won't be affected,
but shared libraries may be reached through a long dependency chain,
so they actually require "full" dependency ordering.

This fixes the libnettle issue reported by jca@ (see regress)

okay aja@, sthen@

moving handles to kept means they're not affected by complete_set, which
means that they won't get their dependency information. But if they're
in kept, they're actually installed so make sure they have a location.

This will let pkg_add   always follow dependencies for all sets even if
there's nothing to directly install

upon MAIL or RCPT errors, only trigger report_smtp_tx_{mail,rcpt} events if
error happened within an SMTP transaction.

Enable the rules doing more than one match at a time. This works since a while.

Make kcov MP-safe. Calling the injected tracing function
__sanitizer_cov_trace_pc() early in the boot process caused a subtle
crash while booting the secondary CPU(s). On amd64, accessing curcpu
during this period is not safe since its GSBASE register is yet not
written. After the CPU has been booted curproc can also be NULL for a
brief period of time before the idle thread tied to the same CPU has
started. The two problems can simply be avoided by postponing access to
curcpu and curproc until /dev/kcov has been opened at least once.

The end goal here is to allow fuzzing of MP kernels, which already is in
full swing.

This work has gone through many iterations before settling on the least
intrusive change; many thanks for visa@ for reviewing and providing
valuable input.

Issue originally reported by Greg Steuck on tech@ who also took the time
to test all iterations and providing me access to a virtualised OpenBSD
machine for easier testing.

ok mpi@ visa@

allow ethernet interfaces to provide a custom if_output routine.

this will be mostly useful for virtual interfaces like vlan and
etherip, where they can bypass queueing on an ifq, and instead
encapsulate in on multiple cpus concurrently and push the packet
onto the next layer directly.

ok visa@

Fix regress test. The rule optimizer changes output since all the
set community rules are merged into one big set block.

add optional per-cpu counters for interface stats.

these exist so interfaces that want to do mpsafe work outside the
ifq machinery have a place to allocate and update stats in. the
generic ioctl handling for getting stats to userland knows how to
roll the new per cpu stats into the rest before export.

ok visa@

the world is not ready for dnssec enabled by default

Flip snprintf(3) error check to align it with the man page example.
No functional change.
suggested by tb@; from Jan Klemkow

Convert some variables with non-negative values to unsigned type
to avoid comparison of integers of different signs.
from Jan Klemkow; OK tb@

Add PN_XNUM support to libbfd so objdump and gdb can handle core
dumps with many many segments.

ok yasuoka@

add a non regression test that triggers the nettle bug

remove filter action "rewrite" can only be done from a proc filter
remove "report" keyword, a proc filter gets report events

discussed with eric@

merge 1.8.3

Fix dns64 allocation in wrong region for returned internal queries.
(This is the only code change in upstream release 1.8.3).

do some imsg renaming to make them more clear

remove unused imsg names

these files are no longer used

factor smtp-in and smtp-out reporting code

report filter responses to smtp

fix previous

ok gilles@

style

bgpctl can no long reuse the aspath_match function from bgpd so move the
roughly the same function here called match_aspath().
OK denis@

Refactor aspath code a bit. Move cached source_as (for origin validation)
into struct aspath and pass that struct to aspath_match().
OK denis@

generate an event when a helo name identifies a link

remove unnecessary calls to getsockname()

ok gilles@

Extend vmctl start -B argument to work for disk, cdrom and net.
Currently SeaBIOS will respect disk and cdrom and our kernel will
understand net.
OK ccardenas@, reyk@, mlarkin@