oops, hook up the tests for the roff(7) .char request

Rudimentary implementation of the roff(7) .char (output glyph
definition) request, used for example by groff_hdtbl(7).

This simplistic implementation may interact incorrectly
with the .tr (input character translation) request.
But come on, you are not only using .char *and* .tr, but you do so
with respect to the same character in the same manual page?

Fix printing of ioapic remapping messages; avoid printing duplicate info.

ok deraadt@

process -> thread

Change kcov semantics, kernel code coverage tracing is now enabled on a per
thread basis instead of process. The decision to enable on process made
development easier initially but could lead to non-deterministic results for
processes with more than one thread. This behavior matches the implementation
found on both Linux and FreeBSD.

With help and ok mpi@ visa@

markup flag arguments; ok jmc@ schwarze@

If man(7) next-line scope is open and the line ends with \c,
the scope remains open.  Needed for example for groff_man(7).

The current rasops cursor implementation simply inverts the appropriate
framebuffer pixels by doing an XOR with an all-ones bit pattern.  This
means the code has to read from the framebuffer which can be very slow.
Add an implementation that simply redraws the character covered by the
cursor with the foreground and background color swapped.  While this
doesn't necessarily have the same visual result, most people probably
won't notice the difference (let's see).  Use this implementation when
the RI_WRONLY or the RI_VCONS flags are set.

ok fcambus@

Insert new child nodes at the end.

ok patrick@

Also run DSA tests with the PEM encoded public key.

Match ACPI devices based on _CID if no match for _HID is found.

ok mpi@

As Intel(TM) cpus are discovered to have more bugs, more workaround MSRs
are added.  Presence of such MSRs is indicated with a feature flag, which
we probe and print at startup for each AP CPU.  EFI screen scrolling hasn't
gotten faster (yet) and 9600 baud serial console is still the same speed
as 1980.   Final piece of the puzzle is machines have more cpus, providing
more opportunity for screen scrolling and serial fifo's to fill up.  The
BSP cpu is watching the AP cpus probe and print, but increased latency
causes it to exceed a timeout and print "cpuXX: failed messages".
Crank that timeout.
discussed with kettenis, ok guenther

Rework disks to have pluggable backends.

This is prep work for adding qcow2 image support.

From Ori Bernstein.  Many thanks!

Tested by many.

OK ccardenas@

Don't treat UnicodeChar == 0 as a keyboard input.  The same fix was
done on amd64 already.  Original diff from Frank Groeneveld

ok tb patrick

Fix dates that got broken by committing from one day to another
due to timezone differences.

update usage for pkcs8;
ok tb

Rudimentary implementation of the roff(7) .while request.
Needed for example by groff_hdtbl(7).

There are two limitations:
It does not support nested .while requests yet,
and each .while loop must start and end in the same scope.

The roff_parseln() return codes are now more flexible
and allow OR'ing options.

tweak previous;

sync libcrypto relink file

sync

crank majors after symbol addition/modification/removal

Adjust documentation for SSL_copy_session_id()

ok jsing

Let SSL_copy_session_id() return an int for error checking.

Accordingly, add some error checking to SSL_copy_session_id(),
BIO_ssl_copy_session_id(), and SSL_dup().
Prompted by OpenSSL commit 17dd65e6e1f

Tested in a bulk build by sthen

ok jsing

Add const to EVP_PKCS82PKEY().

tested in a bulk by sthen
ok jsing

Add consts to EVP_PKEY_asn1_set_private()

Requires adding a const to the priv_decode() member of
EVP_PKEY_ASN1_METHOD and adjusting all *_priv_decode()
functions. All this is already documented this way.

tested in a bulk build by sthen
ok jsing

After removing support for broken PKCS#8 formats (it was high time),
we can add const to PKCS8_pkey_get0().  In order for this to work,
we need to sprinkle a few consts here and there.

tested in a bulk by sthen
ok jsing

The broken pkcs8 formats generated by openssl pkcs -{embed,nooct,nsdb}
are no longer supported. Remove their documentation.

ok jsing

Stop handling broken PKCS#8 formats in openssl(1).

ok jsing

Remove EVP_PKEY2PKCS8_broken() and PKCS8_set_broken()

Provide PKCS8_pkey_add1_attr_by_NID() and PKCS8_pkey_get0_attrs().
Remove the whole broken code and simplify pkcs8_priv_key_info_st
accordingly. Based on OpenSSL commit
54dbf42398e23349b59f258a3dd60387bbc5ba13 plus some const that was
added later.

tested in a bulk build by sthen
ok jsing

Document const change for OCSP_cert_to_id()

ok jsing

Add const to two arguments of OCSP_cert_to_id()

tested in a bulk by sthen
ok jsing

Provide X509_get0_serialNumber()

tested in a bulk by sthen
ok jsing

Turn a number of #defines into proper functions with prototypes matching
those that OpenSSL has had for ages.

ok jsing

Change PEM_Sign{Init,Update}() to return an int.

tested in a bulk by sthen
ok jsing

Check return value of EVP_EncodeUpdate() in PEM_write_bio().

ok jsing

Check return value of EVP_EncodeUpdate() in b64_write().

ok jsing

Convert EVP_EncodeUpdate() to return an int to allow for error
checking. Matches our documented behavior.

Based on OpenSSL commit c5ebfcab713a82a1d46a51c8c2668c419425b387

tested in a bulk by sthen
ok jsing

Provide EVP_CIPHER_CTX_encrypting().

tested in a bulk by sthen
ok jsing

unifdef DTLS1_AD_MISSING_HANDSHAKE_MESSAGE.

This code has been rotting since 2006.

ok bcook@ tb@

Document prototype change and return values for BIO_set_cipher()

ok jsing

Return an int in BIO_set_cipher() to be able to report errors.

tested in a bulk by sthen
ok jsing

In DSO_up_ref(), check return value of CRYPTO_add() and report
failure accordingly.

ok jsing

In ENGINE_up_ref(), check return value of CRYPTO_add() and report
failure accordingly.

ok jsing

Document new prototype and return values of X509_OBJECT_up_ref_count()

ok jsing

Make X509_OBJECT_up_ref_count return an int.
Based on OpenSSL commit c5ebfcab713a82a1d46a51c8c2668c419425b387

tested in a bulk by sthen
ok jsing

Update documentation of CRYPTO_mem_leaks*.

ok jsing

Let CRYPTO_mem_leaks{,_fp,_cb}() return -1.

These functions are no-ops. Their signature was changed by OpenSSL
to allow error checking.  This way we return an error and do not
indicate the (non-)existence of memory leaks.

tested in a bulk by sthen
ok jsing

Drop special handling of SIGSYS.

Tolerance for up to 25 SIGSYS deliveries was added to init(8) soon after
the addition of sysctl(2) at CSRG, presumably to ease the transition to
the new ABI.

After 25 years of work the ABI transition is finally complete and we can
now safely remove this splint.

In general, we now have better practices and methods for helping userspace
across kernel ABI breaks.

ok deraadt@

Simplify session ticket parsing/handling.

The original implementation is rather crazy and means that we effectively
have two lots of code that parse a ClientHello and two lots of code that
parse TLS extensions. Partially simplify this by passing a CBS containing
the extension block through to the session handling functions, removing the
need to reimplement the ClientHello parsing.

While here standarise on naming for session_id and session_id_len.

ok inoguchi@ tb@

Pull up the parsing of a ClientHello.

Parse up until the extensions (if any), then proceed with processing,
rather than gradually parsing while processing. This makes the code
cleaner, requires messages to be valid before processing and makes way
for upcoming changes.

ok inoguchi@ tb@

Add my copyright.

Discussed with jsing

Remove DSA from TODO list and add RSA-PSS back.

Also test DSA with the DER encoded key. Lots of help from jsing, thanks!

Clean up handshake message start/finish functions.

Now that all handshake messages are created using CBB, remove the non-CBB
ssl3_handshake_msg_start()/ssl3_handshake_msg_finish() functions. Rename
the CBB variants by dropping the _cbb suffix.

ok bcook@ inoguchi@ tb@

Add common Ethernet interface attributes to vio(4)'s build config.

OK deraadt@

/tmp/cvsJqyynm

Add a regression test for the kernel stack exhaustion bug.

OK anton@

Remove all knotes from a file descriptor before closing the file in
fdfree(). This fixes a resource leak with cyclic kqueue references and
prevents a kernel stack exhaustion scenario with long kqueue chains.

OK mpi@

Include the list of multicast groups in the rx filter configuration.
The adapter reads this from host memory, so we allocate a new page for it.
The rx filter code ends up looking a lot more like other drivers as a
result.

- cosmetic tweak to if_pfsync.c

OK bluhm@, OK mpi@, henning@, jca@

During our refactor with tedu@ tb@ and myself we moved the score file to the
user's home folder and setgid was removed. Therefore it's not possible to have a
single score file with all the users anymore but we forgot to change a comment
that still implied that.

Suggested by tb@ to just delete the comment.

Remove a few too early pledge(2)s on games/ and apply them a little bit later
but with much reduced permissions ("stdio tty" if ncurses based and "stdio"
for the ones that only perform basic operations).

There's still a few games that we cannot yet remove their fs access, through
pledge(2), since they open files on demand and too late, this might get
revisited in the future.

OK tb@

display CPU_CPUID / machdep.cpuid in hex not decimal

print cpu family/model/stepping in dmesg
discussed with deraadt@ bluhm@ and sthen@

Allocate framebuffer PCI BAR if left uninitialized by firmware.

ok mlarkin@

set the rx mask to always accept all vlan tags, making vlan interfaces
on top of bnxt work properly.

Don't treat UnicodeChar == 0 as a keyboard input.
This fixes the problem that which prevents typing the passpharase for
softraid on boot.  It happened at least with some external keyboards
on ThinkPad X2{6,8}0.  diff from Frank Groeneveld

ok tb

Run our DSA against wycheproof test vectors.

The upcoming .while request will have to re-execute roff(7) lines
parsed earlier, so they will have to be saved for reuse - but the
read.c preparser does not know yet whether a line contains a .while
request before passing it to the roff parser.  To cope with that,
save all parsed lines for now.  Even shortens the code by 20 lines.

all_jobs can be static.

A sequence of increasingly restrictive pledges was already present
in su. Rearrange them slightly, so that a unveil's can be added
also.  (Sometimes you only learn a required path late in the game,
you don't know them upfront at program start.  That is the tricky bit)

switch installurl example to cdn.openbsd.org

Move job struct into job.c.

Set the pointer to the EFI Runtime Services, otherwise we call into
nowhere.

ok kettenis@

Add license header.

Check reusing SSL/TLS session ticket by regression test

- Added checking for session ticket reusing with using openssl(1) s_server and
  s_client command in appstest.sh
- Confirm certificate verification status.
- Save s_server message to log file.

ok tb@ and jsing@

port the amd64 code for loading intel microcode on boot to i386
ok deraadt@ mlarkin@

Implement the roff(7) .shift and .return requests,
for example used by groff_hdtbl(7) and groff_mom(7).

Also correctly interpolate arguments during nested macro execution
even after .shift and .return, implemented using a stack of argument
arrays.

Note that only read.c, but not roff.c can detect the end of a macro
execution, and the existence of .shift implies that arguments cannot
be interpolated up front, so unfortunately, this includes a partial
revert of roff.c rev. 1.209, moving argument interpolation back into
the function roff_res().

Always check the return values of get_[fsize|bsize|cpg].

Accept partition changes only if all succeed.

ok tb@ deraadt@

import alternative message parser (not used yet).

We can safely assume that our utmp(5) file format implementation can guarantee
space for the NUL character, nevertheless there will always be some piece of
software that can get it wrong and corrupt the database, so we must take this
into consideration.

That being said, there is one strlcpy(3) that needs to be reverted back into
strncpy(3) + '\0' since if we try to use a bogus wtmp(5) file with ac(8) that
is big enough then the NUL char is not verified and it will write memory
out-of-bounds which will make the program crash.

discussed with and OK cheloha@ deraadt@

reduce pledge(2) to "stdio tty" after ncurses initialization. robots(6) uses a
scorefile nevertheless an fd is opened way in advance and therefore we can
disable any further access to the filesystem.

OK tb@

reduce pledge(2) to "stdio tty" after ncurses initialization.

OK tb@

Allow to boot CDROM-only VMs.

Pointed out by Jon Williams

OK mlarkin@ kn@ ccardenas@

memleak introduced in r1.83; from Colin Watson

remove hwrm interface code for nvram reads and writes, firmware updates,
and wol filters, none of which we're going to use.

rearrange txeof so it processes slots up to the index given in the
completion event, and only request completion events for the last packet
we place on the ring in bnxt_start, which doesn't do anything now but
will make tx faster when we get tx mitigation working.

set interrupt aggregation parameters so we get around 10000 interrupts
per second, which makes a pretty sizable improvement to rx performance.

Initialize bridge registers instead of relying on ppb(4) to do it for us.
This gives us more control over the I/O windows that we expose such that
we can make enough address space available for graphics cards.

Use a monotonic clock for the benchmark timeout.

While here, we don't need the app_timer_* wrapper function, it only
obfuscates things, so delete it.  Also while here, totalTime only needs
to be assigned once.

ok tb@

Add StatusLeft and StatusRight mouse key modifiers for the left and
right parts of the status line.

frag6_slowtimo: push NET_LOCK into frag6_freef around icmp6_error.

icmp6_error() still probably needs the NET_LOCK, as the call chain
icmp6_error -> icmp6_reflect -> rt_match -> rt_clone -> rtrequest
is possible.

The fragment discard loop in frag6_slowtimo and the other
cleanup bits in frag6_freef do not require it however.  So
push the lock down into frag6_freef around icmp6_error.

Prompted by mpi.  Discussed with bluhm and kn.  Regress test help
by bluhm.  Additional testing by kn.

ok kn@ visa@ mpi@

Correct session ticket encryption.

The CBB conversion resulted in the ticket encryption being handled
incorrectly, resulting in only the last block being used. Fix this and
restore the previous behaviour.

Issue found by inoguchi@ and sebastia@.

ok inoguchi@ and tb@

Let /etc/installurl default to cdn.openbsd.org if it doesn't exist and no
official mirror was used. This way, people doing installs without network
access also get working pkg_add and syspatch experience out of the box.

Idea from tj
ok halex, job (who made it all possible), deraadt

Enable uscom(4) where uslcom(4) is already present.

Based on a submisison from Jan Klemkow.

Work well with the Dynastream ANTUSB-m, from Jan Klemkow.

regen

Dynastream ANTUSB-m, from Jan Klemkow.

Update libexpat to 2.2.6.  Relevant for OpenBSD is
- Avoid doing arithmetic with NULL pointers in XML_GetBuffer
- Fix 2.2.5 regression with suspend-resume while parsing
  a document like '<root/>'
- Address compiler warnings
- Fix miscellaneous typos

Adding membar_xxx defines to userland.

The src/lib/libc/thread/rthread.c 1.8 change adds #include
<sys/atomic.h> in userland code.

Current m88k atomic.h contents are inside of #if defined(_KERNEL)
guard, then, nothing is defined for userland program.
So we need adding some defines to compile it on m88k.

The original diff is suggested from Miod Vallat, modified by the
advice from mpi@ and kettenis@.

ok kettenis@