Include bytestring.h directly rather than pulling it in via asn1_locl.h

Wire up HMAC to raw private key methods

Obviously, the brilliant API design kitchen decided that an interface
carrying public and private key in its name (so that every sane person
thinks of asymmetric cryptography), is also perfectly suitable for MACs.
Wire up HMAC since Ruby's OpenSSL gem uses these bindings if the build
system detects that EVP_PKEY_new_raw_public_key() is available in evp.h.

While there, also add the missing pub_cmp() ameth, which obviously
treats two things as equal by returning 1.

Reported by jeremy and anton, fixes regress/lib/libssl/openssl-ruby tests

ok jsing

Write number of bytes read/written and "?" prompt to stdout, not stderr.
This matches both historical behavior and the POSIX specification.
From Soeren Tempel.

Change the pkey.ptr from char * to void *

Now that EVP_PKEY is opaque, there is no reason to keep the ptr member
of the pkey union as a weird char pointer, a void pointer will do. This
avoids a few stupid casts and simplifies an upcoming diff.

ok jsing

Move skiplist to main and merge with shortlist.

With/ok job

zap errant space in usage();

Add aspa-set config test.

Add plumbing for ASPA support. This implements the parser and part of the
logic in the rtr process. It does not implement the new RTR messages yet
but it is possible to specify an aspa-set in the config. Also the validation
code in the RDE is missing so this does not do anything.
With this in it will be possible to extend rpki-client to publish an
aspa-set as part of the openbgpd config file.
OK tb@

group -> field

discussed with schwarze

polynominal -> polynomial

ok schwarze

cope with new getaddrinfo() error message

sync

mips64 code calls uvm_map_protect() directly, so needs to adapt:
stack growth from setrlimit was never updated to set UVM_ET_STACK on
the entries, so the check-sp-at-system-call check failed.  Quite strange
it took this long to find this.
ok kettenis

new manual page BN_GF2m_add(3)
concerning arithmetic in Galois fields of power-of-2 order

With regret, place mutexes after struct vm_map fields which are inspected
by libkvm and procmap(8).  struct mutex can change based upon kernel
compile options, and the fields were dancing around
ok kettenis

Avoid a few unnecessary contortions

Turns out that after ~40 years of practice I still can't do addition
with carry correctly :S

Use a fixed-size array for the message and simplify a few other curly
things.

Schedule cleanup of '-r' now useless getopt option

OK tb@

Add shortlist functionality, a compagnion to the skiplist

If the operator specifies the '-H' option once (or more) followed by a FQDN,
the utility will *only* connect to those hosts and skip all others.

OK claudio@ tb@

Add initial Wycheproof EdDSA test coverage

Add a regression test for curve25519.c r1.14

Generate random signatures of random messages and verify them. Then check
that the signature modified by adding the edwards25519 group order to the
upper half are rejected. This would not always be accepted without the
check in curve25519.c r1.14, but often enough that a few iterations suffice
to expose the missing check.

Prevent Ed25519 signature malleability

Add a check that ensures that the upper half s of an Ed25519 signature is
bounded by the group order, i.e, 0 <= s < order. This is required by the
Verify procedure in RFC 8032, section 5.1.7, step 1, and prevents simple
modifications of signatures such as adding (a multiple of) the group order
to the upper half of the signature.

Found with EdDSA testcase 63 of project Wycheproof.

ok beck jsing

stack growth from setrlimit was never updated to set UVM_ET_STACK on
the entries, so the check-sp-at-system-call check failed.  Quite strange
it took this long to find this.
ok kettenis

style(9) fix. No functional change.

Restrict what getaddrinfo(3) is willing to try to resolve.

Programs assume that a successful call to getaddrinfo(3) validates the
input as "safe", but that's not true. Characters like '$', '`', '\n'
or '*' can traverse the DNS without problems, but have special
meaning, for example a shell.

There is a function res_hnok() already in libc, but it validates if a
string is a host name, which is too strict in practice. For example
foo-.example.com is not a valid host name, but is used on the
Internet.

Posix has this to say:
"The getaddrinfo() function shall translate the name of a service
location (for example, a host name)"

It hints that the input should be a host name, but it does not
restrict it to it.

This introduces a function hnok_lenient() which restricts the input to
getaddrinfo(3) to the set [A-z0-9-_.]. Additionally two consecutive
dots ('.') are not allowed nor can the string start with - or '.'.

glibc introduced a similar restriction years ago, so this should not
cause problems.

It has been known in the DNS community for years, probably decades
that getaddrinfo(3) is too lenient what it accepts, but it has always
been kicked down the road as "not a DNS problem". Unfortunately this
information never made it out of the DNS community and no coordinated
effort happened to have this addressed in operating systems.

David Leadbeater recently demonstrated how ssh(1) and ftp(1) are too
trusting with what getaddrinfo(3) accepts. Both have been fixed
independently of this.

Input deraadt, eric
OK millert, deraadt

Add apple-boot firmware for Apple arm64 machines in fw_update(8) patterns.

The pattern matches the printed CPU_IMPL_APPLE name as in:
cpu0 at mainbus0 mpidr 0: Apple Icestorm Pro r2p0
cpu0 at mainbus0 mpidr 0: Apple Blizzard r1p0

ok deraadt@ afresh@ kettenis@

add .gnu.warning.SYMBOL support to ld.lld(1) to display the warnings in
these sections like ld.bfd(1)

e.g:
add.c(add.o:(add)): warning: sprintf() is often misused, please use snprintf()
add.c(add.o:(add)): warning: strcpy() is almost always misused, please use strlcpy()
add.c(add.o:(add)): warning: strcat() is almost always misused, please use strlcat()

ok deraadt@

whitespace fixes. no functional change.

Revert "Check certificate extensions in trusted certificates"

There are some possible strange side effects noticed by the
openssl cms regress tests that I missed. Backing this out
until I untangle it

ok tb@

sync

tolower(3) guarantees to return its argument unchanged if it's not
uppercase.
While here use the correct idiom of casting to unsigned char.

OK millert, farewell to ultrix deraadt

mark BN_X931_derive_prime_ex, BN_X931_generate_prime_ex,
and BN_X931_generate_Xpq as intentionally undocumented because
they are unused outside OpenSSL/LibreSSL and deprecated in OpenSSL 3.0

expose the documentation of X509_STORE_CTX_verify_fn(3)
and X509_STORE_set_verify(3) and document X509_STORE_get_verify(3)
which tb@ all provided with x509_vfy.h revisions 1.48 and 1.49

document X509_STORE_CTX_verify_cb(3) and X509_STORE_get_verify_cb(3)
which tb@ provided with x509_vfy.h revisions 1.48 and 1.49

Mark BN_mod_exp2_mont() as intentionally undocumented.
It appears to be intended for internal use by DSA_do_verify(3) and using
codesearch.debian.net, i found nothing outside OpenSSL/LibreSSL using it.

In April 2018, jsing@ questioned whether the five related functions
BN_mod_exp_mont() and friends should even be exposed by <openssl/bn.h>,
so we decided to not document them.  Now tb@ agrees that there is no
reason to document BN_mod_exp2_mont() as long as we don't want to
document BN_mod_exp_mont().

Align output to a more tabular view

OK claudio@

Remove an outdated TODO

style(9) fix. No functional change.

Not assigning a link local address by default breaks various things.
A lot of code depends on a eui64 address to be present. So revert this
bit of the last commit.
OK florian@

document BN_mod_sqrt(3)

Take `vmobjlock' around uao_grow() and uao_shrink() calls to fix tmpfs
panics [1].

1. https://marc.info/?l=openbsd-bugs&m=165012301707403&w=2

from Leo Larnack <leo at pseven.xyz>

ok kn@ mpi@

sync

Unlock SIOCGIFG{MEMB,ATTR,LIST}

The global interface group list is also protected by the net lock and all
access to it (all within if.c) take it accordingly.

Getting all
- members    of a group (SIOCGIFGMEMB),
- attributes of a group (SIOCGIFGATTR),
- groups                (SIOCGIFGLIST)
are each read-only operations on the global interface group `ifg_head'.

The global interface list `ifnetlist' or its per-interface group lists are
not used in these ioctls.

OK mvs

Unlock SIOCGIFCONF

As netintro(4) explains, this copies a bunch of data from the global
interface list as well as its per-interface address lists.

All of this is never written to by ifconf(), protected by the net lock
and documented as such in the struct comments already.

OK mvs

Document global interface group list locking

The per-interface group list is protected by the net lock and already
documented as such.

The global interface group list `ifg_head' is also protected by the net
lock and all access to it (all within if.c) take it accordingly.

Feedback OK mvs

merge conflicts

import NSD 4.6.1, ok florian@, thanks aoyama@ for checking autoconf C99 bits

document BN_kronecker(3)

document BN_reciprocal(3)

Hide public symbols in libcrypto/x509 .c files

ok tb@

Fix tag type and buffer limit in DT_TEXTREL lookup.

OK deraadt@ kettenis@

With the commit to in6_ifattach mpe(4) now also works with IPv6

Add missing clock trigger to loongson_isa_splx().

Fixes unexpected delays that have occurred with mips64 clock(4).

Relax the list of interfaces which support IPv6 a bit.

No longer require IFF_MULTICAST for all interfaces. It is save to skip
this for interfaces that don't require a ND cache. Also do not assign a
link-local address in such cases. This affects point-to-point interfaces
and the NBMA / point-to-multipoint interfaces like mpe(4), mgre(4) and wg(4).
The NBMA interfaces need some alternative way to figure out the address
mapping. In the end this allows non-multicast interfaces to work with IPv6.
OK dlg@ kn@

fix swapped user/group introduced in sync-with-mount_tmpfs commit;
from Josiah Frentsos

make the EFI partition quite large, like on arm64 x13s, because newer x86
((Lenovo in particular) firmware updating methods do the same -- placing
a payload in there, so a small space won't do.
ok kettenis

Preserve original order of nameservers

RFC 2132 "DHCP Options and BOOTP Vendor Extensions"
3.8. Domain Name Server Option says
Servers SHOULD be listed in order of preference.

tcpdump(8), route(8) monitor and dhcpleasectl(8) -l athn0 show servers from
the DHCP OFFER in their original order, as expected.

resolvd(8) however sorts proposals by priority and IP address before writing
them to resolv.conf(5).

But as the system resolver tries this file's `nameserver' options in the
order appearance, sorting by IP breaks DHCP's intended order and thus may
result in the wrong nameserver being queried.

Sorting by IP is done to later remove duplicates from the file.

Sort by priority alone and ensure uniqueness by iterating over the list of
of proposals and zeroeing duplicates instead to preserve any proposal's
original order.

Spotted on a public wifi OFFERing two local IPs plus 8.8.8.8 in this order
which ended up with 8.8.8.8 being the first entry in my /etc/resolv.conf.

In other words, `route nameserver lo0 2.2.2.2 1.1.1.1 1.1.1.1' now yields
nameserver 2.2.2.2 # resolvd: lo0
nameserver 1.1.1.1 # resolvd: lo0
rather than
nameserver 1.1.1.1 # resolvd: lo0
nameserver 2.2.2.2 # resolvd: lo0

Feedback OK deraadt

Recognize PT_OPENBSD_MUTABLE with LLVM's readobj / objdump.
from brad

Check for offline chunks first, then check for keydisks

Like keydisks, offline data chunks also report a size of zero, so skipping
zero sized chunks before doing the offline check means not printing the
"softraid chunk N not online - skipping..." warning.

Restore order to make this warning appear on degraded volumes again.

Since the introduction of automatic immutable from the kernel, the munmap()
of ld.so boot.text region is now (silently) failing because the region is
contained within the text LOAD, which is immutable.  So create a new btext
LOAD with flags PF_X|PF_R|PF_OPENBSD_MUTABLE, and place all boot.text objects
in there.  This LOAD must also be page-aligned so it doesn't skip unmapping
some of the object region, previously it was hilariously unaligned.
ok kettenis and guenther seemed to like it also
This one is for powerpc64 and a modified version of the diff deraadt@ mailed
out to make sure the LOADs are in increasing address order.
this is the alpha version

Since the introduction of automatic immutable from the kernel, the munmap()
of ld.so boot.text region is now (silently) failing because the region is
contained within the text LOAD, which is immutable.  So create a new btext
LOAD with flags PF_X|PF_R|PF_OPENBSD_MUTABLE, and place all boot.text objects
in there.  This LOAD must also be page-aligned so it doesn't skip unmapping
some of the object region, previously it was hilariously unaligned.
ok kettenis and guenther seemed to like it also
This one is for powerpc64 and a modified version of the diff deraadt@ mailed
out to make sure the LOADs are in increasing address order.
this is the i386 version

Since the introduction of automatic immutable from the kernel, the munmap()
of ld.so boot.text region is now (silently) failing because the region is
contained within the text LOAD, which is immutable.  So create a new btext
LOAD with flags PF_X|PF_R|PF_OPENBSD_MUTABLE, and place all boot.text objects
in there.  This LOAD must also be page-aligned so it doesn't skip unmapping
some of the object region, previously it was hilariously unaligned.
ok kettenis and guenther seemed to like it also
This one is for powerpc64 and a modified version of the diff deraadt@ mailed
out to make sure the LOADs are in increasing address order.
this is the version for sparc64, tested by pascal also

Since the introduction of automatic immutable from the kernel, the munmap()
of ld.so boot.text region is now (silently) failing because the region is
contained within the text LOAD, which is immutable.  So create a new btext
LOAD with flags PF_X|PF_R|PF_OPENBSD_MUTABLE, and place all boot.text objects
in there.  This LOAD must also be page-aligned so it doesn't skip unmapping
some of the object region, previously it was hilariously unaligned.
ok kettenis and guenther seemed to like it also
This one is for powerpc64 and a modified version of the diff deraadt@ mailed
out to make sure the LOADs are in increasing address order.
this is the version for powerpc, tested by pascal

Turns out the power button on the Mac mini and the touchid button on the
various Macbook models generate different events.  So rename the existing
constant for a "short press" of the touchid button and add support for the
power button on the Mac mini such that is can be resumed.

ok tobhe@, patrick@

- show -R with -s in options list
- show -t with -T in options list
- sort the -T commands
- small text/formatting tweaks

ok sthen
ok kn on an earlier version

Document arm64 as supporting RAID 1C boot

Now that installboot(8) -p is softraid(4) aware, fresh arm64 installations
actually boot out of the box without manual intervention, as expected.

When the fdt does not provide a list of brightness states, pwmbl(4)
builds a 256 state ramp (i.e. state[i] = i with 0 <= i < 256).

Change the logic to not need to malloc an array of values in this case,
since they are trivially known.

test&ok patrick@

include sys/device.h, on some architectures this gets pulled in, but others
(like sparc64) require it explicitly

Fix comment style

Various improvements; joint work with beck@:
1. Explain up front what "ASN1_TIME" is (suggested by beck@, wording by me).
2. For opaque structs, use the generic term "object",
like we already do it in many other LibreSSL manual pages.
3. Drop some redundant phrases.
4. Improve the EXAMPLES section (by beck@, with fixes by me).
6. Add a STANDARDS section.
...and some other minor polishing.
OK beck@

Make sure csa->csa_bundled is NULL after freeing to prevent a
possible use after free.
ok tobhe@

Sync config.h, we have ed25519 support now.

Check certificate extensions in trusted certificates.

Historically the standards let the implementation decide to
either check or ignore the certificate properties of trust anchors.
You could either use them simply as a source of a public key which
was trusted for everything, or you were also permitted to check the
certificate properties and fully enforce them. Hooray for freedumb.

OpenSSL changed to checking these with :
commit 0daccd4dc1f1ac62181738a91714f35472e50f3c
Author: Viktor Dukhovni <openssl-users@dukhovni.org>
Date:   Thu Jan 28 03:01:45 2016 -0500

BoringSSL currently does not check them, as it also inherited
the previous OpenSSL behaviour. It will change to check them in
the future.
(https://bugs.chromium.org/p/boringssl/issues/detail?id=533)

Sync data and instruction cache before entering an executable page

Adapted from kettenis' fix for arm64/pmap.c.  Since we haven't been able
to reliably reproduce the clang crashes that affect base and ports, it
not yet known whether riscv64 was badly affected by this misordering.
Time will tell.  ok kettenis@

Split out handlers for SOCK_DGRAM unix(4) sockets from SOCK_STREAM and
SOCK_SEQPACKET. Introduce `uipc_dgram_usrreqs' to store pointers for
dgram specific handlers.

The dgram pru_shutdown and pru_send handlers were splitted to
uipc_dgram_shutdown() and uipc_dgram_send(). The pru_accept, pru_rcvd
and pru_abort handlers are not required for dgram sockets.

The unp_disconnect() remains shared between all unix(4) sockets because
it called from common paths too.

Proposed by and ok guenther@

sync

Avoid symbol collision with libcrypto

libcrypto now provides Ed25519 and the raw public key API, so neuter the
compat implementations. Also link libfido against libcrypto.

The #ifdefs were upstreamed in https://github.com/Yubico/libfido2/pull/645

no objection djm
ok jsing

Bump libtls minor to match libcrypto and libssl

Bump libssl minor to match libcrypto

Bump minor after symbol addition

Update Symbols.list

Expose direct access API for Ed25519.

Expose various EVP hooks for Ed25519 and X25519

This adds the EVP_PKEY_ED25519 and EVP_PKEY_X25519 aliases for the NIDs
and exposes the raw public key API.

The ED25519_KEYLEN and X25519_KEYLEN defines are still kept internal for
now to match what OpenSSL have. We may want to expose those later.

Add ED25519 aliases for NID, SN and OBJ

The Ed25519 versions already existed, but OpenSSL chose to uppercase the D.

Expose ASN1_buf_print() in asn1.h

This is needed to print the 32-byte Ed25519 keys which aren't handled
as BNs.

Remove unused fields from struct in6_ifextra

This is all under _KERNEL:
- rs_lhcookie was added in 2014 110585f259f4974284e531f0a1e121b001a580dc
  "Move sending of router solicitations to the kernel; [...]"
  but never used
- nprefixes and ndefrouters became obsolete with 2017
  4a2f474d14c160dc7829cce0149ead09d473ece9
  "Remove sending of router solicitations and processing of router
   advertisements from the kernel. [...]"

OK mpi

Add support for string comparison in filters.

It is now possible to filter by process name, like:

syscall:mmap:entry
/comm == "ld"/
{
...
}

Currently the parser treats C-string like any other expression member even
if arithmetic operations do no apply to strings.

Hide symbols in libcrypto/ui

ok jsing@

Hide symbols in libcrypto/pkcs12

ok jsing@

Fix a long-standing pmap bug, where we would enter an executable mapping
for a page before synchronizing the data and instruction cache.  This means
that another thread that is executing code on this page may not fault, but
see stale contennts until the data cache flushes and/or instruction cache
invalidation propagates.  The bug surfaced when testing a change that would
recycle code pages quickly instead of keeping them around.

Fix the issue by synchronizing the caches before entering an executable
mapping for a page.  Also make sure we mark the page as "clean" after
synchronization instead of before.

ok patrick@, jca@ (and mpi@ and dlg@ for an earlier version of this diff)

Hide symbols in libcrypto/pkcs7

This applies the guentherizer 9000(tm) to pkcs7, after moving
several pkcs7 funcitions back to pkcs7 that were in x509/x_all.c
for reasons known only to the miasma.

ok jsing@

Remove unused RS_LHCOOKIE macro

Added in 2014 110585f259f4974284e531f0a1e121b001a580dc
    Move sending of router solicitations to the kernel; [...]
but never used.

Zap comment about dead linkmtu

Removed in 2015 a923c8476c6771493ee2bc4f277a429c9ae3eaff
    Remove linkmtu and maxmtu from struct nd_ifinfo.

Zap dead ip6_auto_linklocal

Removed in 2015 15f0a5b39a2bb226b44457ed81a5d989cfee0393
    Ensure that link-local addresses are correctly configured on loopback
    interfaces.

Put pf_state_import() under NPFSYNC>0 to fix build without pfsync

Add support for storing builtins arguments into local variables.

Add support for multiple statements in if () blocks.

fix ounctuation and SEE ALSO;

Hide symbols in libcrypto/stack

Automated change from the first attempts at the semi automated
Guentherizer 2000.

ok jsing@ tb@ joshua@

Revert last until we can guarantee gh_guid can't escape to the
d_uid written to disk.