Stop URL encoding the tilde character

RFC 1738 Uniform Resource Locators (URL) lists tilde as unsafe character.
RFC 2396 Uniform Resource Identifiers (URI): Generic Syntax updates it to

The tilde "~" character was added to those in the "unreserved" set,
since it is extensively used on the Internet in spite of the
difficulty to transcribe it with some keyboards.

In theory, this shouldn't make a difference, but some servers do not decode
"%7e" and thus erroneously serve a 404.

RFC 2396 2.4.2. When to Escape and Unescape says:

In some cases, data that could be represented by an unreserved
character may appear escaped; for example, some of the unreserved
"mark" characters are automatically escaped by some systems.  If the
given URI scheme defines a canonicalization algorithm, then
unreserved characters may be unescaped according to that algorithm.
For example, "%7e" is sometimes used instead of "~" in an http URL
path, but the two are equivalent for an http URL.

Update ftp(1) to RFC 2396 by no longer treating "~" as unsafe character.
This is effectively a one-character diff;  update comments accordingly as
well as the order of characters to ease code-to-standard comparison.

This matches curl(1) and wget(1) behaviour wrt. encoding of "~".

OK sthen

Always run _rc_rm_runfile when process is sent a SIGKILL or rc_post fails (at
this point the process has been terminated).

Start cleaning up X509_STORE_get1_issuer()

Get rid of the last X509_OBJECT_free_contents() call by moving the object
from the stack to the heap. I deliberately kept the obj variable to keep
obj and pobj separate.  Rename the out parameter from issuer to out_issuer
to ensure that we only assign it when we have acquired a reference that we
can return. Add a new X509 *issuer. In the first part of the function,
acquire an extra reference before check_issuer/check_time.

In the second part of the function, acquire a reference inside the lock to
avoid a race.  Deal with ret only in one place.

ok jsing

In X509_STORE_get1_issuer() do not call the verify callback from
x509_check_cert_time(). Matches a change made in OpenSSL 70dd3c65.

ok jsing

Drop uneeded sleep.

Allow passing a different signal than SIGTERM in the default rc_stop()
function. This will allow to simplify some rc.d script that cook there own
function to gracefully stop a process (e.g. web servers). There are other use
cases as well.
And do the same for rc_reload because it's cheap and can also simplify a
handful of rc.d scripts.

Behave like shutdown and if the process is still not down after daemon_timeout
(configurable; default to 30s), then send a SIGKILL.

While here, factorise pkill invocations into a _rc_sendsig() function that can
potentially be used by rc.d scripts instead of cooking pkill lines; this will
benefit from the configured routing table etc.

tested & ok robert@

Plug a couple of minor mem leaks. From beldmit at gmail.com via github
PR#283, ok markus@

Fix indent.

Refactor X509_STORE_get1_certs()

Split the retrieval of the certs in the store's cache that match the
desired subject into a separate function. This greatly simplifies
locking, error handling and the flow of the function.

with/ok jsing

Make kqread event filter MP-safe

Use the monitored kqueue's kq_lock to serialize kqueue and knote access.

Typically, the "object lock" would cover also the klist, but that is not
possible with kqueues. knote_activate() needs kq_lock of the monitoring
kqueue, which would create lock order troubles if kq_lock was held when
calling KNOTE(&kq->kq_sel.si_note). Avoid this by using a separate klist
lock for kqueues.

The new klist lock is system-wide. Each kqueue instance could have
a dedicated klist lock. However, the efficacy of dedicated versus
system-wide lock is somewhat limited because the current implementation
activates kqueue knotes through a single thread.

OK mpi@

Allocate socket and initialize so_lock in one place

This makes witness(4) use a single lock type for tracking so_lock.
Previously, so_lock was covered by two distinct lock types because there
were separate rw_init() initializers in socreate() and sonewconn().

OK kettenis@

Add missing newline to fix markup

Add "install.site" and "upgrade.site" as additional manual names

This makes "man upgrade.site" work, which is quite convenient for what is
sort of a configuration/script file -- similar to boot.conf(8) which lives
in boot.8 as additional Nm.

Add site(8), OpenBSD installation and upgrade customization

This is practically https://www.openbsd.org/faq/faq4.html#site
"Customizing the Install Process"++ with practical examples and references
to/from relevant manuals.

Prodding/first diff from Aaron Poffenberger <akp AT hypernote DOT com>
"I didn't know about it and now I'm using it on all my systems." florian
Feedback semarie afresh1
OK afresh1

Clarify iface option.

typo: a static objects -> a static object

First pass of streamlining X509_STORE_get1_{certs,crls}()

These functions are quite messy. On top of the tricky logic querying the
cache, then refreshing the cache (unconditionally or not), then querying
again, then extracting a list of certs/crls and bumping their refcounts,
things are intermixed with locking and needlessly early allocations that
then need to be cleaned up again.

Use X509_STORE_CTX_get_obj_by_subject() to avoid using an object on the
stack and defer allocation of the returned stack of certs to later.
Flatten the logic a bit and prepare for further refactoring.

ok jsing

Trade an abort() neutered by a comment for a blank line elsewhere.

Correct auto table entry for /var: it's 4G plus 2x physmem

Perform stricter checking on the version string (which RFC 7230 says
must be "HTTP" "/" DIGIT "." DIGIT), and answer 505 version not
supported when the number is outside of what we support, and 400 bad
request when the version format is wrong.
from Ross L Richardson, thanks!
ok claudio@

Make sure that the configuration file is always read, even when
running with the -M option or with a MANPATH environment variable
that has neither a leading or trailing ":" nor any "::".  If -M or
MANPATH override the configuration file rather than adding to it,
just ignore any "manpath" directives while processing the configuration
file.

This fixes a bug reported by Jan Stary <hans at stare dot cz>
on misc@.

Clean up X509_STORE_add_{cert,crl}().

Add a X509_STORE_add_object() function that adds an X509 object to the
store and takes care of locking and cleaning up. This way we can set up
an X509_OBJECT for both the cert and CRL case and hand over to the new
function.

There is one intentional change of behavior: if there is an attempt to
add an object which is already present in the store, succeed instead of
throwing an error. This makes sense and is also the OpenSSL behavior.

As pointed out by jsing, this is a partial fix for the long standing
GH issue #100 on libtls where connections would fail if the store
contains duplicate certificates.

Also: remove the internal X509_OBJECT_dec_ref_count(), which is no
longer used.

ok jsing

Unify variable names in X509_STORE_{free,up_ref,add_lookup}().
simplify the flow of X509_add_lookup().

ok jsing

Rename the ret variable in X509_OBJECT_new() to obj..

ok jsing

Garbage collect the unused skip member of X509_LOOKUP and
the unused cache member of X509_STORE.

ok jsing

Use calloc() to remove the need of silly zeroing of most members.
Check for allocation failures and if one happens push an error on
the stack and clean up using X509_STORE_free().

ok jsing

Streamline and shorten x509_object_cmp() a bit.

ok jsing

Drop a bunch of unnecesary parentheses and unify the order in which
callbacks are called.

ok jsing

Cleanup X509_LOOKUP_new()

Switch from malloc() to calloc() and drop a bunch of initializations
to 0.  Call the returned object lu instead of the generic ret.

ok jsing

Newer i.MX device trees store the skew information in the PHY's node, which
we can access through the phy-handle.  If there's no reference, keep doing
what we have been doing so far.

ok kettenis@

Show the attribute name like in the other non conforming attribute errors
for snapshost and delta files.
OK deraadt@

Zap unused variables

OK martijn

Constify struct cfattach.

Constify struct cfattach.

Simplify how IP addresses and AS numbers are passed between processes.
Since they are stored in an array just blast the full array in and out
of the io buffers at once instead of iterating element by element.
It also allows to remove a lot of extra code.
OK benno@ job@

Fix bootorder string for disk

ok mlarkin@

Newer i.MX device trees retriee the USB phy using the more generic property
name "phys". To handle those, make sure that we look it up and in case it's
not there fall back to "fsl,usbphy".

ok kettenis@

Add getmonotime() to test-http.c so that the test compiles again.
Noticed as ususal by anton@

Garbage collect xobj->data.{ptr,pkey}

Both these are essentially unused. Remove the last use of data.ptr
by initializing and copying the X509_OBJECT using memset() and
struct assignment in X509_STORE_CTX_get_subject_by_name() and add
a missing error check for X509_OBJECT_up_ref_count() while there.

ok beck

move cert_filter_principals() to earlier in the file for reuse;
no code change

Cache sha512 hash and parsed not_before and not_after with X509 cert.

Replace sha1 hash use with sha512 for certificate comparisons internal
to the library. use the cached sha512 for the validator's verification
cache.

Reduces our recomputation of hashes, and heavy use of time1 time
conversion functions noticed bu claudio@ in rpki client.

ok jsing@ tb@

Cleanup some old XXX needed comments. cert_parse() returns a referenced
x509 object from the call and that reference needs to be freed. There is
a second inside of struct cert but that reference is still held.
So the  X509_free() calls are indeed needed and by moving them up a bit
the code gets a bit simpler too.
With and OK tb@

On errors related to the pipes to the childs don't error out right away.
Instead exit the main event loop and use waitpid to know why a child
went away. This should make it hopefully more clear when shit hits the fan.
OK tb@ deraadt@

Fix broken "boot device cdrom" feature after a fix in seabios.

seabios fixes wrong LUN handling upstream.  Thus, we have to adapt the LUN
of our cdrom bootorder string, too.

ok brynet@, dv@

Instead of creating a struct repo for each unique caRepository URI
use the rsync URI (a base version of caRepository) and the notify URI
to identify repositories. If both rsync URI and notify URI are the same
then the repo is the same. The notify URI is optional and can be NULL
so the lookup needs to be a bit careful.
This reduces the number of struct repos from 26k to around 50.
OK tb@

The authenticator is removed elsewhere.

ok patrick@

Move and promote getmonotime() to an internal API function.

Use the same spacing for all defines.

Fix mandoc HTML rendering for command aliases

Replace hand-rolled parentheses with the proper mdoc(7) macro,
otherwise the closing ")" ends up inside the command description.

Reported by Josh Rickmar, thanks!

revert rev 1.30 of ttm_bo_util.c

Laurence Tratt reported firefox would hard lock a machine
with polaris12 with the ttm change from linux 5.10.77.
robert@ also hit the same problem.

Instead of passing tal descriptions around just pass a tal id and
use a small lookup table to print the description in the output path.
OK tb@

Tweaks (improve previous commit)

from jmc

Clarify "aes" will accept keys which length is in 128:256 bits.  Also
correct "cast" in ipsec.conf.5 to "cast128", add missing
"chacha20-poly1305", and sync iked.conf.5 and ipsec.conf.5 some
places.

ok jmc sthen

Many downstreams expect ssh to compile as non-C99...

log the interface along with the neighbour ID in various ospfd/ospf6d
messages.  ok remi@ benno@

if a neighbour is reachable over multiple network links, some problems
may be related to the link itself rather than the neighbour, so knowing
the interface can be important when trying to locate the source of a
problem.

adjust for perfpolicy being auto by default; ok deraadt

When handling CRLF and nulling out the optional CR, point nl at the
right NUL so that valid_url() and the .cer check work.

Tweaked version of a diff by claudio.

ok claudio

Add a test tal that has comments and also comes with CRLF

document d2i_X509_ALGORS(3) and i2d_X509_ALGORS(3)

Limit the number of rsync processes being spawned by stopping to accept
new requests when over the limit. Use a generous limit of 16.
OK deraadt@

whitespace observed during a read-through

Fix five bugs in X509_REQ_to_X509(3):
* memory leak in X509_set_subject_name(ret, X509_NAME_dup(xn));
* memory leak in X509_set_issuer_name(ret, X509_NAME_dup(xn));
* memory leak in X509_set_pubkey(ret, X509_REQ_get_pubkey(r));
* missing return value check of X509_REQ_get_pubkey(r);
* missing return value check of X509_set_pubkey(...);
Some of these bugs have survived for twenty-five years.

I noticed the first two bugs while documenting the function,
then found that a commit in the OpenSSL 1.1.1 branch, which is
still under a free license, fixed all of them in 2016.

In the function X509_REQ_to_X509(3), merge everything worth merging
from OpenSSL 1.1.1, in particular the relevant parts of:
* 222561fe Apr 30 17:33:59 2015 -0400 (err: label cleanup)
* 0517538d Mar 17 00:15:48 2016 +0100 (the bugfix)
* c5137473 Apr 3  23:37:32 2016 +0200 (code simplification)

While here, delete some commented out code that is wrong in
multiple ways and untouched since the SSLeay era.

One code tweak for readability by tb@, and OK tb@.

use some sizeof, rather than INADDRSZ/IN6ADDRSZ; ok claudio

Fix ASN1_TIME_diff() with NULL times

The ASN1_TIME_diff() API accepts NULL ASN1_TIMEs and interprets them
as "now". This is used in sysutils/monit, as found by semarie with a
crash after update. Implement this behavior by porting a version of
ASN1_TIME_to_tm() to LibreSSL and using it in ASN1_TIME_diff().

Tested by semarie

ok beck jsing semarie

Add a cursor-style option, from Alexis Hildebrandt in GitHub issue 2960.

Print the name of the non conforming attribute in the XML parse error.
OK beck@

For chunked encoding on switch to STATE_RESPONSE_CHUNKED_TRAILER when
the full chunk was fetched. If the chunk size is bigger than
HTTP_BUF_SIZE iosz will be not zero and STATE_RESPONSE_DATA should
be used to fetch another buffer full of data.
OK beck@

Some cleanup in X509_REQ_get_extensions(3), no functional change.

In this function, merge everything that is worth merging
from the OpenSSL 1.1.1 branch, which is still under a free license,
mostly the relevant part of commit 9b0a4531 Mar 14 23:48:47 2015 +0000
to use X509_ATTRIBUTE_get0_type(3) rather than re-implementing it.

While here,
* use d2i_X509_EXTENSIONS(3) rather than ASN1_item_d2i(3);
* test pointers explicitly against NULL, not with '!', as suggested by tb@;
* drop some useless parentheses as suggested by tb@.

OK tb@

Test adding extensions to certification requests.
Related to the bugfixes in x509_req.c rev. 1.25.
OK tb@.

Fix two bugs in X509_REQ_add_extensions_nid(3)
that i noticed while documneting the function:
* missing return value check for ASN1_item_i2d(3) and
* missing return value check for OBJ_nid2obj(3).

In the function X509_REQ_add_extensions_nid(3), merge everything
that is worth merging from the OpenSSL 1.1.1 branch, which is still
under a free license; that's mostly parts of the commit 9b0a4531
Mar 14 23:48:47 2015 +0000 (containing the bugfix, even though the
OpenSSL commit message did not mention the bugs) and some minor
stylistic changes from 0f113f3e and 26a7d938.

While here, use i2d_X509_EXTENSIONS(3) instead of the layer-violating
call to ASN1_item_i2d(3), and include a few stylistic tweaks from tb@.

OK tb@, and jsing@ agreed on the general direction.

In addition to the WEP key(s) being set at device initialization with
'nwid'/'nwkey', the keys will be set at random times when 'join'/'nwkey' is
used. So also stop trying to set IEEE80211_CIPHER_NONE keys on that path.

James Hastings confirms this fixes his '(null node)' panics on run(4). Thanks!

ok stsp@

Move the MAX_CERT_DEPTH to extern.h and adjust the comments of all limits
a bit.

In proc_parser_roa() adjust the expiry calculation to walk all of
the auth tree (including the TA) and be more careful to not dereference
NULL pointers. Both valid_ski_aki() and get_crl() can return NULL
pointers. In these situations X509_verify_cert() should fail and
the affected code should be not reachable but better be prepared.
With and OK tb@

Add missing copyright statement. Reminded by deraadt@

Clarify that ANY can be used for several parameters of IPsec transform.

ok jmc sthen

drm/amdgpu: fix out of bounds write

From Thelford Williams
eb3b6805e3e9d98b2507201fd061a231988ce623 in linux 5.10.y/5.10.77
5afa7898ab7a0ec9c28556a91df714bf3c2f725e in mainline linux

drm/ttm: fix memleak in ttm_transfered_destroy

From Christian Koenig
c21b4002214c1c7e7b627b9b53375612f7aab6db in linux 5.10.y/5.10.77
0db55f9a1bafbe3dac750ea669de9134922389b5 in mainline linux

Zap swapips remnants

There since 1998, probably dead long before.

"I am sure swabips died before you were born." deraadt

mention hw.power
ok deraadt@

fix previous

Return non-zero on failed "nwkey" command

Fail early and exit non-zero immediately instead of indicating success and
possibly carrying the next ifconfig command.

Found at install when wifi interfaces are reset with "-nwid -nwkey -wpa":

Which network interface do you wish to configure? (or 'done') [bse0] bwfm0
ifconfig: SIOCS80211NWKEY: Operation not supported by device
Access point? (ESSID, 'any', list# or '?') [any] 2
Security protocol? (O)pen, (W)EP, WPA-(P)SK [O]

bwfm(4) currently does not support WEP.

OK stsp

Remove trailing whitespace

crank SSH_SK_VERSION_MAJOR to match recent change in usr/bin/ssh

Better handle FIDO keys on tokens that provide user verification (UV)
on the device itself, including biometric keys.

Query the token during key creation to determine whether it supports
on-token UV and, if so, clear the SSH_SK_USER_VERIFICATION_REQD flag
in the key so that ssh(1) doesn't automatically prompty for PIN later.

When making signatures with the key, query the token's capabilities
again and check whether the token is able (right now) to perform user-
verification without a PIN. If it is then the PIN prompt is bypassed
and user verification delegated to the token. If not (e.g. the token
is biometric capable, but no biometric are enrolled), then fall back
to user verification via the usual PIN prompt.

Work by Pedro Martelletto; ok myself and markus@

NB. cranks SSH_SK_VERSION_MAJOR

Add standard EXIT STATUS

OK deraadt

sync

Only add CA certificates to the auth tree, skip BGPsec certificates.
Also make sure that trust anchors are not BGPsec certs.
While there fix some overly long lines.
OK benno@

Remove "!" escape handling from WEP/WPA passphrase questions

Answering any question (except user password prompts) with "!" drops to
the shell ("!foo" executes "foo" immediately), but this is an obviously
bad idea for the wifi passphrase questions in case the magic words start
with... an "!":

WPA passphrase? (will echo) !2345678
/install: 2345678: not found
WPA passphrase? (will echo)

Adapt the existing password prompt code into a new self-contained
ask_passphrase() which prompts only once and echos its input (like the
passphrase question has been doing all the time), doing no input parsing
whatsoever (as with user passwords):

WPA passphrase? (will echo) !2345678
IPv4 address for bwfm0? (or 'autoconf' or 'none') [autoconf]

Reported by Pasi-Pekka Karppinen <ppkarppi AT icloud DOT com>, thanks!
Feedback tb (wifi passphrases should still be printed)
OK deraadt

Enable spleen16x32 and spleen32x64 on powerpc64 for GENERIC kernels.

Pointed out by Brad, thanks!

OK kettenis@, deraadt@

tr(1): main(): eliminate isstring2 variable

If only there we a way to express how many positional arguments we
needed to run tr(1) in a given operating mode.

... oh.  Wait.  We have argc for that.

Remove the isstring2 variable to simplify some of the logic in main().

Update awk to October 12, 2021 version.
Fixes a decision bug with trailing stuff in lib.c:is_valid_number.
All other fixes were already present.

Add HISTORY section.  OK schwarze@.

Recognize BCM43436, as seen on the Raspberry Pi Zero 2 W.

ok jsg@

Add regress that calls SSL_set_tlsext_host_name() with a NULL host name.

Do not take the strlen() of a NULL name. Defer the CBS_init() to later.
Found the hard way by sthen.

ok sthen

fatalx on unknown enum members in a couple of places, from Ben Boeckel.

add handling for parity and character size config.

i wanted to talk modbus to a thing using a uchcom rs485 adapter,
but i needed even parity enabled to do that which the code didnt
support. this pulls in the necessary changes from netbsd uchcom.c
r1.26. it does not pull in the reset changes in 1.26 because netbsd
r1.28 reverts the reset code back to what we have now.

existing functionality tested by felix kronlage-dammers
ok patrick@

igc(4)

Enable igc(4).

Tested by kevlo@

tr(1): plug leak in genclass()

If we have already generated a given character class we don't need to
do it again.  We can also return some of the memory we allocated for
the class.  NCHARS is an upper bound, most character classes are
small.

This fixes a small leak in genclass().

While here, switch to an ANSI function definition.

Thread: https://marc.info/?l=openbsd-tech&m=163571942030440&w=2

ok millert@