rc(8) infrastructure for rad

hook up rad(8) and ractl(8) to the build

use _rad user

Add _rad user and group for rad(8).
This recycles the _btd uid/gid that have been removed in 2013.
Discussed in the hackroom.

Instead of having a button for printing the driver(s) attached to a USB
device, do it when invoked with '-v'.

While here recycle '-d' to specify a specific device node, like pcidump(8)
does.

ok jca@, sthen@

synch documentation with reality, noticed by landry@

syncookies never is the default; from paul de weerd
ok henning

remove prototype to long-gone function

Add hw.ncpuonline to count the number of online CPUs.

The introduction of hw.smt means that logical CPUs can be disabled
after boot and prior to suspend/resume.  If hw.smt=0 (the default),
there needs to be a way to count the number of hardware threads
available on the system at any given time.

So, import HW_NCPUONLINE/hw.ncpuonline from NetBSD and document it.
hw.ncpu becomes equal to the number of CPUs given to sched_init_cpu()
during boot, while hw.ncpuonline is equal to the number of CPUs available
to the scheduler in the cpuset "sched_all_cpus". Set_SC_NPROCESSORS_ONLN
equal to this new sysctl and keep _SC_NPROCESSORS_CONF equal to hw.ncpu.

This is preferable to adding a new sysctl to count the number of
configured CPUs and keeping hw.ncpu equal to the number of online
CPUs because such a change would break software in the ecosystem
that relies on HW_NCPU/hw.ncpu to measure CPU usage and the like.
Such software in base includes top(1), systat(1), and snmpd(8),
and perhaps others.

We don't need additional locking to count the cardinality of a cpuset
in this case because the only interfaces that can modify said cardinality
are sysctl(2) and ioctl(2), both of which are under the KERNEL_LOCK.

Software using HW_NCPU/hw.ncpu to determine optimal parallism will need
to be updated to use HW_NCPUONLINE/hw.ncpuonline.  Until then, such software
may perform suboptimally.  However, most changes will be similar to the
change included here for libcxx's std::thread:hardware_concurrency():
using HW_NCPUONLINE in lieu of HW_NCPU should be sufficient for determining
optimal parallelism for most software if the change to _SC_NPROCESSORS_ONLN
is insufficient.

Prompted by deraadt. Discussed at length with kettenis, deraadt, and sthen.
Lots of patch tweaks from kettenis.

ok kettenis, "proceed" deraadt

Explicitly call "/etc/rc.d/vmd stop". This issues graceful shutdown commands
to running VMs (at least for OpenBSD ones), but the stop routine for system
daemons is not usually called at shutdown.

Earlier version with just "vmd stop" ok reyk@ kn@, ajacoutot@ reminded me
to hide the contextless "vmd(ok)" text which looks bad, I did so and wrapped
it with a "stopping VMs" message (it can take some time, especially when you
have multiple VMs, so better to have some clear feedback).

check string lengths in vm_start

Disambiguate the source of panics in sys/net* by adding __func__
magic constant to panic() calls.
ok benno@ henning@ tb@

The routing table bgpd runs in needs to be a routing domain.
ok claudio henning

Remove RTM_LOSING from the file, it is no longer used by OpenBSD and
route6d is not realy using it anyway.
OK henning@

some regression tests for lam(1) including width measurements;
will be fixed soon and then linked to the build

Introduce 'auto-join' to the wifi 802.11 stack.

This allows a system to remember which ESSIDs it wants to connect to, any
relevant security configuration, and switch to it when the network we are
currently connected to is no longer available.

Works when connecting and switching between WPA2/WPA1/WEP/clear encryptions.

example hostname.if:
join home wpakey password
join work wpakey mekmitasdigoat
join open-lounge
join cafe wpakey cafe2018
join "wepnetwork" nwkey "12345"
dhcp
inet6 autoconf
up

OK stsp@ reyk@
and enthusiasm from every hackroom I've been in for the last 3 years

Declare cpu_meltdown in <machine/cpu.h>

regress to check nested subdirs and ..'s

superfluous newline

If no thread can immediately handle a signal, which has been sent
to the process, it is made pending at the main thread.  There it
could hang forever.  So also check the main thread for signal
delivery.  This workaround fixes hung tests in posixtestsuite.  The
proper solution would be to split pending signals for process and
threads.
input visa@; OK guenther@

improve the path hash function (instead of just hashing the aspath put
most other attrs into the hash as well). At the same time use the full
64 bit of SipHash in various places.
Tested by and OK benno@ phessler@

cleanly shutdown by sending advertisement with lifetime 0

treat ssh_packet_write_wait() errors as fatal; ok djm@

remove legacy key emulation layer; ok djm@

Remove the i386 specific mention for pcvtfonts, they are also installed
on alpha and amd64.

No objection from jmc@.

OK deraadt@, sthen@

Detect vmm(4) in the bootloader and automatically switch to the serial
console at 115200 baud.

ok deraadt

Prevent invalid interface specifiers on queue rules

pf.conf(5) states that queues attach to actual interfaces only, yet the
following parses:

# echo queue eq on egress bandwidth 1G default | pfctl -f-
# pfctl -sq
pfctl: DIOCGETQSTATS: Bad file descriptor

# echo queue rq on rdomain 0 bandwidth 1G default | pfctl -vf-
queue rq bandwidth 1G default
# pfctl -sq
pfctl: DIOCGETQSTATS: Bad file descriptor

On rdomains, ifa_exists() returns NULL.
On interface groups, ifa_exists() returns non-NULL but af is never set
to AF_LINK.

OK henning sashan

adding __func__ identifier to panic() calls in vmm.c for amd64 and i386
ok mlarkin@

Prevent updating async option on softdep mount

`mount -uo async,nosoftdep /mnt' would set "async" but keep "softdep"
untouched on a read/write mount.

OK deraadt krw beck bluhm

Bump some of the hash table size to more resonable numbers.
Still probably not optimal but less bad.

Send a RA with router lifetime of 0 when an interface is removed from
the config.

RFC 4861, 6.2.5:
[...] the router SHOULD transmit one or more (but not more than
MAX_FINAL_RTR_ADVERTISEMENTS) final multicast Router Advertisements on
the interface with a Router Lifetime field of zero.

remove useless macro;

"running tags"

sort tokens

do not pick up groff from /usr/local/bin in configure, noticed by benno@;
ok benno@ jca@

style - indent each case statement in a switch.

Print out the hash info sent by the RDE in bgpctl show rib mem
OK phessler@ benno@

On IMSG_CTL_SHOW_RIB_MEM also send back information of some of the
hash structures used in the RDE. Makes it fairly obvious that more
is needed in that area.
OK phessler@ benno@

test changed stat lying semantics - we don't lie about files

Print the rdomain config option if present.

ok kn@ tb@ deraadt@ sthen@ jca@

Use AF_UNSPEC not 0

Some spaces have been removed from pfctl print.  Adapt expected
output in regress.

retire the old cron socket path; ok jca millert

Detect vmm(4) in the bootloader and automatically switch to the serial
console at 115200 baud.

tested by phessler and myself, ok deraadt

Regress update to match changes for chrome

Fix comment about VLAN encapsulation and checksum offload

Document that some chips actually could do hardware checksum offload for
encapsulated packets, though that would need special handling in those
drivers.

discussions and ok naddy@

add option "network ... priority number" to announce prefixes from the
kernel routing table selected by priority.
For example to import all ospfd/ospf6d routes into bgp.
tested by remi@
ok remi@ henning@ and maybe a little claudio@

Detect when a router advertisement packet changes due to config
change and if it does send a new advertisement.

The way this is implemented gives us various things for free:
- periodic sending of router advertisements
- send initial advertisement for every interface on startup

no longer needed

Sync comment

Makes it a tad easier to read through and compare with BN_swap_ct().

OK tb

Add -w option to vmctl stop to wait for completion of VM termination.

Use it in /etc/rc.d/vmd accordingly.

OK sthen@

vmm(4): return proper cache topology for cpuid(0x4)

Make the cache neighbor fields match the number of VCPUs present
(currently 1)

ok reyk

Retire RTM_LOSING, it no longer makes sense and on busy servers the
route socket is flooded with those messages. Instead maek sure that the
removal of the dynamic route that can happen is actually also sent to
the routing socket.
OK mpi@ henning@

rtm_send() the cloned routes because of ICMP mtu changes. Until now
these changes to the routing table have not been visible whereas the
RTM_DELETE of those routes have been. Remove this inconsistency.
Input and OK mpi@
OK henning@

vmm(4): respect argument size when reading from undefined ports.

vmm(4): small cleanup in vm_rwregs.

Clarify error values and change a panic into a debug printf (which will
in turn just kill the VM).

Drop a const-bomb on regexec. It's probably not a good idea to remove a
const promise when processing it in the regex engine.

Minor tweak and OK schwarze@

When in incremental search handle ^M (a.k.a. <cr>) like ^[ (a.k.a.
<esc>). i.e. exit incremental search and set the mark. This is what
emacs does.

pointers, suggestions and ok florian@

Change the control socket to ospfd.sock.<rdomain>.

ok friehm@ jca@

After opening all the needed files, tighten the pledge(2)
from "stdio rpath" to just "stdio", before parsing any user data.
It may not matter that much just yet, but parsing will become
slightly more complicated soon when i shall add UTF-8 handling.
OK millert@

the STATE_LOOKUP macro made sense ages ago. It stopped making sense
when we moved most of the functionality into a function. g/c the macro
and just call the function. ok mpi jca

Repair the regression introduced by the recent refactoring
revision 1.11 date: 2004/07/03 21:00:37;
for -p/-P, the argument was no longer parsed, causing segfaults.
OK millert@

Rename function to vmd_check_vmh

remove wrong comment

ok jca@ tb@

allow default from state

allow state->new to deduce the command name from $0

Add -f option to vmctl stop to forcefully kill a VM.

This also fixes a bug in vmm_sighdlr where it might have missed
forwarding the TERMINATE_EVENT to the vmd parent after a VM child
died, leading to an abandoned VM in the vmd parent process.

OK ccardenas@ mlarkin@ benno@ kn@

in if_addgroup(), call the new pfi_group_addmember() instead of
pf_group_change() - the latter is called by _addmemeber now to update dynaddr.
before this, "set skip on lo", ifconfig lo1 create -> no skip on lo1 until
pf rueset got reloaded. Now lo1 gets the skip flag as intended. This has
caused much confusion with i. e. gif interfaces in the past.
ok benno, very excited ok phessler

Convert AH & IPcomp to ipsec_input_cb() and count drops on input.

ok markus@

provide pfi_group_addmember(), which makes the new member interface inherit
set flags from the group. ok phessler benno

there is nothing secret about rad.conf

Document behavior change of EC_POINTs_mul(3) from EC constant time changes.

ok beck on earlier version, markup help from Schwarze.

Don't hide errors when IPv6 forwarding is not enabled.
OK(failed) phessler
OK deraadt

Expand formats in load-buffer and save-buffer.

s/wuth/with/ in comment

sync

Do for most running out of memory err() what was done for most running
out of memory log_warn(). i.e. ("%s", __func__) instead of manual
function names and redundant verbiage about which wrapper detected the
out of memory condition.

ok henning@

Turn yesterday's optimistic ! in an XXX comment into a more cautious ?

Using resolved after realpath(3) has failed is dangerous. Don't do it!

Minor tweak and OK jca@
OK beck@ deraadt@

Make the output of the list command more sensible for the output device.
We now output $COLUMNS - 8 characters of the string and a newline.
This is similar to the behaviour in ed(1).

Discussed with and OK schwarze@

Helper function to shorten history.

implement media type detection and forcing of link speed, lightly tested
with a variety of 10g optics.

Rephrase the wording on the replacement string of the substitute command.
Cover more cases with less wording.

Joint work with schwarze@

OK millert@

Add function comments.

move declarations of hwrm message functions up to the top and make them
non-static.

don't bother checking the rx index matches what we expect, it works
properly.

Remove an old and false comment. REALLOC now free(3)s the code if realloc
fails.

OK millert@

zap trailing whitespace;

Update EC regression tests.

Part of https://github.com/libressl-portable/openbsd/pull/94
from Billy Brumley and his team.

ok jsing

remove newd control leftovers

remove unused variable; pointed out by llvm

add ractl, the rad(8) control program

Indent labels by a space so they don't obliterate function names in diffs.

ECC constant time scalar multiplication support. First step in overhauling
the EC module.

From Billy Brumley and his team, via
https://github.com/libressl-portable/openbsd/pull/94

With tweaks from jsing and me.

ok jsing

Provide BN_swap_ct(), a constant time function that conditionally swaps
two bignums. It's saner and substantially less ugly than the existing
public BN_constantime_swap() function and will be used in forthcoming work
on constant time ECC code.

From Billy Brumley and his team. Thanks!

ok jsing

Factor out a bit of ugly code that truncates the digest to the order_bits
leftmost bits of a longer digest, according to FIPS 183-6, 6.4. Eliminate
a microoptimization that only converts the relevant part of the digest to
a bignum.

ok beck, jsing

pledge(2)

Looks great! deraadt@
OK florian
OK remi@

style (single-line ifs don't need braces)

$OpenBSD$

Now that all *_free() functions are NULL safe, we can generate the
freenull test from Symbols.list.

Suggested by jsing, discussed with beck and bluhm.