repair inconsistancies

repair inconsistancies

byebye MASTER_SITE_OVERRIDE, we won't miss you

Explain what the example is doing.
Prompted by, tweak & OK jmc

Check protocol version number before sending an ack indicating that we
support a domain services protocol.

Some more checks before auto-join switches networks.

Make sure all of the crypto options the AP announces matches what we
would configure.  While here, don't switch if the user has specified
a specific BSSID, and the new AP does not match.

OK stsp@

add rad.conf; from semarie; tweak & OK tb

Use _ALIGN_TRAPS instead of _ALIGN_TEXT where nops aren't needed.

ok deraadt@

various tweaks; ok florian

zap some garbage that snuck in.

spotted by kevlo

- differentiate between join and nwid
- remove some duplication between them
- document -join
- sort

ok phessler

make this use ssh_proxy rather than starting/stopping a daemon for
each testcase

fix leaks in unit test; with this, all unit tests are leak free
(as far as valgrind can spot anyway)

we will be toggling witness on/off a few times.  when it is on, it raises
awareness of problems.  when it is off, development cycles are faster.
let's do the faster cycle for a little while.
discussion with naddy

sync

store and print the rdomain of the interfaces we see.
ok phessler@ henning@

if we couldn't update the clock for ~1h due to lack of data from peers and
sensors, mark us unsynced again. ok reyk krw, pt out / discussion / help naddy

missing .Ek;

Cleanup and clarify getuint64() by using the
same functions as auto-allocation. parse_sizespec()
and apply_unit(). No intentional functional
change.

Looked good to tb@

Cleanup and clarify the has_overlap() logic so it can be read by
normal people and is more efficient to boot.

The only intentional functional change was to use mergesort()
instead of heapsort() so that partitions with the same offset
retain their order in the emitted verbiage.

Looked good to tb@, ok kn@

RTM_CHGADDRATTR for route monitor
OK phessler, benno, claudio

Introduce RTM_CHGADDRATTR to inform userland on the route socket when
an attribute of an address is changed.
For now it's used when IPv6 duplicate address detection finishes.

With this slaacd(8) can find out if a configured address is not
duplicated without the need to poll.

OK phessler, benno, claudio

Introduce ipsec_output_cb() to merge duplicate code and account for
dropped packets in the output path.

While here fix a memory leak when compression is not needed w/ IPcomp.

ok markus@

unbreak i386 build, thanks to pd@ for noticing. Same diff as I committed
earlier for amd64

zap an extra newline

The vmctl start -I option was changed to -t.

I committed the manpage but accidentally forgot the main.c part.

OK ccardenas@

Add a function to delete all nodes with a specific name.
Add a function to determine the size of a machine description.

trade few 'goto unlock: for 'break' in pf_test()

OK mpi@, OK henning@, OK jca@

Unbreak the nmi handler (again): I placed INTR_CLEAR_GPRS in the wrong
place and GS.base was horked on return.  Also, the frame passed to ddb
didn't have the %rbp<-->tf_err swap, which would have confused backtraces.
Now if we can just come up with a way to automate testing the NMI handler
with qemu...

- introducing _Q_INVALID to sys/queue.h

OK @bluhm, OK @otto, OK @guenther

Reorganize the Meltdown entry and exit trampolines for syscall and
traps so that the "mov %rax,%cr3" is followed by an infinite loop
which is avoided because the mapping of the code being executed is
changed.  This means the sysretq/iretq isn't even present in that
flow of instructions in the kernel mapping, so userspace code can't
be speculatively reached on the kernel mapping and totally eliminates
the conditional jump over the the %cr3 change that supported CPUs
without the Meltdown vulnerability.  The return paths were probably
vulnerable to Spectre v1 (and v1.1/1.2) style attacks, speculatively
executing user code post-system-call with the kernel mappings, thus
creating cache/TLB/etc side-effects.

Would like to apply this technique to the interrupt stubs too, but
I'm hitting a bug in clang's assembler which misaligns the code and
symbols.

While here, when on a CPU not vulnerable to Meltdown, codepatch out
the unnecessary bits in cpu_switchto().

Inspiration from sf@, refined over dinner with theo
ok mlarkin@ deraadt@

fix Test 7.1 after main.c rev. 1.37;
breaking the output lines earlier with the 'l' command is intentional

Add support for rdomains.

small quirk from tb@
ok phessler@

Remove cases for 1-bit and 4-bit color depths in efifb_ioctl(), as we
basically can't run in those modes.

OK kettenis@

Stop building rasops4 on amd64.

It was pulled in for efifb, but it is extremely unlikely an EFI system
supporting only 4-bit color depth (16 colors) exists. Even if it existed
though, on SMALL_KERNEL rasops4_putchar() simply returns EAGAIN so it
would not be possible to install the system.

For the record, we do not build rasops4 on i386 or on any of our other
platforms either.

OK kettenis@, mpi@

Use (mostly) the same capitalisation in the replacement string as in
the replaced string:

replacing foo with bar turns

foo
Foo
FOO

into

bar
Bar
BAR

OK phessler, benno

symlinks make my cry.. thanks robert.. don't you care about my feelings?

With the "depend on" option routes are sent out with a metric of 65535 if
the referenced interface is down or in state backup. This is especially
useful on a carp cluster to ensure all traffic goes to the carp master.

ok friehm@ jca@

Allow to use configured/running VMs as templates for other VM instances.

This introduces new grammar and the -t optional in vmctl start.

(For now, only root can create VM instances; but it is planned to allow
users to create their own VMs based on permissions and quota.)

OK ccardenas@ mlarkin@ jmc@

Add regress test for realpath and modify behavior appropriately

zap a blank line

vmm(8)/vmm(4): send a copy of the guest register state to vmd on exit,
avoiding multiple readregs ioctls back to vmm in case register content
is needed subsequently.

ok phessler

rc(8) infrastructure for rad

hook up rad(8) and ractl(8) to the build

use _rad user

Add _rad user and group for rad(8).
This recycles the _btd uid/gid that have been removed in 2013.
Discussed in the hackroom.

Instead of having a button for printing the driver(s) attached to a USB
device, do it when invoked with '-v'.

While here recycle '-d' to specify a specific device node, like pcidump(8)
does.

ok jca@, sthen@

synch documentation with reality, noticed by landry@

syncookies never is the default; from paul de weerd
ok henning

remove prototype to long-gone function

Add hw.ncpuonline to count the number of online CPUs.

The introduction of hw.smt means that logical CPUs can be disabled
after boot and prior to suspend/resume.  If hw.smt=0 (the default),
there needs to be a way to count the number of hardware threads
available on the system at any given time.

So, import HW_NCPUONLINE/hw.ncpuonline from NetBSD and document it.
hw.ncpu becomes equal to the number of CPUs given to sched_init_cpu()
during boot, while hw.ncpuonline is equal to the number of CPUs available
to the scheduler in the cpuset "sched_all_cpus". Set_SC_NPROCESSORS_ONLN
equal to this new sysctl and keep _SC_NPROCESSORS_CONF equal to hw.ncpu.

This is preferable to adding a new sysctl to count the number of
configured CPUs and keeping hw.ncpu equal to the number of online
CPUs because such a change would break software in the ecosystem
that relies on HW_NCPU/hw.ncpu to measure CPU usage and the like.
Such software in base includes top(1), systat(1), and snmpd(8),
and perhaps others.

We don't need additional locking to count the cardinality of a cpuset
in this case because the only interfaces that can modify said cardinality
are sysctl(2) and ioctl(2), both of which are under the KERNEL_LOCK.

Software using HW_NCPU/hw.ncpu to determine optimal parallism will need
to be updated to use HW_NCPUONLINE/hw.ncpuonline.  Until then, such software
may perform suboptimally.  However, most changes will be similar to the
change included here for libcxx's std::thread:hardware_concurrency():
using HW_NCPUONLINE in lieu of HW_NCPU should be sufficient for determining
optimal parallelism for most software if the change to _SC_NPROCESSORS_ONLN
is insufficient.

Prompted by deraadt. Discussed at length with kettenis, deraadt, and sthen.
Lots of patch tweaks from kettenis.

ok kettenis, "proceed" deraadt

Explicitly call "/etc/rc.d/vmd stop". This issues graceful shutdown commands
to running VMs (at least for OpenBSD ones), but the stop routine for system
daemons is not usually called at shutdown.

Earlier version with just "vmd stop" ok reyk@ kn@, ajacoutot@ reminded me
to hide the contextless "vmd(ok)" text which looks bad, I did so and wrapped
it with a "stopping VMs" message (it can take some time, especially when you
have multiple VMs, so better to have some clear feedback).

check string lengths in vm_start

Disambiguate the source of panics in sys/net* by adding __func__
magic constant to panic() calls.
ok benno@ henning@ tb@

The routing table bgpd runs in needs to be a routing domain.
ok claudio henning

Remove RTM_LOSING from the file, it is no longer used by OpenBSD and
route6d is not realy using it anyway.
OK henning@

some regression tests for lam(1) including width measurements;
will be fixed soon and then linked to the build

Introduce 'auto-join' to the wifi 802.11 stack.

This allows a system to remember which ESSIDs it wants to connect to, any
relevant security configuration, and switch to it when the network we are
currently connected to is no longer available.

Works when connecting and switching between WPA2/WPA1/WEP/clear encryptions.

example hostname.if:
join home wpakey password
join work wpakey mekmitasdigoat
join open-lounge
join cafe wpakey cafe2018
join "wepnetwork" nwkey "12345"
dhcp
inet6 autoconf
up

OK stsp@ reyk@
and enthusiasm from every hackroom I've been in for the last 3 years

Declare cpu_meltdown in <machine/cpu.h>

regress to check nested subdirs and ..'s

superfluous newline

If no thread can immediately handle a signal, which has been sent
to the process, it is made pending at the main thread.  There it
could hang forever.  So also check the main thread for signal
delivery.  This workaround fixes hung tests in posixtestsuite.  The
proper solution would be to split pending signals for process and
threads.
input visa@; OK guenther@

improve the path hash function (instead of just hashing the aspath put
most other attrs into the hash as well). At the same time use the full
64 bit of SipHash in various places.
Tested by and OK benno@ phessler@

cleanly shutdown by sending advertisement with lifetime 0

treat ssh_packet_write_wait() errors as fatal; ok djm@

remove legacy key emulation layer; ok djm@

Remove the i386 specific mention for pcvtfonts, they are also installed
on alpha and amd64.

No objection from jmc@.

OK deraadt@, sthen@

Detect vmm(4) in the bootloader and automatically switch to the serial
console at 115200 baud.

ok deraadt

Prevent invalid interface specifiers on queue rules

pf.conf(5) states that queues attach to actual interfaces only, yet the
following parses:

# echo queue eq on egress bandwidth 1G default | pfctl -f-
# pfctl -sq
pfctl: DIOCGETQSTATS: Bad file descriptor

# echo queue rq on rdomain 0 bandwidth 1G default | pfctl -vf-
queue rq bandwidth 1G default
# pfctl -sq
pfctl: DIOCGETQSTATS: Bad file descriptor

On rdomains, ifa_exists() returns NULL.
On interface groups, ifa_exists() returns non-NULL but af is never set
to AF_LINK.

OK henning sashan

adding __func__ identifier to panic() calls in vmm.c for amd64 and i386
ok mlarkin@

Prevent updating async option on softdep mount

`mount -uo async,nosoftdep /mnt' would set "async" but keep "softdep"
untouched on a read/write mount.

OK deraadt krw beck bluhm

Bump some of the hash table size to more resonable numbers.
Still probably not optimal but less bad.

Send a RA with router lifetime of 0 when an interface is removed from
the config.

RFC 4861, 6.2.5:
[...] the router SHOULD transmit one or more (but not more than
MAX_FINAL_RTR_ADVERTISEMENTS) final multicast Router Advertisements on
the interface with a Router Lifetime field of zero.

remove useless macro;

"running tags"

sort tokens

do not pick up groff from /usr/local/bin in configure, noticed by benno@;
ok benno@ jca@

style - indent each case statement in a switch.

Print out the hash info sent by the RDE in bgpctl show rib mem
OK phessler@ benno@

On IMSG_CTL_SHOW_RIB_MEM also send back information of some of the
hash structures used in the RDE. Makes it fairly obvious that more
is needed in that area.
OK phessler@ benno@

test changed stat lying semantics - we don't lie about files

Print the rdomain config option if present.

ok kn@ tb@ deraadt@ sthen@ jca@

Use AF_UNSPEC not 0

Some spaces have been removed from pfctl print.  Adapt expected
output in regress.

retire the old cron socket path; ok jca millert

Detect vmm(4) in the bootloader and automatically switch to the serial
console at 115200 baud.

tested by phessler and myself, ok deraadt

Regress update to match changes for chrome

Fix comment about VLAN encapsulation and checksum offload

Document that some chips actually could do hardware checksum offload for
encapsulated packets, though that would need special handling in those
drivers.

discussions and ok naddy@

add option "network ... priority number" to announce prefixes from the
kernel routing table selected by priority.
For example to import all ospfd/ospf6d routes into bgp.
tested by remi@
ok remi@ henning@ and maybe a little claudio@

Detect when a router advertisement packet changes due to config
change and if it does send a new advertisement.

The way this is implemented gives us various things for free:
- periodic sending of router advertisements
- send initial advertisement for every interface on startup

no longer needed

Sync comment

Makes it a tad easier to read through and compare with BN_swap_ct().

OK tb

Add -w option to vmctl stop to wait for completion of VM termination.

Use it in /etc/rc.d/vmd accordingly.

OK sthen@

vmm(4): return proper cache topology for cpuid(0x4)

Make the cache neighbor fields match the number of VCPUs present
(currently 1)

ok reyk

Retire RTM_LOSING, it no longer makes sense and on busy servers the
route socket is flooded with those messages. Instead maek sure that the
removal of the dynamic route that can happen is actually also sent to
the routing socket.
OK mpi@ henning@

rtm_send() the cloned routes because of ICMP mtu changes. Until now
these changes to the routing table have not been visible whereas the
RTM_DELETE of those routes have been. Remove this inconsistency.
Input and OK mpi@
OK henning@

vmm(4): respect argument size when reading from undefined ports.

vmm(4): small cleanup in vm_rwregs.

Clarify error values and change a panic into a debug printf (which will
in turn just kill the VM).

Drop a const-bomb on regexec. It's probably not a good idea to remove a
const promise when processing it in the regex engine.

Minor tweak and OK schwarze@

When in incremental search handle ^M (a.k.a. <cr>) like ^[ (a.k.a.
<esc>). i.e. exit incremental search and set the mark. This is what
emacs does.

pointers, suggestions and ok florian@