VMD: vioscsi - add support for REPORT_LUNS opcode

ok mlarkin@

Add tests that unmount a file system while it is busy.  On a vnd
device "cp -r" and "rm -rf" are working in the background while
"umount -f" or "mount -ur" are executed.  Then "fsck -f" is used
to verify that the file system is clean.
Currently this triggers a bug quite reliably.  After the mount point
has been changed to read-only, the file system check shows that not
everything was flushed and synced properly.

Don't try to open HISTFILE if the variable is unset.

str_val returns null, not NULL, if the variable isn't set.  The
erroneous check means that we later tried to open("").

ok millert@ tb@ anton@ benno@

Switch the inteldrm(4) i2c code over to the Linux code base.  This gives us
several quirks that wre absent in the old OpenBSD-specific reimplementation.
Fixes several issues with external connectors on several generations of
hardware.

ok deraadt@, benno@

mask out (ie. ignore) the bit which will be MAP_STACK in the future,
so diffs in snapshots can exercise the change in a less disruptive way
idea with sthen, ok kettenis tom others

We have no deprecated regress variables in our tree.  Remove the
compatibility layer.

Revert my changes in r1.60 back to nicm@'s latest for now.

Fixes "file *|grep" breakage reported by espie@

ok nicm, deraadt

tabs vs spaces

Another redundant check, GitHub issue 1219.

Some unused code, GitHub issue 1219.

Stop pretending we support building ksh without EDIT/HISTORY support

ok anton@

Improve defense against branch predictor target injection (Spectre "variant 2")
attacks.  OpenBSD/armv7 is already in pretty good shape as we have always
been flushing the branch predictor cache on context switches.  This diff adds
additional flushes to page faults in kernel address space.  The impact on
performance should be minimal as these page faults should only happen when
userland (deliberately or accidentally) tries to access kernel addres space
which would lead to a fatal signal (SIGSEGV or SIGBUS).

Loosely based on changes made by Marc Zyngier in Linux and based on
information in Arm Trusted Firmware Security Advisory TFV 6.

Note that for Cortex-A15 (and Cortex-A72) you will need firmware that sets
the ACTRL[0] bit for this diff to be effective.  Also note that with this
diff Cortex-A57 is still vulnerable.

ok jsg@

There was an issue that dynamic path MTU discovery together with
ARP or ND timeout could delete local routes.  Put an assert into
arptfree() and nd6_free() so this cannot happen again.
OK mpi@

Enable traceroute test for incoming route-to rule.

When pf(4) forwards incoming packets with route-to or reply-to,
decrement the time-to-live or hop-limit field to prevent routing
loops.  Sending an ICMP time exceeded error makes traceroute work.
For outgoing packets ip_forward() has already done this.
OK visa@ sashan@

Add s_server and s_client -tlsextdebug messages

ok sthen@ jsing@

Spacing, no object change.

fix parsing of RDATA for TXT records

ok gilles@

sync

Add some AVX512 CPUID flags.

discussed with sf and kettenis

VMD: vioscsi refactor

Each opcode is now handled in the respective function (vioscsi_handle_xxx)
which allows more functionality to be added easier.

No functional changes confirmed by guest testing.

ok mlarkin@

Link ed regress to build.

Run the tests provided in /usr/src/bin/ed/test with the regress
framework.  Three ed tests are currently failing for unknown reasons.
They are marked as disabled for now.
from Sergey Bronnikov

Add two more ARM EABI aliases that I missed in the previous libc minor
bump.

"just go  ahead -- crank" deraadt@

Make cpu_ucode_debug non static so it can be changed from ddb.
OK patrick@

unifdef BRACE_EXPAND; ok jca@

Prefetched sets are stored by root, but are read by an unprivileged
user during the actual install phase. Add a check to the selection
of the prefetch area to ensure the unprivleged user can read files
from there.

Move the selection logic to its own function prefetcharea_fs_list()
which returns a unique list of candidate filesystems, or with rc=1.
While at it, remove /var/tmp from the potential list of candidates
because it's a symbolic link to /tmp since 2014.

Change install_files() to loop over the candidates and check if it
can read a test file, otherwise clean up and skip this filesystem.

Problem found by benno@ whose upgrade failed due to /usr/obj being
owned by build:wobj and permissions that prevented the unprivileged
user to read the prefetched set files from there.

discussed with and OK benno@ halex@ tb@

Pass our currently configured SSID to iwm(4) scan commands.

This makes connecting to silly "hidden" networks work, which was a long
standing problem with iwm(4). My past observations where other SSIDs were
filtered from scan results while associated can no longer be reproduced.

ok robert phessler

Fix after recent mutex change.

Unlocking the TCP stack resulted in smaller TCP segments sent out
early on some machines.  Use the TCP_NOPUSH socket option to get
reliable regress results and syslogd(8) debug messages for grep.

Use signed values to compare absolute difference.  The variables
fid and cfid are signed, so the FID_TO_VCO_FID() macro creates
signed results.  Keep the sign when passing to abs() although the
implicit conversions created the same binary.
OK deraadt@

Add descriptions for HAVE_B64_NTOP and HAVE_B64_PTON so autoheader
will run.  OK florian@

Make things work when using the official device tree bindings used by the
Linux kernel.

tweak previous;

In ext2fs_write(), clear the buffer on uiomove() failure unless it
was cleared on alloc just like we do in ffs_write().

Add comment describing why we need to clear the buffer if uiomove()
fails, adapted from FreeBSD.  Also avoid clearing the buffer if it
was cleared when allocated.  OK deraadt@ otto@

Adjust comment to reflect '%F' addition.

Define and use IPL_MPFLOOR in our common mutex implementation.

ok kettenis@, visa@

In vldcp(8) fix a race between vldcpread() and vldcp_rx_intr() which
was overlooked by my previous fix.

Keep SPL at TTY in vldcpread() while manipulating the rx queue head.
Otherwise we could end up in a situation where:
1: vldcpread() reads rx_head
2: vldcpread() calls splx()
3: vldcp_rx_intr() fires, finds rx link is down, and sets rx_head = rx_tail
4: vlcdpread() resumes and sets rx_head to the value it read in step 1
-> same interrupt storm problem as described in my previous commit

ok kettenis@ mpi@

Allow printf '%F' format specifier.

ok millert

Add a linux compatible request_firmware() wrapper around loadfirmware(9).
ok deraadt@ kettenis@

add kqueue support to drm(4) by making the drm_sysfs_hotplug_event()
available on OpenBSD well and by notifying listeners of a device
state change using EVFILT_DEVICE and NOTE_CHANGE.

drm_sysfs_hotplug_event() gets called when a state change of the device
occured, like an hdmi cable has been plugged, this in the future will
be used by the modesetting xorg driver to notify desktop environments
via randr events to update their screen configuration

ok kettenis@

introduce a filter called EVFILT_DEVICE that can be used to notify
listeners of device state changes.
currently only supports NOTE_CHANGE that will be used by drm(4)

ok kettenis@

coordinate again: polishing

Add a barrier at the end of pmap_map_early() such that the new mapping is
guaranteed to be available after pmap_map_early() returns.  Fixes a hang
seen with the in-progress SMP work.

ok patrick@

catch up with how formatting of long links was changed
in both groff and mandoc

Remove the implicit display feature of .Lk because it was inconsistent
across output devices, counter-intuitive, and resulted in ugly
output for many real-world manual pages.  Always format even long
links in-line.  I already committed a similar change to groff.

OK jmc@, bentley@, and the original author
of the feature, Werner Lemberg <wl@gnu.org>.

remove unused parameter from the static function print_expansions();
patch from Michael W. Bombardieri <mb at ii dot net>;
OK tb@

clarify authorship; prodded by and ok markus@

have carp use standard detach hooks instead of getting special handling

if_deactivate looked for carp parent interfaces and called carp_ifdetach
to have children interfaces unplug themselves. this diff has the
carp interfaces register detach hooks on the parent instead. the
effect is the same, but using the standard every other interface
uses.

while im here i shuffle the order the hooks carp_set_ifp are
estabilshed so it will fail if they arent allocated.

ok visa@ mpi@

unbreak configurations using carppeers

ip_carp.c r1.322 removed the ability to receive carp protocol packets
on !IFT_CARP interfaces. however, carppeers cause the carp protocol
packets to be directed to a unicast address on another interface,
which definitely is not mapped back to a carp interface.

this brings back the ability to get carp packets on parent interfaces.
it is a bit different to a backout because it only allows carp
parents to be ethernet interfaces.

mpi@ told me carp regress tests were failing.

Add MULTIPROCESSOR basics for arm64.  Enough to build and run a kernel with
option MULTIPROCESSOR on a single CPU.

ok patrick@

Don't bother ucode updates in ramdisk.  We don't have the files....
ok patrick

apostrophe fix;

sync

Do not collect top-bit-set characters in case they need to be replaced.

Simplify character replacement on non-UTF-8 terminals and make a common
function.

Simplify UTF-8 states down into one state.

Use correct size in allocarray() call.

ok patrick@

Runtime services may (and do) use device mappings on some UEFI implementations.
Skip these mappings during the remap-pahse as they are likely to be in
a different 512G bloch as memory and SetVirtualAddressMap() shouldn't need
them.  But do assign a new virtual address and let efi(4) create a mapping.
Add a PMAP_DEVICE flag such that pmap_enter() can continue to be used
to create these mappings.

ok patrick@

Some more tweaks to NOTES

- it's safe to assume that there's no plan to write "an `agent' to
  execute unreadable/setuid/setgid shell scripts"
- the BUG-REPORTS file has been removed
- update the entry for FPATH, ksh93 also documents the described behavior
- kill entry about octal and hex notation in arithmetic expressions
  (supported)
- typos

Feedback from Klemens Nanni

Fix tyops

Add tests for [[:foo:]] character classes in globs

Add basic tests for octal and hex notation in arithmetic expansions

POSIX requires only decimal, octal and hex, tests for the $((x#number))
notation could be useful too.

Constrain alloc_pages() to the dma_constraint range.  Avoids a
"Non dma-reachable buffer" panic when trying to use it from ttm code on
a machine with 8GB of physmem and a radeon.

ok kettenis@ dlg@ visa@ deraadt@

Correctly iterate over all extended signatures.

Found by markus@
With sf@

Improve error message if creating socket parent directory fails, from
Thomas Adam for GitHub issue 1215.

Improve logging for layout cells.

Unify <machine/mutex.h> a bit further.

`mtx_owner' becomes the first field of 'struct mutex' on i386/amd64/arm64.

ok visa@

IBRS -> IBRS,IBPB in identifycpu lines

revert previous changes to enable dwiic on Dell precision as it seems
to cause issues on Dell XPS 15 9560. Will investigate and recommit later
if a better fix can be found.

Check that mpls has been enabled on the input interface, lost in rev 1.66

While here fix under MPLS_DEBUG.  ok dlg@

Align cases in conversion switch vertically. Normalize logic inside cases
and drop an unnecessary test for intdata in '%c'.

reads ok to halex, ok millert

Adjust references for sysctl(3) to sysctl(2)

sysctl(3) can now be renamed to sysctl(2)

move gif_encap from gif_output to gif_start.

the main win is the simplification of bpf in the ouput path.

ok visa@

document bpfattach and bpfdetach.

restrict carp to configuring ethernet interfaces as carpdevs.

previously the driver only cared that a carp interface wasnt configured
as a carpdev. because the code only really works on ethernet, it makes
sense to restrict it.

ok visa@ mpi@

Improve the handling of coordinate inputs and filters.

Single-touch and multi-touch coordinate inputs are treated more uniformly,
and the hysteresis filters have a more consistent implementation.  If
possible, pointer control will be assigned to touches with coordinate
updates that pass the default hysteresis filter (the function has been
moved to wsmouse.c).  The "strong" variant of hysteresis has been
improved, the new version won't double the threshold when a movement
changes the orientation on an axis.

There is an additional change in wstpad_configure, which ensures that a
zero size disables an edge area even if the coordinate limits are
misconfigured.

cast the result of the ternary operators in __swapXX to the right type

ok kettenis@
let's try it deraadt@

Comments

Update the Intel microcode once the root filesystem has been mounted.
This depends on the intel-firmware package that contains newer Intel
microcode which will be installed automatically by fw_update(1).

The update should happen much earlier since updating the microcode can
add or remove not only feature flags but also whole features.  For now
only update feature flags that are relevant to Spectre.

Initial diff from sf@
Tested by bluhm@
ok deraadt@

Install the intel firmware package which contains microcode updates
if we match Intel CPUs in dmesg(8).

"do it do it" deraadt@

Create a second hash that maps all possible drivers to a default regex
to match in dmesg(8).  This is helpful if we want to install firmware
depending on dmesg(8) output that does not follow the typical driver
scheme.

From espie@
"do it do it" deraadt@

- change [] tests to [[]]
- change -a, -o to &&, || inside [[]]
- remove unecessary quoting inside [[]]
- remove X"" constructs inside [[]]
- remove \ (line continuation) in case of &&, || and pipes
- replace backticks with $()

discussed with and OK aja@
OK tb

Change the shebang line from /bin/sh to /bin/ksh in all base rc.d
daemon scripts.

discussed with and OK aja@
OK tb

Extract the control channel number from the chanspec information and
apply the channel to the node, like iwm(4) does, when supplying the
scan response to the net80211 stack.  Our stack uses this information
for node selection so it's elementary for it to be correct.

Tested by jcs@

fix parsing of long TXT records, this prevents 'smtpctl spf walk' from
producing bogus entries with some SPF records.

ok ajacoutot@

Postpone secondary CPUs until after mounthook activities.  This is
useful for loading CPU microcode from the disk before the CPUs are
let go.

Tested by visa@ on sgi, loongson and octeon
"don't see immediate issues" kettenis@
ok deraadt@

The PCI bwfm(4) chips have no TX rings in the traditional sense, as on
the actual rings we only share messages.  Sending a TX packet means
putting a message on the ring which contains a pktid (which for us maps
to an mbuf) and the physical address of the mbuf.  On jcs@'s macbook he
seems to run out of TX pktids pretty quickly during a speedtest.  This
would mean that there are 2048 TX packets in flight that we either want
to send out or that have not been "acked" by the firmware yet.  Either
way, recover from that situation when we hit that arbitrary limit by
restarting the queue after we free'd a packet from the TX pktid list.

Tested by jcs@

Advance data pointer after exporting SA type to userland.  Otherwise
ipsecctl(8) may display bundled SA incorrectly.
from markus@

Add size for free.

OK mpi@

Remove arbitary length limits for -s, -b and -w. Based on a diff from kshe.
schwarze suggested using asprintf, which led to a substantial cleanup.

ok schwarze, help & ok millert

sync

Add support for Huawei E3372.

ok phessler@

Add tests for incoming route-to and outgoing reply-to rules.  Disable
the cases that currently fail.

carp_ourether gets passed the parent interface, not the carp interface.

get rid of struct carp_if by moving the srpl into struct ifnet if_carp.

currently carp uses a struct carp_if to hold an srp list head, which
is accessed by both if_carp in struct ifnet, and via the if input
handlers list.

this gets rid of some indirection by making if_carp itself the list
head, rather than a pointer to the list head via a struct carp_if.
it also makes accessing the list consistent by only using if_carp
to get to it.

ok mpi@

Implement FUCKWIT for arm64; unmap the kernel almost entirely while userland
is running.  This provides protection against meltown on cores that are
vilnerable (just Cortex-A75 so far) but also seems to be an essential to
protect against spectre-like attacks against the kernel.

This implementation only exposes a single treampoline page that does not
contain any kernel virtual addresses and also hides the real virtual address
of the exception vectors, which helps on cores vulnerable to "variant 3a"
(Cortex-A57, Cortex-A72).  The implementation is inspired by the work done
by Will Deacon for Linux, but there are no knobs to turn it off.  The
overhead is fairly limited: around 3-4% slowdown on Cortex-A57.

ok patrick@, deraadt@

Mark sosplice task mp safe, do not grab kernel lock for tcp output.
OK mpi@