err() not errx() when fopen fails.

zap trailing whitespace;

Remove NHASHES, it is not needed and is incompatible with #ifdef SMALL.
Remove style_hash and style_cksum, adjust the style of the selected
algorithms based on rflag and qflag instead.

sort options;

Remove pmode, fix hfile open mode, check return value when writing
file name to stdout.

ctype cleanup; ok gilles

enter md5 directory

Build a -DSMALL verison of md5 for the install media (will be installed
as sha256 and sha512, primarily)

Add -DSMALL support to kill a lot of the unncecessary hashes and checksums
that the install media won't need
ok millert, but he used the word butcher!

Add support for -h hashfile.  This is very useful with with -p, in a pipeline,
to deliver the hash output to a different location.
ok millert

unsigned char for ctype. ok deraadt

fix logic/usage in VERIFYONLY case
okay deraadt@

Delete struct definitions that have been obsolete for a dozen years

ok deraadt@

Zap leading whitespace

Zap trailing whitespace

synch with signify(1) paranoia

always include dd

calling HashFinal with a null digest should crash, not be silently ignored

Replace strtoq(), QUAD_MAX, and %qu with their long long equivalent

a few more blocks can use VERIFYONLY

allow building a VERIFYONLY version that's considerably smaller.
most of the savings comes from eliminating the large constant table
in ge25519.c. ok deraadt

Eliminate poisonous LONG_OFF_T conditional

adjective suggested by deraadt@

Delete a bogus extern declaration and move around a couple others

Use size_t where appropriate

ok fgsch@

Rename arguments to avoid shadowing global variables

ok fgsch@

Mark some functions as printf-like and fix a bogus format string

ok fgsch@

rename SHA256_ONLY to SHA2_SMALL; changing things so that sha512 support
is also pulled in

enable building of signify in the ramdisks

reduce size by using equivalent code from libc instead of nacl
ok deraadt

no tomfoolery: mark the comment as untrusted, and enforce it.
usability: add random key fingerprints to detect sig/pubkey mismatch
feedback espie naddy

Perform manual malloc/free of a large object in pfkeyv2_send() to
reduce stack space requirements.
ok mikeb mpi

Make skipping the root fs DUID aware.

If ROOTDEV is either the device from fstab or the converted DUID
device name with the partition added, skip the current fstab entry

ok halex@

Asa Yeamans points out that we need to CMSG_SPACE[] for the 2nd message
as well.
ok guenther millert

severely restrict what characters can be in a signer, to make
certain it's not possible to go ../  from /etc/signify

even if Ustar handles fifo and stuff gracefully, pkg contents should be more
limited...

Propagate an rdomain number to the nd6_lookup independently from
the ifp pointer which can be NULL.  This prevents a crash reported
by David Hill <dhill at mindcry ! org>.  OK bluhm

Some follow-up fixes for IFID collision handling in IPv6CP.

Really change the link-local address in the unlikely event of an IFID
collision, instead of going into an infinite conf-nak loop with the peer.

To make the netinet6 code use the IPv6CP IFID in a new link-local address,
in6_ifattach_linklocal() must accept a provided IFID.  Replace the unused
'altifp' parameter with a new 'ifid' parameter for this purpose.

Always use the latest suggested address in IPv6CP replies, even if
the task to update the interface's address hasn't run yet.
Also, clear the ifindex (KAME hack) in addresses sent during IPv6CP.

ok mpi

use IF_NAMESIZE as size of buffer for interface name

OK mpi@ deraadt@

ctype cleanups; ok okan

sync

some more devices; Alexey E. Suslikov

sync

FTX support; from Chris Hettrick

scrape support for old +COMMENT file.
8 years of backward compatibility is long enough... :)

recognize special file +META

tedu some very old checks: we no longer have INSTALL/UNINSTALL scripts,
so we don't care whether /var/db/pkg is mounted noexec.

let's verify all checksums.
I forgot about special files, since they've been extracted early,
but they can be checked nonetheless.

(prevents people from tampering with DESC and the like)

integrate signer logic and fix resign with -DSIGNER

document new stuff

if HISTORY_DIR is defined, create a new "permanent" file during build.
this file records the sha256 of all elements in the archive, and keeps
track of changes (quite simply: sha256 that were already present end
up at the end of the file).

Start recording these *now*, so that we have enough info to shuffle
packages later.

simplify set_modes, there's no need to stat(2) stuff, chown -1 takes care
of things.

Remove unused fields.

ok sasano@

Cache the result of uname(3) such that we don't need to call it
over and over again for each manual; found with gprof(1).
Speeds up mandocdb(8) -Q by 3%, now at 39.5% of makewhatis(8).

Increase the size of the bge_flags field to allow for more flags.

ok mikeb@

Delay checking the vnode locking of the target vnodes in tmpfs_rename()
until we've confirmed they're on the same filesystem as the source:
not all filesystems do locking the same.

problem report and testing chrisz@
ok espie@

SRCDRS usr.bin usr.sbin is a bad idea (because of PIE).  The places we
pick binaries up must be compiled -static or at least in some safe
model for reuse.  Since we now use distrib/special for those, we can
safely remove usr.bin and usr.sbin from this list.

more stuff than cannot end in .libs nor partial- packages

... and let sign_list(\@ARGV... work too)

allow processing of package lists in parallel.
Turns out re-gzipping a signed package is really expensive, so turn
it into several jobs with a -j option.

new method: reinitialize, for repositories with a sequential connection
that need a new connection if they're ever called from separate processes
simultaneously

a few mechanical style changes

the return from asprintf does NOT include the space used by the
terminating \0 character. if i want to use it as a c string i have
to take that into account.

found by simon kuhnle who supplied a good bug report. prodded by deraadt@

Gprof(1) is fun.  You should use it more often.

Another 10% speedup for mandocdb(8) -Q, and even 3% without -Q.
With -Q, we are now at 41% of the time required by makewhatis(8).

Do not copy predefined strings into the dynamic string table, just
leave them in their own static table and use that one as a fallback
at lookup time.  This saves us copying and deleting them for each manual.
No functional change.

Another 18% speedup for mandocdb(8) -Q, found by gprof(1).
In -Q mode, refrain form validating and normalizing the format
of the date given in .Dd or .TH, as it won't be used anyway.

For /usr/share/man, mandocdb -Q now takes 45% of the time of makewhatis(8).

document random buffer must be multiple of 4 in size

In the new PIE world, all dynamic binaries (for instance those found
in usr.bin and usr.sbin on the install media) must be re-compiled non-PIE
(here, in the special directory) so that crunchgen can reuse them.  This
issue is most acute on i386, which has register pressure, and does weird
things for PIE.
thanks for matthew for helping figure this out.

we do not need apm or apmd on the install media, that is silly

Disable the code disabling memory beyond 1.5GB on Octane temporarily, but
hopefully for good; I believe the kernel panics with large memory fast MP
systems have been fixed in mutex.c 1.13

Use the dedicated BCD macros from sys/time.h instead of handrolling
our own for the m41t8x clocks.

Tested by me and jasper@.
Okay jasper@, guenther@, deraadt@

Another 25% speedup for mandocdb(8) -Q mode, found with gprof(1).
For /usr/share/man, we only need 56% of the time of makewhatis(8) now.

In groff, user-defined macros clashing with mdoc(7) or man(7)
standard macros are cleared when parsing the .Dd or .TH macro,
respectively.  Of course, we continue doing that in standard mode
to assure full groff bug compatibility.

However, in -Q mode, full groff bug compatibility makes no sense
when it's unreasonably expensive, so skip this step in -Q mode.
Real-world manuals hardly ever redefine standard macros,
that's terrible style, and if they do, it's pointless to do so
before .Dd or .TH because it has no effect.  Even if someone does,
it's extremely unlikely to break mandocdb(8) -Q parsing because we
abort the parse sequence after the NAME section, anyway.

So if you manually redefine .Sh, .Nm, .Nd, or .SH in a way that doesn't
work at all and rely on .Dd or .TH to fix it up for you, your broken
manual will no longer get a perfect apropos(1) entry until you re-run
mandocdb(8) without -Q.  It think that consequence is acceptable
in order to get a 25% speedup for everyone else.

typo

Fix sparc64 kernel profiling, add the etext symbol back.

ok miod@

Remove mention of installXX not bootable on IP27/35.

Rework the setup of the bootable installation cd-rom (installXX.iso) to
contain both a 2048-byte sector ffs filesystem, and a 512-byte volume header,
so that the IP27 boot magic^Wuglyness recently added to the boot-only cd-rom
(cdXX.iso) can be applied as well.

The full-blown installation iso can now boot on IP27/28/30/32/35.

In readsgilabel(), do not override the driver-provided initial geometry with
the volume header geometry, if one is found. The driver knows better.

This will allow a 2048-byte sector media to use a volume header using fake
512-byte sectors, and still be able to read the native label off it.

Do not sync to disk after each individual manual page (duh!),
only sync to disk one single time when all data is ready.

Rebuild times for /usr/share/man/mandoc.db shrink on my notebook:
In standard mode from 45 seconds to 11 seconds   (75% reduction)
In -Q mode       from 25 seconds to 3.1 seconds  (87% reduction)
For comparison: makewhatis(8):      4.2 seconds

That is, in -Q mode, we are now *faster* than the existing makewhatis(8),
and careful profiling shows there is still a lot of room for improval.

sync

sync

Put PG_EXEC and PG_FOE into the PG_PROT mask, and make sure the default
pte protection masks, as initialized in alpha_protection_init(), set PG_FOE
by default when VM_PROT_EXECUTE is not set.

Also, change pmap_emulate_reference() to only clear PG_FOE if the affected
pte has executable permission.

This allows various pmap_pte_exec() checks (added to explicitely set PG_FOE)
to be removed.

All tests of regress/sys/kern/noexec now reliably pass on EV5. EV6 systems
still see spurious (but no longer 100% reproduceable) failures of the `catch
a signal' tests, which is likely caused by the effect of mprotect() removing
execute permission not taking effect correctly, despite PAL IMB being issued
(and no, this is not caused by the previous pmap_changebit() change), to be
investigated.

Remove I-sync stuff from pmap_changebit().  The AARM says that we
only have to sync the I-stream when the mapping is removed or changed,
and since the I-stream is fetch-only, changing protection bits does
not constitute changing the mapping (the VA->PA translation is still
the same).

From NetBSD

sync

Program window #2 to allow the second GB of low memory to use direct DMA;
adapted from a long gone FreeBSD.

Make macppc/socppc boot() code path more similar to others.

This changes calling boot() during (cold != 0) to not call if_downall() and
uvm_shutdown().  Both of which must not be specific to PowerPC.

OK mpi@

Fix mandocdb(8) -d and -u.
It was broken by recent optimizations.

Increase NPTECL, as cache-lines are 64-bytes nowadays.
Also move it from pmap.h to pmap.c because it is an internal detail.

Rename dbindex() to dbadd() to be less confusing.
The concept of an index file is gone since the switch to SQLite.
No functional change.

Make in6_ifdetach() remove the ff01::1 route for the detaching interface, too.
The route used to linger after an interface detached from IPv6.
ok mikeb

fgetln may return incomplete lines (Tobias Stoeckmann <tobias@stoeckmann.org>)

simple solution: error out. This is not a correct cddb answer anyways.

add a proper test for error message location as well.
trim excess copy&paste from former targets

turn mk34 into a proper full-fledged test.
forgot to link t37 into the build

Suff_FindDeps must happen before SuffExpandChildren (expand_all_children)
so that dynamic variables are solved properly

this actually requires a comment. I would never have figured it out if
it wasn't for the arm error.

fix error messages, avoid dereferencing null pointers.
- the code becomes too indented, pull it into a separate function
- add an extra hint, the current_gnode.
- specifically, variables may be expanded during
target: prereq  solving in Suff_FindDeps, this is after parsing,
not during command execution, and the only actual indication with have is
that we're resolving a prereq of.

(this ought to fix mk35, and partially solve mk34)

Recognize the ALC292

Remove the redundant "file" column from the "mlinks" table.
The contents can easily be reconstructed from sec, arch, name, form.
Shrinks the database by another 3% in standard mode and 9% in -Q mode.

Drop Nd from the mpages table, it is still in the keys table.
This shrinks the database in standard mode by 3%, in -Q mode by 9%,
without loss of functionality.

tedu unused macro.
okay tedu@

Joerg Sonnenberger contributed copyrightable amounts of text to
some files.  To make it clear that he also put his contributions
under the ISC license, with his explicit permission, add his
Copyright notice to the relevant files.  No code change.

Mention tmpfs

regen