switch to internal gzip/gunzip.
reduces the number of external processes and the complexity of the code.

tested on a few select arches by tobiasu, naddy. If it breaks somewhere,
tough. This one is simple to revert.

tweak signing yet again. Have pkg_create automatically add signing
identities every time, and make matching identities mandatory.
e.g., pkg_create and pkg_add must have matching -DSIGNER.
by default, signer is derived from uname -r and role (pkg_add/fw_update),
e.g., 54pkg, 54fw...

bzero/bcmp -> memset/memcmp. ok matthew

tiny tweak to asm. prefer memcpy and memmove, with bcopy wrapper
ok guenther

Switch to string copy rather than memcpy so we stop past '\0' and
don't copy over the garbage from the source buffer (like, leaking
the canary).  OK millert@.

Use destination bound rather than the source bound for out_line and
out_name.  OK millert@.

When formating the time for "ls -l"-style output, show dates in the future
with the year, and rearrange a comparison to avoid a potentional signed
arithmetic overflow that would give the wrong result.

ok djm@

Symlinks are displayed with '->', not '=>'

Update pax -v format to match "ls -l": display the year for dates
in the future and include a space between the major and minor numbers
for devices.  Eliminate bogus handling of LC_TIME environment variable.
Make strftime() format selection understandable by gcc -Wformat=2.

ok millert@

Per POSIX, times in the future should be reported with the year
like files more than six months old.  Use strftime() directly instead
of breaking down the ctime() output on character positions.

ok millert@

Fix the tests for the pf divert state and socket reuse.

Set socket buffer size to fixed value of 100000 octets.  This
prevents that the socket splicing performance test interferes with
the dynamic TCP buffer size adjusting.

We still need to cast the resulting pointer in NEW and NEW2 as it
is used in pointer arithmetic.  Otherwise we do arithmetic on void
* and corrupt the heap.

Add casts to unsigned char for ctype functions and other places
where a char is stored in an int.  Joint work with and OK deraadt@

regen

Use the same naming scheme on both sides for the Attansic entries and
replace some tabs with spaces in between product and Intel.

Name the local variables for struct ifaddr consistently "ifa".
OK mikeb@

Use calloc() instead of malloc() + memset.  Based on a diff from
Michael W. Bombardieri.  OK deraadt@

Make allocate() take size_t and return void *.  This lets us drop
some more useless casts.  Also add missing arguments to a couple
of prototypes while here.  OK matthew@ pelikan@

Fix typo recieve -> receive.
OK sf@

Take restore off the floppy media for now.  Sorry.

Switch to using the base sha256 command, rather than some customized
abomination.
install.sub chunk tested by rpe

sync

create the /etc/signify directory

Remove CALLOC, MALLOC, FREE and REALLOC macros and just call calloc(),
nalloc(), free() and realloc() directly.  The macros were casting
to the wrong (pre-C89) types and there is no need for them in a C89
world.  OK matthew@

regen

add a bunch of newer apple wellspring keyboard/trackpad ids

If the file size is zero, there's nothing to transmit so avoid spamming
syslog with mmap failures.  Noticed by and ok henning@, "looks right"
deraadt@

Be sure to have pmap_extract() return FALSE for existing, but non-valid user
pmap ptes.  Found the hard way by tobiasu@.

Fix wrapping of usage message for cksum.

flesh out STANDARDS somewhat; help/ok sobrado
this was also ok millert some time ago

err() not errx() when fopen fails.

zap trailing whitespace;

Remove NHASHES, it is not needed and is incompatible with #ifdef SMALL.
Remove style_hash and style_cksum, adjust the style of the selected
algorithms based on rflag and qflag instead.

sort options;

Remove pmode, fix hfile open mode, check return value when writing
file name to stdout.

ctype cleanup; ok gilles

enter md5 directory

Build a -DSMALL verison of md5 for the install media (will be installed
as sha256 and sha512, primarily)

Add -DSMALL support to kill a lot of the unncecessary hashes and checksums
that the install media won't need
ok millert, but he used the word butcher!

Add support for -h hashfile.  This is very useful with with -p, in a pipeline,
to deliver the hash output to a different location.
ok millert

unsigned char for ctype. ok deraadt

fix logic/usage in VERIFYONLY case
okay deraadt@

Delete struct definitions that have been obsolete for a dozen years

ok deraadt@

Zap leading whitespace

Zap trailing whitespace

synch with signify(1) paranoia

always include dd

calling HashFinal with a null digest should crash, not be silently ignored

Replace strtoq(), QUAD_MAX, and %qu with their long long equivalent

a few more blocks can use VERIFYONLY

allow building a VERIFYONLY version that's considerably smaller.
most of the savings comes from eliminating the large constant table
in ge25519.c. ok deraadt

Eliminate poisonous LONG_OFF_T conditional

adjective suggested by deraadt@

Delete a bogus extern declaration and move around a couple others

Use size_t where appropriate

ok fgsch@

Rename arguments to avoid shadowing global variables

ok fgsch@

Mark some functions as printf-like and fix a bogus format string

ok fgsch@

rename SHA256_ONLY to SHA2_SMALL; changing things so that sha512 support
is also pulled in

enable building of signify in the ramdisks

reduce size by using equivalent code from libc instead of nacl
ok deraadt

no tomfoolery: mark the comment as untrusted, and enforce it.
usability: add random key fingerprints to detect sig/pubkey mismatch
feedback espie naddy

Perform manual malloc/free of a large object in pfkeyv2_send() to
reduce stack space requirements.
ok mikeb mpi

Make skipping the root fs DUID aware.

If ROOTDEV is either the device from fstab or the converted DUID
device name with the partition added, skip the current fstab entry

ok halex@

Asa Yeamans points out that we need to CMSG_SPACE[] for the 2nd message
as well.
ok guenther millert

severely restrict what characters can be in a signer, to make
certain it's not possible to go ../  from /etc/signify

even if Ustar handles fifo and stuff gracefully, pkg contents should be more
limited...

Propagate an rdomain number to the nd6_lookup independently from
the ifp pointer which can be NULL.  This prevents a crash reported
by David Hill <dhill at mindcry ! org>.  OK bluhm

Some follow-up fixes for IFID collision handling in IPv6CP.

Really change the link-local address in the unlikely event of an IFID
collision, instead of going into an infinite conf-nak loop with the peer.

To make the netinet6 code use the IPv6CP IFID in a new link-local address,
in6_ifattach_linklocal() must accept a provided IFID.  Replace the unused
'altifp' parameter with a new 'ifid' parameter for this purpose.

Always use the latest suggested address in IPv6CP replies, even if
the task to update the interface's address hasn't run yet.
Also, clear the ifindex (KAME hack) in addresses sent during IPv6CP.

ok mpi

use IF_NAMESIZE as size of buffer for interface name

OK mpi@ deraadt@

ctype cleanups; ok okan

sync

some more devices; Alexey E. Suslikov

sync

FTX support; from Chris Hettrick

scrape support for old +COMMENT file.
8 years of backward compatibility is long enough... :)

recognize special file +META

tedu some very old checks: we no longer have INSTALL/UNINSTALL scripts,
so we don't care whether /var/db/pkg is mounted noexec.

let's verify all checksums.
I forgot about special files, since they've been extracted early,
but they can be checked nonetheless.

(prevents people from tampering with DESC and the like)

integrate signer logic and fix resign with -DSIGNER

document new stuff

if HISTORY_DIR is defined, create a new "permanent" file during build.
this file records the sha256 of all elements in the archive, and keeps
track of changes (quite simply: sha256 that were already present end
up at the end of the file).

Start recording these *now*, so that we have enough info to shuffle
packages later.

simplify set_modes, there's no need to stat(2) stuff, chown -1 takes care
of things.

Remove unused fields.

ok sasano@

Cache the result of uname(3) such that we don't need to call it
over and over again for each manual; found with gprof(1).
Speeds up mandocdb(8) -Q by 3%, now at 39.5% of makewhatis(8).

Increase the size of the bge_flags field to allow for more flags.

ok mikeb@

Delay checking the vnode locking of the target vnodes in tmpfs_rename()
until we've confirmed they're on the same filesystem as the source:
not all filesystems do locking the same.

problem report and testing chrisz@
ok espie@

SRCDRS usr.bin usr.sbin is a bad idea (because of PIE).  The places we
pick binaries up must be compiled -static or at least in some safe
model for reuse.  Since we now use distrib/special for those, we can
safely remove usr.bin and usr.sbin from this list.

more stuff than cannot end in .libs nor partial- packages

... and let sign_list(\@ARGV... work too)

allow processing of package lists in parallel.
Turns out re-gzipping a signed package is really expensive, so turn
it into several jobs with a -j option.

new method: reinitialize, for repositories with a sequential connection
that need a new connection if they're ever called from separate processes
simultaneously

a few mechanical style changes

the return from asprintf does NOT include the space used by the
terminating \0 character. if i want to use it as a c string i have
to take that into account.

found by simon kuhnle who supplied a good bug report. prodded by deraadt@

Gprof(1) is fun.  You should use it more often.

Another 10% speedup for mandocdb(8) -Q, and even 3% without -Q.
With -Q, we are now at 41% of the time required by makewhatis(8).

Do not copy predefined strings into the dynamic string table, just
leave them in their own static table and use that one as a fallback
at lookup time.  This saves us copying and deleting them for each manual.
No functional change.

Another 18% speedup for mandocdb(8) -Q, found by gprof(1).
In -Q mode, refrain form validating and normalizing the format
of the date given in .Dd or .TH, as it won't be used anyway.

For /usr/share/man, mandocdb -Q now takes 45% of the time of makewhatis(8).

document random buffer must be multiple of 4 in size

In the new PIE world, all dynamic binaries (for instance those found
in usr.bin and usr.sbin on the install media) must be re-compiled non-PIE
(here, in the special directory) so that crunchgen can reuse them.  This
issue is most acute on i386, which has register pressure, and does weird
things for PIE.
thanks for matthew for helping figure this out.

we do not need apm or apmd on the install media, that is silly

Disable the code disabling memory beyond 1.5GB on Octane temporarily, but
hopefully for good; I believe the kernel panics with large memory fast MP
systems have been fixed in mutex.c 1.13

Use the dedicated BCD macros from sys/time.h instead of handrolling
our own for the m41t8x clocks.

Tested by me and jasper@.
Okay jasper@, guenther@, deraadt@