make sure makewhatis shows error messages without unsightly CODE() refs

- log libraries in a proper way
- mark wanted libraries, then run the db check.
Gives you a way to figure out when locate db are behind wrt pkgs

ensure log stuff happens, even without context

code readability; no functional change

Even for UTF-8 output, a non-breaking space character has the same width
as a normal space character, and not width 0.  Bug reported by bentley@.

Remove redundant slash

If we're stopping a secondary cpu, don't let sched_choosecpu() short-circuit
and return the current current CPU, otherwise sched_stop_secondary_cpus()
will spin forever trying to empty its run queues.  Fixes hangs during suspend
that many people reported over the last couple of days.

ok bcook@, guenther@

Revert "adjust -C algorithm to be more aggressive in scaling up" for
the moment, it triggers a race that breaks suspend/resume on some
machines.

ok tedu@, deraadt@, jsg@

Add more examples.  Requested by deraadt@

bzero is over, memset is cool.  pointed out by halex@

Fix very hard to reach DoS attack vector, which would involve more than
8 billion network packets.  Mixture of many many malformed and proper
packets could result in a division by zero.

ok krw@

Differentiate servers by address and port, not just by address.

Reset the default Host for each request

It is recommended to use a URL in the Location header of 3xx
responses.  To accomplish this, add some semantics to retrieve the
server host name of a connection: either IP, IP:PORT (if not 80) or
[IP6]:PORT, or Host value (if valid).

Append mandatory Date header to each response.

New HTTP/1.1 RFC 7231 prefers IMF-fixdate from RFC 5322.

Canonicalize the request path once without the docroot and prepend the
docroot only only when it's needed.  Suggested by deraadt@.

Clear buffer used for handling messages.  This prevents keys being
left in memory after they have been expired or deleted in some cases
(but note that ssh-agent is setgid so you would still need root to
access them).  Pointed out by Kevin Burns, ok deraadt

Choosing the right encoding is a tricky business...

Printing query strings for URIs *always* needs URI-encoding, and when
embedding the URI into an HTML document, it needs replacement of
the "&" separators by "&" *in addition to that*, not instead.
Delete the function html_primtquery(), it was completely wrong.

You can see the badness by entering "mandoc &sec=2" into the query input
box before this patch and click "Submit".  You come to the right page at
first (...man.cgi?query=mandoc+%26sec%3D2&apropos=0&sec=0&...), but now
the link to mandoc(1) is wrong: ...mandoc.1?query=mandoc &sec=2&...
Clicking on that, the "&sec=2" disappears from the query input box and
suddenly you have the first dropdown set to "2 - System Calls".  Oops.

Don't leak docroot in the error message if the default index file is missing.

OK florian@

Sort the URI keys for .Xr links in the same order used by the search form,
and leave out the manpath when it is the default.
For building the HTML formatter options, do not use a static buffer.

oops, we must not try to validate a manpath we don't have;
fixing an oversight introduced in rev. 1.17

We cannot easily control the order of the QUERY_STRING keys generated
by the search form, it's just the order of the fields in the form.
Actually, that's not too bad; the generated URI resembles the
generating form.

To minimize confusion for people looking at URIs, give the keys
in the same order when generating URIs for search listings and
search redirections, the latter being used instead of search
listings that would have only one single entry.  Also, if the
manpath is the default, remove it form the generated URIs.

In generated .Xr links, avoid double encoding of ampersands
and avoid empty arch= keys.

Add multiple-servers "virtual hosts" example.

fix perl5 architecture name

ok deraadt@

Even though this is not XHTML yet, remove some gratuitious violations
of XHTML syntax.  Also add some cosmetic newlines to the HTML code.

Add a single line to fix the address matching of multiple server blocks with
non-virtual hosts.  I had this line in a previous diff.

The names of all other struct query memebers match the corresponding
QUERY_STRING keys, so rename "expr" to "query".
Also add some missing function prototypes.
No functional change.

clean up pg_show() to not modify a string returned from getenv(3)

Add support for "virtual hosts" aka. server blocks aka. multiple
servers with the same or "overlapping" IP address but a different name.

ok beck@

Rewrite http_parse() completely:
1. Make sure the last occurrence of each key is used, even if
it is empty, in which case it resets the value to the default.
2. When there is an HTTP encoding error, skip the affected
key-value pair only, but not all subsequent key-value pairs.
3. Do not modify a string returned from getenv(3).
4. Do not assume the NULL pointer is all null bits.

Add and document 'root' configuration option for the docroot.

Add missing year to copyright.

Split server and server_config.

Rename a field, needed later, no functional change.

Move the docroot into the server block.

BIO_free() returns immediately when the sole input is NULL.
Remove unnecessary NULL check.

ok miod@

document the scheduler types and how to specify them.

some pointers from schwarze@

Mention UNIX-domain socket forwarding too.  OK jmc@ deraadt@

Speed up the boot sequence by deferring the scan of xt keyboard code set.

If you were wondering why there's a pause of 5 seconds after loading the
kernel and before seeing the copyright in blue when booting some of your
machines, well this is for you!

mlarkin@ found that this delay is caused by some code probing for xt scan
code tables when pckbd(4) initialize the console keyboard.  So this diff
implements an idea from deraadt@ to only do the scan once, either during
*attach() or if we enter ddb> or ukc> before that!

ok miod@, mlarkin@, deraadt@, shadchin@

Sort result pages first by section number, then by name.
By moving the sort from cgi.c to mansearch.c, we get two advantages:
Easier access to the data needed for sorting, in particular the section
number, and the apropos(1) command line utility profits as well.

Feature requested by deraadt@.

Provide eeprom(8) on the sparc installation media. Intended to help diagnosing
installation problems.
``if it fits go for it'' deraadt@ (and it fits)

+ eeprom

Build machinery to build eeprom(8) for the installation media on arches where
it matters.

Shunt hwupdate property decoding in sparc's old prom (sun4 only) if
defined(SMALL).

Unbreak ''route flush'': the kernel now adds local (RTF_LOCAL) routes
for addresses configured on the system, and prevents userland from
deleting them.  Just skip those routes when flushing.
Problem noticed by mlarkin@, ok henning@ mpi@ claudio@ sthen@ deraadt@

Revert ssp-strong on arm.  This has been exposing one or more bugs in GCC that
kill large portions of the ports tree.  Most notably, it broke devel/gperf at
runtime.

ok martynas@, "make a decision" deraadt@

Plug a memleak by correctly free'ing the HTTP descriptor that contains
all the headers etc. of a connection.

Provide a dropdown entry "All Architectures" and make it the default.
Still, amd64 remains the default in the following sense:
If a man(1) mode search returns more than one page of the same name,
prefer amd64 over other architectures for immediate display.
ok deraadt@ daniel@

Fix debug printf, from Nathanael Rensen and chris@.

Remove unused fields from structure

sync

tweak previous: use .Er for ENXIO

this is start on documenting bufqs. it covers the bits disk drivers need
to know. the grubby bits the midlayer touches on them will get written up
soon.

ok deraadt@

Steven Roberts sent me a patch updating the various setperf thresholds.
But instead of continuing to overdocument internal behavior, provide a
high level description of the modes and their purpose.

When canonicalizing the path, it is better to fail on truncation.

Pointed out by Doug Hogan.

I wanted to know if people pay attention.

Doug Hogan found an off-by-one.  More improvements will follow.

The default index page shouldn't be a directory.  It's a 500.

Don't expose the docroot on error.

The media_encoding is not used in parse.y but stack garbage could lead
to a double free; set it to NULL.

This should fix a problem that was found by deraadt@

First attempt at verifying the request path and the access
permissions.  We also have to redirect with 301 if a directory name
was requested without the trailing slash.

Make queries using the search list for hostname lookups fail with
NO_DATA/EAI_NODATA when the hostname param is an empty string.
So far, they were using the entries in the search list with no
additional component, which is not really expected.

reported by jsing@ and a few others

ok deraadt@, "makes sense" jsing@

Set the console input in polling mode before entering ukc.

ok miod@, deraadt@, shadchin@

level_add_node(): if a memory allocation failure causes us to attempt to clean
up and return failure, be sure the cleanup work does NOT free objects which
are still being referenced by other objects.

ok guenther@

Make sure PEM_def_callback() correctly handles negative buffer sizes; all uses
within libcrypto are safe, but until we can change this function prototype to
use size_t instead of int, better be safe than sorry.

tweaks and ok guenther@

delinked from tree, now it goes to the bit bucket

Add canonicalize_path() to canonicalize the requested URL path.

typo; patch from Timo dot Myyra at wickedbsd dot net

Security fix:
After decoding numeric (\N) and one-character (\<, \> etc.)
character escape sequences, do not forget to HTML-encode the
resulting ASCII character.  Malicious manuals were able to smuggle
XSS content by roff-escaping the HTML-special characters they need.
That's a classic bug type in many web applications, actually...  :-(

Found myself while auditing the HTML formatter for safe output handling.

document format changes, including the new @ts annotation that pkg_create
will generate after 5.6.

move misleading comment

Correctly shutdown the servers when the process is terminating;
prevents a crash on exit.  With debugging help from blambert@.

always enable DPRINTF with compiled with DEBUG

httpd.conf can be installed 0644 instead of 0600 like relayd.conf.

ok ajacoutot@ benno@

Add httpd.conf.

rephrase multi-packaged LIB_DEPENDS description to match fixed semantics.

correctly drain and destroy the bufq upon detach

ok dlg@

Subtraction usually decrements the value

ok dlg@

Trailing whitespace.

tweak previous;

document that sendsyslog saves the day

Check the return value of the UI functions (including UI_new() which return
value is happily dereferenced without checking it for being non-NULL).

ok beck@

document mallocarray like malloc throughout the page. better describe
what M_CANFAIL means for each.

motivation and initial diff from doug hogan

sync

Add $OpenBSD tag to make syncs easier

Regenerate test keys with certs signed with ed25519 instead of ecdsa.
These can be used in -portable on platforms that don't support ECDSA.

Sign test certs with ed25519 instead of ecdsa so that they'll work in
-portable on platforms that don't have ECDSA in their OpenSSL.  ok djm

Security fix:
The function print_encode() is used both for plain text
and for quoted attribute values.
Escape the '"' character such that malicious manuals cannot pull off
XSS attacks using malformed .Lk, .Mt, .%U, and .UR macros (and maybe
others) to trigger the latter case.
In the former case, escaping does no harm.
Issue found by Sebastien Marie <semarie-openbsd at latrappe dot fr>.

adjust -C algorithm to be more aggressive in scaling up.
works better for me, and others as well.

add 5.7 firmware key

Add a link to pcexio(4) man page.  Now 'man 4 pcexio' works fine on
luna88k.

ok miod@

The last poison change is awesome, it is triggering use after free bugs.
Some of them aren't too difficult to find and fix, but others are turning
out to be deeply hidden.  The timing is poor -- disable this for now.
We need to revisit this right after tree unlock.

Revert revisions 1.88-1.94 but keep recent relevant changes.
The `+' sign was added by mistake thinking it was doing something else.

ok schwarze@

some minor fixes;

Typo.

no ok needed miod@ guenther@

FSTAB -> _PATH_FSTAB, the latter is deprecated.
From natano@bitrig, ok deraadt@

Security fix to prevent XSS attacks:
Restrict the character set of strings passed into html_alloc(),
in particular architecture names that come from the QUERY_STRING,
but also SCRIPT_NAME and manpath.conf content for additional safety,
and bail out safely on violations.
Issue reported by Sebastien Marie <semarie-openbsd at latrappe dot fr>.

Now that DES_random_key() can be trusted, use it to generate DES keys in the
EVP_CTRL_RAND_KEY method handlers, rather than generating a random odd key and
not even checking it against the weak keys list.

ok beck@

In DES_random_key(), force the generated key to the odd parity before checking
it is not one of the weak and semi-weak keys.

Even though the probability of generating a weak key with incorrect parity is
abysmally small, there is no reason to be correct (although, if you're in a
need for fresh DES keys nowadays, you should seriously consider switching to
a stronger symmetric cipher algorithm).

ok beck@