scandir(3)-based directory auto index didn't work on NFS because the
file system is not filling in d_type properly.  Using st_mode from the
stat call fixes the problem, eg. S_ISDIR(st.st_mode) instead of
dp->d_type == DT_DIR.  Pointed out by pelikan@

remove nasty unclosed Xo in previous; ok reyk

Use the log buffer to defer the logging until the connection is closed
or the request completed.  Turn the old log message into a debug message.

ok doug@

remove the global "log updates/all" option that came from relayd.

Add common and combined access logging to httpd.

ok reyk@

Rewrite fcgi_add_param and hand over a lot more http headers etc. to
the cgi script.
OK reyk@
"blanket OK" for changes in httpd for the time beeing from deraadt@

Correctly parse fcgi records if we don't get the whole record in one
bufferevent_read().
Input/OK reyk@

Don't return, just skip over non existing rc.conf or rc.conf.local file.

OK ajacoutot@ halex@

When attempting to rebuild a softraid volume, use the actual data offset
from the volume metadata rather than the currently defined data offset.
This allows rebuilds to work correctly when the volume metadata has a
different data offset to that currently in use (for example, volumes
created prior to softraid gaining boot support).

Found the hard way by henning@

ok deraadt@

unbreak the build - e2fs_isave now needs the superblock.

always use the little-endian copy of a superblock.

Damn those memcpy-wrapping macros!

"do it" deraadt

unbreak aac(4) by re-adding uvm_extern.h for ptoa()

ok deraadt@ sthen@

Only write the HTTP header for the first fastcgi chunk.

some fastcgi improvements:
- DPRINTF instead of log_info for internal debugging.
- submit QUERY_STRING, if it exists
- use a proper function to create an HTTP header.
- use server_file_error() to detect EOF and fastcgi stream errors.
- disable keep-alive/persist for now until we have a reliable way to
get the content length from the cgi response or support chunked
encoding.

"Cool, jep" florian@

use proper on-disk inode size: no more, no less.

Reported by Roman Yakovlev, thanks!

"do it now" deraadt

In debug mode, properly sort and drop duplicates so that we don't end
up with a confusing output like:
multicast_host      >NO<
<...>
multicast_host      >YES<

Also properly evaluate values _after_ running _rc_quirks() because these
can modify flags.

ok robert@ halex@

One bufferevent can be shared by file and fcgi.

Allow to specify a non-default fastcgi socket.

Rename the "docroot" variable to "path" because it will be used for
either files or the fastcgi socket (and there's no need to use a union yet).

Add a configuration variable "fastcgi" to enable it per server or location.

Put in first stab at fastcgi. Very early work in progress. Putting it
in now so that we can quickly work on it in tree. Requested by reyk@.
deraadt@ is OK with this according to reyk@.

sync

unhook auxcpp

Properly warn when an example changes and the corresponding file is found
under /etc.

issue reported by Nathanael Rensen
"fine" deraadt@

switch to tradcpp

descend into tradcpp

Add tradcpp 0.4, a standalone traditional whitespace preserving cpp
by David A. Holland of NetBSD.

Make "location" work with name-based virtual servers.

Fix evil typo (multicast_hosts -> multicast_host).

prepare for post 5.6 packages, recognize special case where timestamp exist.
(specifically, this is a nop for 5.6, but it will allow changes to packages
without needing anything in pkg_add)

Add "location" keyword to specify path-specific configuration in
servers, for example auto index for a sub-directory only.  Internally,
a "location" is just a special type of a "virtual" server.

Small fix and clarification

Reserve an extra file descriptor per connection instead of per
request.  This fixes fd accounting with persistent connections and
reduces the complexity of the implementation.

ok benno@

The inflight decremented message should only be printed with DEBUG.

Add extended directory index options: "[no] index" and "[no] auto index".
The option "directory auto index" implements basic directory listing
and is turned off by default.

ok deraadt@

disable POOL_DEBUG for release

move to -release mode

Revert the checks about RTF_LOCAL routes.

Even if in the end we would like to be more strict about what userland
can do with kernel-managed route entries, most of the tools out there
are not yet ready for this.  Since RTF_LOCAL routes are for the moment
just like RTF_LLINFO routes without expire timer, allow userland tools
to remove/modify them.  In case they are missing, the good old cloning
mechanism will recreate what you need.

bluhm@ and deraadt@ agree.

Move configurable TCP options into struct server_config.

Fix a usage string; the proper spelling of 'alot' is 'a lot'.

ok bcook@

update sets sizes

Last (known) msgbuf_write() vs EOF fix.

ok gilles@ deraadt@

sync

I/O ktrace of sendsyslog(2) did not work.  As uiomove() adjusts
iov_len to 0, we need a propper length calculation.  While there,
use -1 for the file descriptor because 0 is reserved for stdin.
OK deraadt@ guenther@

On SPARCbook systems, the ledma device node has a `cable-selection' property
specifying which media the on-board interface uses. We already query it to
set up proper register values; extend this to be able to pass a default
media to the le(4) child.

This makes SPARCbook system default to AUI without needing for a manual media
change.

tested by sebastia@

Remove SRP code. It contains a bug (this should not surprise anyone), but
the details are under embargo. The original plan was to wait for the
embargo to lift, but we've been waiting for quite some time, and there's no
indication of when or even if it will end. No sense in dragging this out
any longer.

The SRP code has never been enabled in OpenBSD, though I understand it is
in use by some other people. However, in light of this and other issues,
we're officially saying SRP is outside the scope of libressl. (For now.)

Fix memory exhaustion occurring on DHCP options with 0 length.

halex@ and krw@ pointed out that a NULL check before free can go, too.

ok deraadt@, halex@, krw@

merge dhcpd's packet.c revision 1.7:

Fix very hard to reach DoS attack vector, which would involve more than
8 billion network packets.  Mixture of many many malformed and proper
packets could result in a division by zero.

ok krw@

some systems no longer need /dev/log;
issue noticed by jirib;
ok deraadt

Limit the "aperture needed" printf to ramdisks via RAMDISK_HOOKS.
Originally with SMALL_KERNEL until sebastia@ pointed out that not
all ramdisks are built with SMALL_KERNEL.
ok deraadt@ kettenis@

Avoid matching a particular driver for "aperture needed" detection.
On sparc64 we also need to match machfb(4) in addition to vgafb(4) so let's
just match any driver.

ok halex@, deraadt@

Hardware supported by machfb(4) needs the aperture (for now) so make ramdisks
print a message to that extent such that the install scripts can do their
magic.

ok miod@, deraadt@

Change detection of unconfigured vlan interfaces from using flags to
looking for vlan id and parent interface. This avoids the creation of
unconfigured vlan interface every time /install is restarted.

Noted by and OK miod@
OK krw@
Positive feedback sthen@ claudio@

_dl_sigprocmask() works better when it actually saves the returned sigmask

asm suggestion from kettenis@
tested by miod@, suffering under the brain-destroying summer heat

The RSA, DH, and ECDH temporary key callbacks expect the number of keybits
for the key (expressed in RSA key bits, which makes *no sense* for ECDH) as
their second argument, not zero.

(jsing@ notes that the RSA callback is only invoked for 'export' ciphers,
which have been removed from LibreSSL, and for the SSL_OP_EPHEMERAL_RSA
option, which is makes the application non-compliant.  More fuel for the
tedu fire...)

jasper@ noted the breakage and bisected it down to the diff that broke this
ok jsing@ miod@

remove non-portable __progname extern from arc4random unit test.

ok @deraadt

turn of -Werror, unless you are sure both gcc work...

Link dependencies on libssl and libcrypto were missing.
OPENSSL_NO_RC5 is #defined in the #includes, so it's not needed here.

ok deraadt@

make sure makewhatis shows error messages without unsightly CODE() refs

- log libraries in a proper way
- mark wanted libraries, then run the db check.
Gives you a way to figure out when locate db are behind wrt pkgs

ensure log stuff happens, even without context

code readability; no functional change

Even for UTF-8 output, a non-breaking space character has the same width
as a normal space character, and not width 0.  Bug reported by bentley@.

Remove redundant slash

If we're stopping a secondary cpu, don't let sched_choosecpu() short-circuit
and return the current current CPU, otherwise sched_stop_secondary_cpus()
will spin forever trying to empty its run queues.  Fixes hangs during suspend
that many people reported over the last couple of days.

ok bcook@, guenther@

Revert "adjust -C algorithm to be more aggressive in scaling up" for
the moment, it triggers a race that breaks suspend/resume on some
machines.

ok tedu@, deraadt@, jsg@

Add more examples.  Requested by deraadt@

bzero is over, memset is cool.  pointed out by halex@

Fix very hard to reach DoS attack vector, which would involve more than
8 billion network packets.  Mixture of many many malformed and proper
packets could result in a division by zero.

ok krw@

Differentiate servers by address and port, not just by address.

Reset the default Host for each request

It is recommended to use a URL in the Location header of 3xx
responses.  To accomplish this, add some semantics to retrieve the
server host name of a connection: either IP, IP:PORT (if not 80) or
[IP6]:PORT, or Host value (if valid).

Append mandatory Date header to each response.

New HTTP/1.1 RFC 7231 prefers IMF-fixdate from RFC 5322.

Canonicalize the request path once without the docroot and prepend the
docroot only only when it's needed.  Suggested by deraadt@.

Clear buffer used for handling messages.  This prevents keys being
left in memory after they have been expired or deleted in some cases
(but note that ssh-agent is setgid so you would still need root to
access them).  Pointed out by Kevin Burns, ok deraadt

Choosing the right encoding is a tricky business...

Printing query strings for URIs *always* needs URI-encoding, and when
embedding the URI into an HTML document, it needs replacement of
the "&" separators by "&amp;" *in addition to that*, not instead.
Delete the function html_primtquery(), it was completely wrong.

You can see the badness by entering "mandoc &sec=2" into the query input
box before this patch and click "Submit".  You come to the right page at
first (...man.cgi?query=mandoc+%26sec%3D2&apropos=0&sec=0&...), but now
the link to mandoc(1) is wrong: ...mandoc.1?query=mandoc &amp;sec=2&amp;...
Clicking on that, the "&sec=2" disappears from the query input box and
suddenly you have the first dropdown set to "2 - System Calls".  Oops.

Don't leak docroot in the error message if the default index file is missing.

OK florian@

Sort the URI keys for .Xr links in the same order used by the search form,
and leave out the manpath when it is the default.
For building the HTML formatter options, do not use a static buffer.

oops, we must not try to validate a manpath we don't have;
fixing an oversight introduced in rev. 1.17

We cannot easily control the order of the QUERY_STRING keys generated
by the search form, it's just the order of the fields in the form.
Actually, that's not too bad; the generated URI resembles the
generating form.

To minimize confusion for people looking at URIs, give the keys
in the same order when generating URIs for search listings and
search redirections, the latter being used instead of search
listings that would have only one single entry.  Also, if the
manpath is the default, remove it form the generated URIs.

In generated .Xr links, avoid double encoding of ampersands
and avoid empty arch= keys.

Add multiple-servers "virtual hosts" example.

fix perl5 architecture name

ok deraadt@

Even though this is not XHTML yet, remove some gratuitious violations
of XHTML syntax.  Also add some cosmetic newlines to the HTML code.

Add a single line to fix the address matching of multiple server blocks with
non-virtual hosts.  I had this line in a previous diff.

The names of all other struct query memebers match the corresponding
QUERY_STRING keys, so rename "expr" to "query".
Also add some missing function prototypes.
No functional change.

clean up pg_show() to not modify a string returned from getenv(3)

Add support for "virtual hosts" aka. server blocks aka. multiple
servers with the same or "overlapping" IP address but a different name.

ok beck@

Rewrite http_parse() completely:
1. Make sure the last occurrence of each key is used, even if
it is empty, in which case it resets the value to the default.
2. When there is an HTTP encoding error, skip the affected
key-value pair only, but not all subsequent key-value pairs.
3. Do not modify a string returned from getenv(3).
4. Do not assume the NULL pointer is all null bits.

Add and document 'root' configuration option for the docroot.

Add missing year to copyright.

Split server and server_config.

Rename a field, needed later, no functional change.

Move the docroot into the server block.

BIO_free() returns immediately when the sole input is NULL.
Remove unnecessary NULL check.

ok miod@

document the scheduler types and how to specify them.

some pointers from schwarze@

Mention UNIX-domain socket forwarding too.  OK jmc@ deraadt@

Speed up the boot sequence by deferring the scan of xt keyboard code set.

If you were wondering why there's a pause of 5 seconds after loading the
kernel and before seeing the copyright in blue when booting some of your
machines, well this is for you!

mlarkin@ found that this delay is caused by some code probing for xt scan
code tables when pckbd(4) initialize the console keyboard.  So this diff
implements an idea from deraadt@ to only do the scan once, either during
*attach() or if we enter ddb> or ukc> before that!

ok miod@, mlarkin@, deraadt@, shadchin@

Sort result pages first by section number, then by name.
By moving the sort from cgi.c to mansearch.c, we get two advantages:
Easier access to the data needed for sorting, in particular the section
number, and the apropos(1) command line utility profits as well.

Feature requested by deraadt@.