Explain the options in httpd.8

ok deraadt@

Load the SSL public/private keys in the parent process, then provide them
to the privsep process via imsg. This allows the keys to be moved out of
the chroot (now /etc/ssl/server.crt, /etc/ssl/private/server.key).

ok reyk@

Add support for loading the public/private key from memory, rather than
directly from file.

Only check if the abort transfer is the interrupt one if the pipe is
opened with a callback.

If a driver opens an interrupt pipe without callback function, like
umct(4) does with one of its bulk in endpoints being reported as an
interrupt endpoint, then we can end up aborting a transfer which is
different from the interrupt one.

Issue reported by Roberto E. Vargas Caballero, ok deraadt@

Add configuration options for the most-important connection limits:
max requests (per connection) and timeout.  We don't want to add too
many button, and there are good defaults, but these ones are kind of
mandatory.

Tweak the httpd.conf manpage with "sub-lists".

Bring back the tcp/ip configuration options.  This code was already
there and is from relayd.  We can decide later which options should
be added or removed, but it shouldn't do any harm.

Add srv_conf helper variable to make the code more readable.
No functional change.

Fix an example: hostapd table entries have to be comma-separated.

From "Vigdis" via misc@
can go in deraadt@

Fix an example, nat-to requires to specify the "out" direction in pf rules.

From "Vigdis" via misc@
can go in deraadt@

Limit the number of (Keep-Alive) requests per connection to 100.
(Same default as in nginx and Apache).

Improve logging to allow per- server/location log files.  The log
files can also be owned by root now: they're opened by the parent and
send to the logger process with fd passing.  This also works with reload.

ok deraadt@

retire blink because this is serious software now; ok beck

spaces

handle wsconsctl.conf and sysctl.conf just being examples.
from ratchov

Add $OpenBSD$ tags.

add a config option to specify the chroot directory
ok reyk@

enable httpd; ok deraadt@

Temporarily move the default location of the SSL/TLS server key and
certificate from /var/www/ to /var/www/conf/.  Don't get scared - this
will be changed soon!  They're currently located in the chroot
directory but will be moved outside as soon as we adopted some of the
key privsep from relayd in ressl/httpd.

Add HTTPS = on CGI variable.

Add HTTPS server example.

Redirect to https:// if SSL/TLS is enabled.

Proxy commit for jsing@:
"Add TLS/SSL support to httpd, based on the recent ressl commits."

From jsing@
ok reyk@

manpage tweaks about logging

Implement ressl_accept_socket, which allocates a new server connection
context (if necessary) and handles the TLS/SSL handshake over the given
socket.

Return -1 on error (not 1).

A ressl server needs different configuration from a ressl client - provide
a specific server configuration function and call this from
ressl_configure.

Change grammar from "log [style]" to "log style [style]".

Provide a function that returns a server connection context.

Provide a utility function for loading a private/public keypair.

Print error message if the log files cannot be opened.

Improve ressl_{read,write} handling of non-blocking reads/writes.

Add initial support for log files in /var/www/logs/.  Logging with
syslog is still supported but disabled by default.

ok deraadt@

Free the SSL context first and let the reference counting do its thing.

Implement PATH_INFO and add DOCUMENT_ROOT.
PATH_INFO was requested by naddy@ who successfully tested it with "cvsweb".

ok naddy@

fix small layout inconsistency

ok'd by many

httpd doesn't support SSL/TLS yet, remove the remaining bits.
The secrect plan is to add it later using the ressl wrapper library.

no need for param.h

whitespace

In chacha_init(), allow for a NULL iv. Reported by znz on github.
ok guenther@ jsing@

Only allow GET and HEAD for static files or return 405.

ok florian@

Also write log messages, like 404 Not Found, on error.  This is a bit
tricky because we couldn't guarantee a sane state after
server_response_http() so fail hard afterwards and close the connection.

ok doug@

c-type functions / makros need a cast to unsigned char, not int
"feel free to commit" reyk@

Allocate http_host instead of carrying a buffer in the descriptor.

spacing

Dynamically pass HTTP request headers as protocol-specific HTTP_* CGI
meta-variables.

ok florian@

Add ral(4) at pci and cardbus to RAMDISK on macppc; ok deraadt

Add ral(4) at cardbus to GENERIC on macppc; ok deraadt

smtpd got privsep'ed and the _smtpq user is now used to manage these
directories. Ensure proper ownership in case smtpd has been started
before this change.

brought up by matthieu@
OK deraadt@

X509_NAME_get_text_by_NID() returns -1 on error so the type
the return value is stored in must be signed.  Fixes a test for error.

ok jsing@ guenther@

don't return unitialised memory on error in ehci_alloc_sqtd()

It seems mpi introduced a problem into ehci.c rev 1.162
two weeks ago.  An error check that used to return NULL
now jumps to the end of the function, but sqtd isn't
initialised at that point.

ok miod@ deraadt@

When stsp changed bwi_encap() for 30 bit addresses in rev 1.106 code
that used to always initialise the error variable is no longer run.

And at the end of bwi_encap() there is:

if (error)
m_freem(m);
return (error);

Fixing this prevents packet loss stsp was seeing.

ok stsp@ miod@ deraadt@

Add function to iterate all headers.  No functional change.

The first server example should be the "minimal default" to illustrate
that you don't have to push all kinds of buttons to run httpd.

More examples, include FastCGI for php and cgi-bin and logging.

Split fastcgi socket path and document root option and add the
SCRIPT_FILENAME CGI param with a prepended root.  This fixes php-fpm
that expects SCRIPT_FILENAME and also works with slowcgi if you
configure the root correctly.  For example, if SCRIPT_NAME and
REQUEST_URI are /php/index.php, root is /htdocs, SCRIPT_FILENAME will
be /htdocs/php/index.php.  As tested and discussed with florian@

Add missing log call for FastCGI requests.

Add another log mode "connection" for a relayd(8)-style log entry after
each connection, not every request.  The code was already there and enabled
on debug, I just turned it into an alternative log format.

Prefer getnameinfo() with NI_NUMERICHOST over inet_ntop because it is also
aware of the IPv6 scope Id.  We already have a function print_host() that
uses getnameinfo, so no need for the inet_ntop cases. Confirmed by florian@

Locations now inherit access log settings from the server.

Add log to the server flags.

input/"Looks ok" reyk@

don't leak fcgi fd

Padding of fcgi records is optional, but if we receive padding data we
should read it.

We need to read from the fcgi bufferevent until it's empty because the
event handler will not be called again if no new data arrives.
Debugged with and OK reyk@

Allow to specify a FastCGI TCP socket on localhost (eg. :9000).  Used
for debugging, you should prefer local UNIX sockets, but it helped to
find an issue that will be fixed with the next commit.

OK florian@

'fastcgi socket "path"' is the correct syntax; update the manpage.
Found by jsg@

spacing

scandir(3)-based directory auto index didn't work on NFS because the
file system is not filling in d_type properly.  Using st_mode from the
stat call fixes the problem, eg. S_ISDIR(st.st_mode) instead of
dp->d_type == DT_DIR.  Pointed out by pelikan@

remove nasty unclosed Xo in previous; ok reyk

Use the log buffer to defer the logging until the connection is closed
or the request completed.  Turn the old log message into a debug message.

ok doug@

remove the global "log updates/all" option that came from relayd.

Add common and combined access logging to httpd.

ok reyk@

Rewrite fcgi_add_param and hand over a lot more http headers etc. to
the cgi script.
OK reyk@
"blanket OK" for changes in httpd for the time beeing from deraadt@

Correctly parse fcgi records if we don't get the whole record in one
bufferevent_read().
Input/OK reyk@

Don't return, just skip over non existing rc.conf or rc.conf.local file.

OK ajacoutot@ halex@

When attempting to rebuild a softraid volume, use the actual data offset
from the volume metadata rather than the currently defined data offset.
This allows rebuilds to work correctly when the volume metadata has a
different data offset to that currently in use (for example, volumes
created prior to softraid gaining boot support).

Found the hard way by henning@

ok deraadt@

unbreak the build - e2fs_isave now needs the superblock.

always use the little-endian copy of a superblock.

Damn those memcpy-wrapping macros!

"do it" deraadt

unbreak aac(4) by re-adding uvm_extern.h for ptoa()

ok deraadt@ sthen@

Only write the HTTP header for the first fastcgi chunk.

some fastcgi improvements:
- DPRINTF instead of log_info for internal debugging.
- submit QUERY_STRING, if it exists
- use a proper function to create an HTTP header.
- use server_file_error() to detect EOF and fastcgi stream errors.
- disable keep-alive/persist for now until we have a reliable way to
get the content length from the cgi response or support chunked
encoding.

"Cool, jep" florian@

use proper on-disk inode size: no more, no less.

Reported by Roman Yakovlev, thanks!

"do it now" deraadt

In debug mode, properly sort and drop duplicates so that we don't end
up with a confusing output like:
multicast_host      >NO<
<...>
multicast_host      >YES<

Also properly evaluate values _after_ running _rc_quirks() because these
can modify flags.

ok robert@ halex@

One bufferevent can be shared by file and fcgi.

Allow to specify a non-default fastcgi socket.

Rename the "docroot" variable to "path" because it will be used for
either files or the fastcgi socket (and there's no need to use a union yet).

Add a configuration variable "fastcgi" to enable it per server or location.

Put in first stab at fastcgi. Very early work in progress. Putting it
in now so that we can quickly work on it in tree. Requested by reyk@.
deraadt@ is OK with this according to reyk@.

sync

unhook auxcpp

Properly warn when an example changes and the corresponding file is found
under /etc.

issue reported by Nathanael Rensen
"fine" deraadt@

switch to tradcpp

descend into tradcpp

Add tradcpp 0.4, a standalone traditional whitespace preserving cpp
by David A. Holland of NetBSD.

Make "location" work with name-based virtual servers.

Fix evil typo (multicast_hosts -> multicast_host).

prepare for post 5.6 packages, recognize special case where timestamp exist.
(specifically, this is a nop for 5.6, but it will allow changes to packages
without needing anything in pkg_add)

Add "location" keyword to specify path-specific configuration in
servers, for example auto index for a sub-directory only.  Internally,
a "location" is just a special type of a "virtual" server.

Small fix and clarification

Reserve an extra file descriptor per connection instead of per
request.  This fixes fd accounting with persistent connections and
reduces the complexity of the implementation.

ok benno@

The inflight decremented message should only be printed with DEBUG.