Use a per-UVM object lock to serialize the lower part of the fault handler.
authormpi <mpi@openbsd.org>
Wed, 15 Dec 2021 12:53:53 +0000 (12:53 +0000)
committermpi <mpi@openbsd.org>
Wed, 15 Dec 2021 12:53:53 +0000 (12:53 +0000)
commit69c0451460338d5bad6de6353f62ed17acdab844
tree134eb6cc46af6eee65d91aa287c44e114f216940
parent819d16466cc38c08fd362905605028b4ad9eea25
Use a per-UVM object lock to serialize the lower part of the fault handler.

Like the per-amap lock the `vmobjlock' is principally used to serialized
access to objects in the fault handler to allow faults occurring on
different CPUs and different objects to be processed in parallel.

The fault handler now acquires the `vmobjlock' of a given UVM object as
soon as it finds one.  For now a write-lock is always acquired even if
some operations could use a read-lock.

Every pager, corresponding to a different kind of UVM object, now expect
the UVM object to be locked and some operations, like *_get() return it
unlocked.  This is enforced by assertions checking for rw_write_held().

The KERNEL_LOCK() is now pushed to the VFS boundary in the vnode pager.

To ensure the correct amap or object lock is held when modifying a page
many uvm_page* operations are now asserting for the "owner" lock.
However, fields of the "struct vm_page" are still being protected by the
global `pageqlock'.  To prevent lock ordering issues with the new
`vmobjlock' and to reduce differences with NetBSD this lock is now taken
and released for each page instead of around the whole loop.

This commit does not remove the KERNEL_LOCK/UNLOCK() dance.  Unlocking
will follow if there is no fallout.

Ported from NetBSD, tested by many, thanks!

ok kettenis@, kn@
14 files changed:
sys/dev/pci/drm/i915/gem/i915_gem_shmem.c
sys/dev/pci/drm/radeon/radeon_ttm.c
sys/uvm/uvm_aobj.c
sys/uvm/uvm_device.c
sys/uvm/uvm_fault.c
sys/uvm/uvm_km.c
sys/uvm/uvm_map.c
sys/uvm/uvm_map.h
sys/uvm/uvm_object.c
sys/uvm/uvm_object.h
sys/uvm/uvm_page.c
sys/uvm/uvm_pager.c
sys/uvm/uvm_pdaemon.c
sys/uvm/uvm_vnode.c