Fix signed integer overflow in bnrand()
authortb <tb@openbsd.org>
Sat, 16 Mar 2024 20:42:33 +0000 (20:42 +0000)
committertb <tb@openbsd.org>
Sat, 16 Mar 2024 20:42:33 +0000 (20:42 +0000)
commit091f637a5964825bc94bebd06624b0aea21eb127
tree48f77c4e1ac6dada76ba87188f35a1efb826f911
parenteaddcb2f672b7593c6cabcf8259b8c78fafa8447
Fix signed integer overflow in bnrand()

If more bits than INT_MAX - 7 are requested, the calculation of number
of bytes required to store the bignum triggers undefined behavior due to
signed integer overflow. This will typically result in bytes becoming
negative which will then make malloc() fail. If the ulimit should be
high enough to make malloc() succeed, there is a bad out of bounds write
in case bottom is set (an odd number was requested).

On jsing's request this does not deal with another bug which we could
catch with a similar check due to BN_bn2bin() failing later on as the
number of words in a BIGNUM is some fraction of INT_MAX.

ok jsing
lib/libcrypto/bn/bn_rand.c