Avoid crash in BN_asc2bn()
authortb <tb@openbsd.org>
Fri, 23 Jun 2023 10:48:40 +0000 (10:48 +0000)
committertb <tb@openbsd.org>
Fri, 23 Jun 2023 10:48:40 +0000 (10:48 +0000)
commit7b63f6301256b7e76fbac712f5b8acb593267058
treefc6f5745136846da1cc6afb31c5d9270682b6654
parent10f31f59237e132b6cdb8bff3d1280a2e8e0fc8b
Avoid crash in BN_asc2bn()

Historically (and currently in OpenSSL), BN_asc2bn() could be called with
NULL, but only for positive numbers. So BN_asc2bn(NULL, "1") would succeed
but BN_asc2bn(NULL, "-1"), would crash. The other *2bn functions return a
length, so accepting a NULL makes some sense since it allows callers to
skip over part of the string just parsed (atoi-style).

For BN_asc2bn() a NULL bn makes no sense because it returns a boolean. The
recent CBS rewrite makes BN_asc2bn(NULL, *) always crash which in turn made
Coverity throw a fit.

Another change of behavior from that rewrite pertains to accidents (or is
it madness?) like -0x-11 and 0x-11 being parsed as decimal -17 (which Ingo
of course spotted and diligently documented). This will be addressed later.

ok jsing
lib/libcrypto/bn/bn_convert.c