Ruby 2.4.0 と Ruby 2.4.1 の間で OpenSSL のバージョンが変わっていたことで、落ちるテストと出会ってなるほどという気持ちだった。
Ruby 2.4.0
% ruby -v ruby 2.4.0p0 (2016-12-24 revision 57164) [x86_64-darwin13] % ruby -ropenssl -e 'puts OpenSSL::VERSION' 2.0.2
Ruby 2.4.1
% ruby -v ruby 2.4.1p111 (2017-03-22 revision 58053) [x86_64-darwin13] % ruby -ropenssl -e 'puts OpenSSL::VERSION' 2.0.3