Blame SOURCES/openssl-1.1.1-intel-cet.patch

cf3dd1
diff -up openssl-1.1.1e/crypto/aes/asm/aesni-x86_64.pl.intel-cet openssl-1.1.1e/crypto/aes/asm/aesni-x86_64.pl
cf3dd1
--- openssl-1.1.1e/crypto/aes/asm/aesni-x86_64.pl.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/aes/asm/aesni-x86_64.pl	2020-03-19 17:07:02.626522694 +0100
cf3dd1
@@ -275,6 +275,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 ${PREFIX}_encrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	movups	($inp),$inout0		# load input
cf3dd1
 	mov	240($key),$rounds	# key->rounds
cf3dd1
 ___
cf3dd1
@@ -293,6 +294,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 ${PREFIX}_decrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	movups	($inp),$inout0		# load input
cf3dd1
 	mov	240($key),$rounds	# key->rounds
cf3dd1
 ___
cf3dd1
@@ -613,6 +615,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 aesni_ecb_encrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 ___
cf3dd1
 $code.=<<___ if ($win64);
cf3dd1
 	lea	-0x58(%rsp),%rsp
cf3dd1
@@ -985,6 +988,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 aesni_ccm64_encrypt_blocks:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 ___
cf3dd1
 $code.=<<___ if ($win64);
cf3dd1
 	lea	-0x58(%rsp),%rsp
cf3dd1
@@ -1077,6 +1081,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 aesni_ccm64_decrypt_blocks:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 ___
cf3dd1
 $code.=<<___ if ($win64);
cf3dd1
 	lea	-0x58(%rsp),%rsp
cf3dd1
@@ -1203,6 +1208,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 aesni_ctr32_encrypt_blocks:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	cmp	\$1,$len
cf3dd1
 	jne	.Lctr32_bulk
cf3dd1
 
cf3dd1
@@ -1775,6 +1781,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 aesni_xts_encrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	lea	(%rsp),%r11			# frame pointer
cf3dd1
 .cfi_def_cfa_register	%r11
cf3dd1
 	push	%rbp
cf3dd1
@@ -2258,6 +2265,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 aesni_xts_decrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	lea	(%rsp),%r11			# frame pointer
cf3dd1
 .cfi_def_cfa_register	%r11
cf3dd1
 	push	%rbp
cf3dd1
@@ -2783,6 +2791,7 @@ $code.=<<___;
cf3dd1
 .align	32
cf3dd1
 aesni_ocb_encrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	lea	(%rsp),%rax
cf3dd1
 	push	%rbx
cf3dd1
 .cfi_push	%rbx
cf3dd1
@@ -3249,6 +3258,7 @@ __ocb_encrypt1:
cf3dd1
 .align	32
cf3dd1
 aesni_ocb_decrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	lea	(%rsp),%rax
cf3dd1
 	push	%rbx
cf3dd1
 .cfi_push	%rbx
cf3dd1
@@ -3737,6 +3747,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 ${PREFIX}_cbc_encrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	test	$len,$len		# check length
cf3dd1
 	jz	.Lcbc_ret
cf3dd1
 
cf3dd1
diff -up openssl-1.1.1e/crypto/aes/asm/vpaes-x86_64.pl.intel-cet openssl-1.1.1e/crypto/aes/asm/vpaes-x86_64.pl
cf3dd1
--- openssl-1.1.1e/crypto/aes/asm/vpaes-x86_64.pl.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/aes/asm/vpaes-x86_64.pl	2020-03-19 17:00:15.974621757 +0100
cf3dd1
@@ -696,6 +696,7 @@ _vpaes_schedule_mangle:
cf3dd1
 .align	16
cf3dd1
 ${PREFIX}_set_encrypt_key:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 ___
cf3dd1
 $code.=<<___ if ($win64);
cf3dd1
 	lea	-0xb8(%rsp),%rsp
cf3dd1
@@ -746,6 +747,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 ${PREFIX}_set_decrypt_key:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 ___
cf3dd1
 $code.=<<___ if ($win64);
cf3dd1
 	lea	-0xb8(%rsp),%rsp
cf3dd1
@@ -801,6 +803,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 ${PREFIX}_encrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 ___
cf3dd1
 $code.=<<___ if ($win64);
cf3dd1
 	lea	-0xb8(%rsp),%rsp
cf3dd1
@@ -846,6 +849,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 ${PREFIX}_decrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 ___
cf3dd1
 $code.=<<___ if ($win64);
cf3dd1
 	lea	-0xb8(%rsp),%rsp
cf3dd1
@@ -897,6 +901,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 ${PREFIX}_cbc_encrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	xchg	$key,$len
cf3dd1
 ___
cf3dd1
 ($len,$key)=($key,$len);
cf3dd1
diff -up openssl-1.1.1e/crypto/async/arch/async_posix.c.intel-cet openssl-1.1.1e/crypto/async/arch/async_posix.c
cf3dd1
--- openssl-1.1.1e/crypto/async/arch/async_posix.c.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/async/arch/async_posix.c	2020-03-19 17:00:15.974621757 +0100
cf3dd1
@@ -34,7 +34,9 @@ void async_local_cleanup(void)
cf3dd1
 
cf3dd1
 int async_fibre_makecontext(async_fibre *fibre)
cf3dd1
 {
cf3dd1
+#ifndef USE_SWAPCONTEXT
cf3dd1
     fibre->env_init = 0;
cf3dd1
+#endif
cf3dd1
     if (getcontext(&fibre->fibre) == 0) {
cf3dd1
         fibre->fibre.uc_stack.ss_sp = OPENSSL_malloc(STACKSIZE);
cf3dd1
         if (fibre->fibre.uc_stack.ss_sp != NULL) {
cf3dd1
diff -up openssl-1.1.1e/crypto/async/arch/async_posix.h.intel-cet openssl-1.1.1e/crypto/async/arch/async_posix.h
cf3dd1
--- openssl-1.1.1e/crypto/async/arch/async_posix.h.intel-cet	2020-03-19 17:00:15.435631166 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/async/arch/async_posix.h	2020-03-19 17:00:15.975621739 +0100
cf3dd1
@@ -25,17 +25,33 @@
cf3dd1
 #  define ASYNC_POSIX
cf3dd1
 #  define ASYNC_ARCH
cf3dd1
 
cf3dd1
+#  ifdef __CET__
cf3dd1
+/*
cf3dd1
+ * When Intel CET is enabled, makecontext will create a different
cf3dd1
+ * shadow stack for each context.  async_fibre_swapcontext cannot
cf3dd1
+ * use _longjmp.  It must call swapcontext to swap shadow stack as
cf3dd1
+ * well as normal stack.
cf3dd1
+ */
cf3dd1
+#   define USE_SWAPCONTEXT
cf3dd1
+#  endif
cf3dd1
 #  include <ucontext.h>
cf3dd1
-#  include <setjmp.h>
cf3dd1
+#  ifndef USE_SWAPCONTEXT
cf3dd1
+#   include <setjmp.h>
cf3dd1
+#  endif
cf3dd1
 
cf3dd1
 typedef struct async_fibre_st {
cf3dd1
     ucontext_t fibre;
cf3dd1
+#  ifndef USE_SWAPCONTEXT
cf3dd1
     jmp_buf env;
cf3dd1
     int env_init;
cf3dd1
+#  endif
cf3dd1
 } async_fibre;
cf3dd1
 
cf3dd1
 static ossl_inline int async_fibre_swapcontext(async_fibre *o, async_fibre *n, int r)
cf3dd1
 {
cf3dd1
+#  ifdef USE_SWAPCONTEXT
cf3dd1
+    swapcontext(&o->fibre, &n->fibre);
cf3dd1
+#  else
cf3dd1
     o->env_init = 1;
cf3dd1
 
cf3dd1
     if (!r || !_setjmp(o->env)) {
cf3dd1
@@ -44,6 +60,7 @@ static ossl_inline int async_fibre_swapc
cf3dd1
         else
cf3dd1
             setcontext(&n->fibre);
cf3dd1
     }
cf3dd1
+#  endif
cf3dd1
 
cf3dd1
     return 1;
cf3dd1
 }
cf3dd1
diff -up openssl-1.1.1e/crypto/camellia/asm/cmll-x86_64.pl.intel-cet openssl-1.1.1e/crypto/camellia/asm/cmll-x86_64.pl
cf3dd1
--- openssl-1.1.1e/crypto/camellia/asm/cmll-x86_64.pl.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/camellia/asm/cmll-x86_64.pl	2020-03-19 17:00:15.975621739 +0100
cf3dd1
@@ -685,6 +685,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 Camellia_cbc_encrypt:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	cmp	\$0,%rdx
cf3dd1
 	je	.Lcbc_abort
cf3dd1
 	push	%rbx
cf3dd1
diff -up openssl-1.1.1e/crypto/modes/asm/ghash-x86_64.pl.intel-cet openssl-1.1.1e/crypto/modes/asm/ghash-x86_64.pl
cf3dd1
--- openssl-1.1.1e/crypto/modes/asm/ghash-x86_64.pl.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/modes/asm/ghash-x86_64.pl	2020-03-19 17:00:15.975621739 +0100
cf3dd1
@@ -239,6 +239,7 @@ $code=<<___;
cf3dd1
 .align	16
cf3dd1
 gcm_gmult_4bit:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	push	%rbx
cf3dd1
 .cfi_push	%rbx
cf3dd1
 	push	%rbp		# %rbp and others are pushed exclusively in
cf3dd1
@@ -286,6 +287,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 gcm_ghash_4bit:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	push	%rbx
cf3dd1
 .cfi_push	%rbx
cf3dd1
 	push	%rbp
cf3dd1
@@ -612,6 +614,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 gcm_gmult_clmul:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 .L_gmult_clmul:
cf3dd1
 	movdqu		($Xip),$Xi
cf3dd1
 	movdqa		.Lbswap_mask(%rip),$T3
cf3dd1
@@ -663,6 +666,7 @@ $code.=<<___;
cf3dd1
 .align	32
cf3dd1
 gcm_ghash_clmul:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 .L_ghash_clmul:
cf3dd1
 ___
cf3dd1
 $code.=<<___ if ($win64);
cf3dd1
@@ -1166,6 +1170,7 @@ $code.=<<___;
cf3dd1
 .align	32
cf3dd1
 gcm_gmult_avx:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	jmp	.L_gmult_clmul
cf3dd1
 .cfi_endproc
cf3dd1
 .size	gcm_gmult_avx,.-gcm_gmult_avx
cf3dd1
@@ -1177,6 +1182,7 @@ $code.=<<___;
cf3dd1
 .align	32
cf3dd1
 gcm_ghash_avx:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 ___
cf3dd1
 if ($avx) {
cf3dd1
 my ($Xip,$Htbl,$inp,$len)=@_4args;
cf3dd1
diff -up openssl-1.1.1e/crypto/perlasm/cbc.pl.intel-cet openssl-1.1.1e/crypto/perlasm/cbc.pl
cf3dd1
--- openssl-1.1.1e/crypto/perlasm/cbc.pl.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/perlasm/cbc.pl	2020-03-19 17:00:15.976621722 +0100
cf3dd1
@@ -165,21 +165,28 @@ sub cbc
cf3dd1
 	&jmp_ptr($count);
cf3dd1
 
cf3dd1
 &set_label("ej7");
cf3dd1
+	&endbranch()
cf3dd1
 	&movb(&HB("edx"),	&BP(6,$in,"",0));
cf3dd1
 	&shl("edx",8);
cf3dd1
 &set_label("ej6");
cf3dd1
+	&endbranch()
cf3dd1
 	&movb(&HB("edx"),	&BP(5,$in,"",0));
cf3dd1
 &set_label("ej5");
cf3dd1
+	&endbranch()
cf3dd1
 	&movb(&LB("edx"),	&BP(4,$in,"",0));
cf3dd1
 &set_label("ej4");
cf3dd1
+	&endbranch()
cf3dd1
 	&mov("ecx",		&DWP(0,$in,"",0));
cf3dd1
 	&jmp(&label("ejend"));
cf3dd1
 &set_label("ej3");
cf3dd1
+	&endbranch()
cf3dd1
 	&movb(&HB("ecx"),	&BP(2,$in,"",0));
cf3dd1
 	&shl("ecx",8);
cf3dd1
 &set_label("ej2");
cf3dd1
+	&endbranch()
cf3dd1
 	&movb(&HB("ecx"),	&BP(1,$in,"",0));
cf3dd1
 &set_label("ej1");
cf3dd1
+	&endbranch()
cf3dd1
 	&movb(&LB("ecx"),	&BP(0,$in,"",0));
cf3dd1
 &set_label("ejend");
cf3dd1
 
cf3dd1
diff -up openssl-1.1.1e/crypto/perlasm/x86_64-xlate.pl.intel-cet openssl-1.1.1e/crypto/perlasm/x86_64-xlate.pl
cf3dd1
--- openssl-1.1.1e/crypto/perlasm/x86_64-xlate.pl.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/perlasm/x86_64-xlate.pl	2020-03-19 17:00:15.984621582 +0100
cf3dd1
@@ -101,6 +101,33 @@ elsif (!$gas)
cf3dd1
     $decor="\$L\$";
cf3dd1
 }
cf3dd1
 
cf3dd1
+my $cet_property;
cf3dd1
+if ($flavour =~ /elf/) {
cf3dd1
+	# Always generate .note.gnu.property section for ELF outputs to
cf3dd1
+	# mark Intel CET support since all input files must be marked
cf3dd1
+	# with Intel CET support in order for linker to mark output with
cf3dd1
+	# Intel CET support.
cf3dd1
+	my $p2align=3; $p2align=2 if ($flavour eq "elf32");
cf3dd1
+	$cet_property = <<_____;
cf3dd1
+	.section ".note.gnu.property", "a"
cf3dd1
+	.p2align $p2align
cf3dd1
+	.long 1f - 0f
cf3dd1
+	.long 4f - 1f
cf3dd1
+	.long 5
cf3dd1
+0:
cf3dd1
+	.asciz "GNU"
cf3dd1
+1:
cf3dd1
+	.p2align $p2align
cf3dd1
+	.long 0xc0000002
cf3dd1
+	.long 3f - 2f
cf3dd1
+2:
cf3dd1
+	.long 3
cf3dd1
+3:
cf3dd1
+	.p2align $p2align
cf3dd1
+4:
cf3dd1
+_____
cf3dd1
+}
cf3dd1
+
cf3dd1
 my $current_segment;
cf3dd1
 my $current_function;
cf3dd1
 my %globals;
cf3dd1
@@ -1213,6 +1240,7 @@ while(defined(my $line=<>)) {
cf3dd1
     print $line,"\n";
cf3dd1
 }
cf3dd1
 
cf3dd1
+print "$cet_property"			if ($cet_property);
cf3dd1
 print "\n$current_segment\tENDS\n"	if ($current_segment && $masm);
cf3dd1
 print "END\n"				if ($masm);
cf3dd1
 
cf3dd1
diff -up openssl-1.1.1e/crypto/perlasm/x86gas.pl.intel-cet openssl-1.1.1e/crypto/perlasm/x86gas.pl
cf3dd1
--- openssl-1.1.1e/crypto/perlasm/x86gas.pl.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/perlasm/x86gas.pl	2020-03-19 17:00:15.985621565 +0100
cf3dd1
@@ -124,6 +124,7 @@ sub ::function_begin_B
cf3dd1
     push(@out,".align\t$align\n");
cf3dd1
     push(@out,"$func:\n");
cf3dd1
     push(@out,"$begin:\n")		if ($global);
cf3dd1
+    &::endbranch();
cf3dd1
     $::stack=4;
cf3dd1
 }
cf3dd1
 
cf3dd1
@@ -172,6 +173,26 @@ sub ::file_end
cf3dd1
 	else		{ push (@out,"$tmp\n"); }
cf3dd1
     }
cf3dd1
     push(@out,$initseg) if ($initseg);
cf3dd1
+    if ($::elf) {
cf3dd1
+	push(@out,"
cf3dd1
+	.section \".note.gnu.property\", \"a\"
cf3dd1
+	.p2align 2
cf3dd1
+	.long 1f - 0f
cf3dd1
+	.long 4f - 1f
cf3dd1
+	.long 5
cf3dd1
+0:
cf3dd1
+	.asciz \"GNU\"
cf3dd1
+1:
cf3dd1
+	.p2align 2
cf3dd1
+	.long 0xc0000002
cf3dd1
+	.long 3f - 2f
cf3dd1
+2:
cf3dd1
+	.long 3
cf3dd1
+3:
cf3dd1
+	.p2align 2
cf3dd1
+4:
cf3dd1
+");
cf3dd1
+    }
cf3dd1
 }
cf3dd1
 
cf3dd1
 sub ::data_byte	{   push(@out,".byte\t".join(',',@_)."\n");   }
cf3dd1
diff -up openssl-1.1.1e/crypto/poly1305/asm/poly1305-x86_64.pl.intel-cet openssl-1.1.1e/crypto/poly1305/asm/poly1305-x86_64.pl
cf3dd1
--- openssl-1.1.1e/crypto/poly1305/asm/poly1305-x86_64.pl.intel-cet	2020-03-19 17:00:38.185234015 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/poly1305/asm/poly1305-x86_64.pl	2020-03-19 17:05:46.575850341 +0100
cf3dd1
@@ -2806,6 +2806,7 @@ $code.=<<___;
cf3dd1
 .align	32
cf3dd1
 poly1305_blocks_vpmadd52:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	shr	\$4,$len
cf3dd1
 	jz	.Lno_data_vpmadd52		# too short
cf3dd1
 
cf3dd1
@@ -3739,6 +3740,7 @@ $code.=<<___;
cf3dd1
 .align	32
cf3dd1
 poly1305_emit_base2_44:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	mov	0($ctx),%r8	# load hash value
cf3dd1
 	mov	8($ctx),%r9
cf3dd1
 	mov	16($ctx),%r10
cf3dd1
diff -up openssl-1.1.1e/crypto/rc4/asm/rc4-x86_64.pl.intel-cet openssl-1.1.1e/crypto/rc4/asm/rc4-x86_64.pl
cf3dd1
--- openssl-1.1.1e/crypto/rc4/asm/rc4-x86_64.pl.intel-cet	2020-03-19 17:00:38.190233928 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/rc4/asm/rc4-x86_64.pl	2020-03-19 17:05:02.598618064 +0100
cf3dd1
@@ -140,6 +140,7 @@ $code=<<___;
cf3dd1
 .align	16
cf3dd1
 RC4:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	or	$len,$len
cf3dd1
 	jne	.Lentry
cf3dd1
 	ret
cf3dd1
@@ -455,6 +456,7 @@ $code.=<<___;
cf3dd1
 .align	16
cf3dd1
 RC4_set_key:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	lea	8($dat),$dat
cf3dd1
 	lea	($inp,$len),$inp
cf3dd1
 	neg	$len
cf3dd1
@@ -529,6 +531,7 @@ RC4_set_key:
cf3dd1
 .align	16
cf3dd1
 RC4_options:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	lea	.Lopts(%rip),%rax
cf3dd1
 	mov	OPENSSL_ia32cap_P(%rip),%edx
cf3dd1
 	bt	\$20,%edx
cf3dd1
diff -up openssl-1.1.1e/crypto/x86_64cpuid.pl.intel-cet openssl-1.1.1e/crypto/x86_64cpuid.pl
cf3dd1
--- openssl-1.1.1e/crypto/x86_64cpuid.pl.intel-cet	2020-03-17 15:31:17.000000000 +0100
cf3dd1
+++ openssl-1.1.1e/crypto/x86_64cpuid.pl	2020-03-19 17:03:58.172742775 +0100
cf3dd1
@@ -40,6 +40,7 @@ print<<___;
cf3dd1
 .align	16
cf3dd1
 OPENSSL_atomic_add:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	movl	($arg1),%eax
cf3dd1
 .Lspin:	leaq	($arg2,%rax),%r8
cf3dd1
 	.byte	0xf0		# lock
cf3dd1
@@ -56,6 +57,7 @@ OPENSSL_atomic_add:
cf3dd1
 .align	16
cf3dd1
 OPENSSL_rdtsc:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	rdtsc
cf3dd1
 	shl	\$32,%rdx
cf3dd1
 	or	%rdx,%rax
cf3dd1
@@ -68,6 +70,7 @@ OPENSSL_rdtsc:
cf3dd1
 .align	16
cf3dd1
 OPENSSL_ia32_cpuid:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	mov	%rbx,%r8		# save %rbx
cf3dd1
 .cfi_register	%rbx,%r8
cf3dd1
 
cf3dd1
@@ -237,6 +240,7 @@ OPENSSL_ia32_cpuid:
cf3dd1
 .align  16
cf3dd1
 OPENSSL_cleanse:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	xor	%rax,%rax
cf3dd1
 	cmp	\$15,$arg2
cf3dd1
 	jae	.Lot
cf3dd1
@@ -274,6 +278,7 @@ OPENSSL_cleanse:
cf3dd1
 .align  16
cf3dd1
 CRYPTO_memcmp:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	xor	%rax,%rax
cf3dd1
 	xor	%r10,%r10
cf3dd1
 	cmp	\$0,$arg3
cf3dd1
@@ -312,6 +317,7 @@ print<<___ if (!$win64);
cf3dd1
 .align	16
cf3dd1
 OPENSSL_wipe_cpu:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	pxor	%xmm0,%xmm0
cf3dd1
 	pxor	%xmm1,%xmm1
cf3dd1
 	pxor	%xmm2,%xmm2
cf3dd1
@@ -346,6 +352,8 @@ print<<___ if ($win64);
cf3dd1
 .type	OPENSSL_wipe_cpu,\@abi-omnipotent
cf3dd1
 .align	16
cf3dd1
 OPENSSL_wipe_cpu:
cf3dd1
+.cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	pxor	%xmm0,%xmm0
cf3dd1
 	pxor	%xmm1,%xmm1
cf3dd1
 	pxor	%xmm2,%xmm2
cf3dd1
@@ -376,6 +384,7 @@ print<<___;
cf3dd1
 .align	16
cf3dd1
 OPENSSL_instrument_bus:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	mov	$arg1,$out	# tribute to Win64
cf3dd1
 	mov	$arg2,$cnt
cf3dd1
 	mov	$arg2,$max
cf3dd1
@@ -410,6 +419,7 @@ OPENSSL_instrument_bus:
cf3dd1
 .align	16
cf3dd1
 OPENSSL_instrument_bus2:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	mov	$arg1,$out	# tribute to Win64
cf3dd1
 	mov	$arg2,$cnt
cf3dd1
 	mov	$arg3,$max
cf3dd1
@@ -465,6 +475,7 @@ print<<___;
cf3dd1
 .align	16
cf3dd1
 OPENSSL_ia32_${rdop}_bytes:
cf3dd1
 .cfi_startproc
cf3dd1
+	endbranch
cf3dd1
 	xor	%rax, %rax	# return value
cf3dd1
 	cmp	\$0,$arg2
cf3dd1
 	je	.Ldone_${rdop}_bytes