llvm/test/CodeGen/X86/clmul-vector.ll

; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
; RUN: llc < %s -mtriple=x86_64-- -mattr=+sse2    | FileCheck %s --check-prefixes=SSE,SSE-NOPCLMUL,SSE2,SSE2-NOPCLMUL
; RUN: llc < %s -mtriple=x86_64-- -mattr=+sse4.2 | FileCheck %s --check-prefixes=SSE,SSE-NOPCLMUL,SSE42,SSE42-NOPCLMUL
; RUN: llc < %s -mtriple=x86_64-- -mattr=+sse2,+pclmul | FileCheck %s --check-prefixes=SSE,SSE-PCLMUL,SSE2,SSE2-PCLMUL
; RUN: llc < %s -mtriple=x86_64-- -mattr=+sse4.2,+pclmul | FileCheck %s --check-prefixes=SSE,SSE-PCLMUL,SSE42,SSE42-PCLMUL
; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx2,+pclmul | FileCheck %s --check-prefixes=AVX2,AVX2-PCLMUL
; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx2,+vpclmulqdq | FileCheck %s --check-prefixes=AVX2,AVX2-VPCLMULQDQ
; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx512vl,+vpclmulqdq | FileCheck %s --check-prefixes=AVX512

define <16 x i8> @clmul_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
; SSE2-LABEL: clmul_v16i8:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    movdqa %xmm4, %xmm5
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm5 = xmm5[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [255,255,255,255,255,255,255,255]
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    packuswb %xmm5, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm6
; SSE2-NEXT:    pand %xmm3, %xmm6
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    packuswb %xmm6, %xmm5
; SSE2-NEXT:    pxor %xmm4, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    movdqa %xmm6, %xmm4
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm4 = xmm4[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pand %xmm3, %xmm6
; SSE2-NEXT:    packuswb %xmm4, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    movdqa %xmm4, %xmm7
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm7
; SSE2-NEXT:    pand %xmm3, %xmm7
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    packuswb %xmm7, %xmm4
; SSE2-NEXT:    pxor %xmm6, %xmm4
; SSE2-NEXT:    pxor %xmm5, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm6
; SSE2-NEXT:    pand %xmm3, %xmm6
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    packuswb %xmm6, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    movdqa %xmm6, %xmm7
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm7
; SSE2-NEXT:    pand %xmm3, %xmm7
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pand %xmm3, %xmm6
; SSE2-NEXT:    packuswb %xmm7, %xmm6
; SSE2-NEXT:    pxor %xmm5, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm7
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm7
; SSE2-NEXT:    pand %xmm3, %xmm7
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    packuswb %xmm7, %xmm5
; SSE2-NEXT:    pxor %xmm6, %xmm5
; SSE2-NEXT:    pxor %xmm4, %xmm5
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm4 = xmm4[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm1, %xmm0
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    packuswb %xmm4, %xmm0
; SSE2-NEXT:    pxor %xmm5, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmul_v16i8:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NEXT:    pmullw %xmm3, %xmm4
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255]
; SSE42-NEXT:    pand %xmm2, %xmm4
; SSE42-NEXT:    movdqa %xmm2, %xmm5
; SSE42-NEXT:    pandn %xmm3, %xmm5
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    pmaddubsw %xmm5, %xmm3
; SSE42-NEXT:    psllw $8, %xmm3
; SSE42-NEXT:    por %xmm4, %xmm3
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmullw %xmm4, %xmm5
; SSE42-NEXT:    pand %xmm2, %xmm5
; SSE42-NEXT:    movdqa %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm4, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NEXT:    pmaddubsw %xmm6, %xmm4
; SSE42-NEXT:    psllw $8, %xmm4
; SSE42-NEXT:    por %xmm5, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmullw %xmm3, %xmm5
; SSE42-NEXT:    pand %xmm2, %xmm5
; SSE42-NEXT:    movdqa %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm3, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm7
; SSE42-NEXT:    pmaddubsw %xmm6, %xmm7
; SSE42-NEXT:    psllw $8, %xmm7
; SSE42-NEXT:    por %xmm5, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmullw %xmm3, %xmm5
; SSE42-NEXT:    pand %xmm2, %xmm5
; SSE42-NEXT:    movdqa %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm3, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    pmaddubsw %xmm6, %xmm3
; SSE42-NEXT:    psllw $8, %xmm3
; SSE42-NEXT:    por %xmm5, %xmm3
; SSE42-NEXT:    pxor %xmm7, %xmm3
; SSE42-NEXT:    pxor %xmm4, %xmm3
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmullw %xmm4, %xmm5
; SSE42-NEXT:    pand %xmm2, %xmm5
; SSE42-NEXT:    movdqa %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm4, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NEXT:    pmaddubsw %xmm6, %xmm4
; SSE42-NEXT:    psllw $8, %xmm4
; SSE42-NEXT:    por %xmm5, %xmm4
; SSE42-NEXT:    movdqa {{.*#+}} xmm5 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm1, %xmm5
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pmullw %xmm5, %xmm6
; SSE42-NEXT:    pand %xmm2, %xmm6
; SSE42-NEXT:    movdqa %xmm2, %xmm7
; SSE42-NEXT:    pandn %xmm5, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmaddubsw %xmm7, %xmm5
; SSE42-NEXT:    psllw $8, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    pxor %xmm4, %xmm5
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pmullw %xmm4, %xmm6
; SSE42-NEXT:    pand %xmm2, %xmm6
; SSE42-NEXT:    movdqa %xmm2, %xmm7
; SSE42-NEXT:    pandn %xmm4, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NEXT:    pmaddubsw %xmm7, %xmm4
; SSE42-NEXT:    psllw $8, %xmm4
; SSE42-NEXT:    por %xmm6, %xmm4
; SSE42-NEXT:    pxor %xmm5, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    pmullw %xmm1, %xmm3
; SSE42-NEXT:    pand %xmm2, %xmm3
; SSE42-NEXT:    pandn %xmm1, %xmm2
; SSE42-NEXT:    pmaddubsw %xmm2, %xmm0
; SSE42-NEXT:    psllw $8, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    pxor %xmm4, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmul_v16i8:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm2
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero,xmm2[8],zero,xmm2[9],zero,xmm2[10],zero,xmm2[11],zero,xmm2[12],zero,xmm2[13],zero,xmm2[14],zero,xmm2[15],zero
; AVX2-NEXT:    vpmullw %ymm2, %ymm0, %ymm3
; AVX2-NEXT:    vpbroadcastw {{.*#+}} ymm2 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
; AVX2-NEXT:    vpand %ymm2, %ymm3, %ymm3
; AVX2-NEXT:    vextracti128 $1, %ymm3, %xmm4
; AVX2-NEXT:    vpackuswb %xmm4, %xmm3, %xmm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm4
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero,xmm4[8],zero,xmm4[9],zero,xmm4[10],zero,xmm4[11],zero,xmm4[12],zero,xmm4[13],zero,xmm4[14],zero,xmm4[15],zero
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpand %ymm2, %ymm4, %ymm4
; AVX2-NEXT:    vextracti128 $1, %ymm4, %xmm5
; AVX2-NEXT:    vpackuswb %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpxor %xmm3, %xmm4, %xmm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm4
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero,xmm4[8],zero,xmm4[9],zero,xmm4[10],zero,xmm4[11],zero,xmm4[12],zero,xmm4[13],zero,xmm4[14],zero,xmm4[15],zero
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpand %ymm2, %ymm4, %ymm4
; AVX2-NEXT:    vextracti128 $1, %ymm4, %xmm5
; AVX2-NEXT:    vpackuswb %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm5
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm5 = xmm5[0],zero,xmm5[1],zero,xmm5[2],zero,xmm5[3],zero,xmm5[4],zero,xmm5[5],zero,xmm5[6],zero,xmm5[7],zero,xmm5[8],zero,xmm5[9],zero,xmm5[10],zero,xmm5[11],zero,xmm5[12],zero,xmm5[13],zero,xmm5[14],zero,xmm5[15],zero
; AVX2-NEXT:    vpmullw %ymm5, %ymm0, %ymm5
; AVX2-NEXT:    vpand %ymm2, %ymm5, %ymm5
; AVX2-NEXT:    vextracti128 $1, %ymm5, %xmm6
; AVX2-NEXT:    vpackuswb %xmm6, %xmm5, %xmm5
; AVX2-NEXT:    vpxor %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpxor %xmm4, %xmm3, %xmm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm4
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero,xmm4[8],zero,xmm4[9],zero,xmm4[10],zero,xmm4[11],zero,xmm4[12],zero,xmm4[13],zero,xmm4[14],zero,xmm4[15],zero
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpand %ymm2, %ymm4, %ymm4
; AVX2-NEXT:    vextracti128 $1, %ymm4, %xmm5
; AVX2-NEXT:    vpackuswb %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm5
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm5 = xmm5[0],zero,xmm5[1],zero,xmm5[2],zero,xmm5[3],zero,xmm5[4],zero,xmm5[5],zero,xmm5[6],zero,xmm5[7],zero,xmm5[8],zero,xmm5[9],zero,xmm5[10],zero,xmm5[11],zero,xmm5[12],zero,xmm5[13],zero,xmm5[14],zero,xmm5[15],zero
; AVX2-NEXT:    vpmullw %ymm5, %ymm0, %ymm5
; AVX2-NEXT:    vpand %ymm2, %ymm5, %ymm5
; AVX2-NEXT:    vextracti128 $1, %ymm5, %xmm6
; AVX2-NEXT:    vpackuswb %xmm6, %xmm5, %xmm5
; AVX2-NEXT:    vpxor %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm5
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm5 = xmm5[0],zero,xmm5[1],zero,xmm5[2],zero,xmm5[3],zero,xmm5[4],zero,xmm5[5],zero,xmm5[6],zero,xmm5[7],zero,xmm5[8],zero,xmm5[9],zero,xmm5[10],zero,xmm5[11],zero,xmm5[12],zero,xmm5[13],zero,xmm5[14],zero,xmm5[15],zero
; AVX2-NEXT:    vpmullw %ymm5, %ymm0, %ymm5
; AVX2-NEXT:    vpand %ymm2, %ymm5, %ymm5
; AVX2-NEXT:    vextracti128 $1, %ymm5, %xmm6
; AVX2-NEXT:    vpackuswb %xmm6, %xmm5, %xmm5
; AVX2-NEXT:    vpxor %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpxor %xmm4, %xmm3, %xmm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX2-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpand %ymm2, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpxor %xmm0, %xmm3, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v16i8:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm2
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero,xmm2[8],zero,xmm2[9],zero,xmm2[10],zero,xmm2[11],zero,xmm2[12],zero,xmm2[13],zero,xmm2[14],zero,xmm2[15],zero
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm3
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm3 = xmm3[0],zero,xmm3[1],zero,xmm3[2],zero,xmm3[3],zero,xmm3[4],zero,xmm3[5],zero,xmm3[6],zero,xmm3[7],zero,xmm3[8],zero,xmm3[9],zero,xmm3[10],zero,xmm3[11],zero,xmm3[12],zero,xmm3[13],zero,xmm3[14],zero,xmm3[15],zero
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm3
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm3 = xmm3[0],zero,xmm3[1],zero,xmm3[2],zero,xmm3[3],zero,xmm3[4],zero,xmm3[5],zero,xmm3[6],zero,xmm3[7],zero,xmm3[8],zero,xmm3[9],zero,xmm3[10],zero,xmm3[11],zero,xmm3[12],zero,xmm3[13],zero,xmm3[14],zero,xmm3[15],zero
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm4
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero,xmm4[8],zero,xmm4[9],zero,xmm4[10],zero,xmm4[11],zero,xmm4[12],zero,xmm4[13],zero,xmm4[14],zero,xmm4[15],zero
; AVX512-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm2
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero,xmm2[8],zero,xmm2[9],zero,xmm2[10],zero,xmm2[11],zero,xmm2[12],zero,xmm2[13],zero,xmm2[14],zero,xmm2[15],zero
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm3
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm3 = xmm3[0],zero,xmm3[1],zero,xmm3[2],zero,xmm3[3],zero,xmm3[4],zero,xmm3[5],zero,xmm3[6],zero,xmm3[7],zero,xmm3[8],zero,xmm3[9],zero,xmm3[10],zero,xmm3[11],zero,xmm3[12],zero,xmm3[13],zero,xmm3[14],zero,xmm3[15],zero
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm2
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero,xmm2[8],zero,xmm2[9],zero,xmm2[10],zero,xmm2[11],zero,xmm2[12],zero,xmm2[13],zero,xmm2[14],zero,xmm2[15],zero
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX512-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
; AVX512-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
; AVX512-NEXT:    vpmovdb %zmm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %res = call <16 x i8> @llvm.clmul.v16i8(<16 x i8> %a, <16 x i8> %b)
  ret <16 x i8> %res
}

define <8 x i16> @clmul_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; SSE2-LABEL: clmul_v8i16:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [1,1,1,1,1,1,1,1]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pmullw %xmm0, %xmm3
; SSE2-NEXT:    pxor %xmm2, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pxor %xmm2, %xmm4
; SSE2-NEXT:    pxor %xmm3, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pxor %xmm2, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [64,64,64,64,64,64,64,64]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pmullw %xmm0, %xmm3
; SSE2-NEXT:    pxor %xmm5, %xmm3
; SSE2-NEXT:    pxor %xmm4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [256,256,256,256,256,256,256,256]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pxor %xmm2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [512,512,512,512,512,512,512,512]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pxor %xmm4, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    pxor %xmm5, %xmm2
; SSE2-NEXT:    pxor %xmm3, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [2048,2048,2048,2048,2048,2048,2048,2048]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pmullw %xmm0, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pxor %xmm3, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pmullw %xmm0, %xmm3
; SSE2-NEXT:    pxor %xmm4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [16384,16384,16384,16384,16384,16384,16384,16384]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pxor %xmm3, %xmm4
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    pmullw %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm4, %xmm0
; SSE2-NEXT:    pxor %xmm2, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmul_v8i16:
; SSE42:       # %bb.0:
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm2 = [2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm3 = [1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pmullw %xmm0, %xmm3
; SSE42-NEXT:    pxor %xmm2, %xmm3
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm2 = [4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm4 = [8,8,8,8,8,8,8,8]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    pmullw %xmm0, %xmm4
; SSE42-NEXT:    pxor %xmm2, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm5 = [32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm1, %xmm5
; SSE42-NEXT:    pmullw %xmm0, %xmm5
; SSE42-NEXT:    pxor %xmm2, %xmm5
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm3 = [64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pmullw %xmm0, %xmm3
; SSE42-NEXT:    pxor %xmm5, %xmm3
; SSE42-NEXT:    pxor %xmm4, %xmm3
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [256,256,256,256,256,256,256,256]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    pmullw %xmm0, %xmm4
; SSE42-NEXT:    pxor %xmm2, %xmm4
; SSE42-NEXT:    movdqa {{.*#+}} xmm5 = [512,512,512,512,512,512,512,512]
; SSE42-NEXT:    pand %xmm1, %xmm5
; SSE42-NEXT:    pmullw %xmm0, %xmm5
; SSE42-NEXT:    pxor %xmm4, %xmm5
; SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    pxor %xmm5, %xmm2
; SSE42-NEXT:    pxor %xmm3, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [2048,2048,2048,2048,2048,2048,2048,2048]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pmullw %xmm0, %xmm3
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    pmullw %xmm0, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pmullw %xmm0, %xmm3
; SSE42-NEXT:    pxor %xmm4, %xmm3
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [16384,16384,16384,16384,16384,16384,16384,16384]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    pmullw %xmm0, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NEXT:    pmullw %xmm1, %xmm0
; SSE42-NEXT:    pxor %xmm4, %xmm0
; SSE42-NEXT:    pxor %xmm2, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmul_v8i16:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX2-NEXT:    vmovq %xmm5, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,u,u,u,u,u,u,u,u,16,17,20,21,24,25,28,29,u,u,u,u,u,u,u,u]
; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
; AVX2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v8i16:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX512-NEXT:    vmovq %xmm5, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %res = call <8 x i16> @llvm.clmul.v8i16(<8 x i16> %a, <8 x i16> %b)
  ret <8 x i16> %res
}

define <4 x i32> @clmul_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmul_v4i32:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $40, %rsp
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [286331153,286331153,286331153,286331153]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [572662306,572662306,572662306,572662306]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm7 = xmm5[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm9[0],xmm1[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2290649224,2290649224,2290649224,2290649224]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [1145324612,1145324612,1145324612,1145324612]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm14
; SSE2-NOPCLMUL-NEXT:    pand %xmm13, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm14[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm13, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm0
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm15 = xmm11[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm13
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm13 = xmm13[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm13[0],xmm0[1],xmm13[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm7[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm8 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm13
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm13 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm13 = xmm13[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm13[0],xmm2[1],xmm13[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm13 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm13 = xmm13[0],xmm1[0],xmm13[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm7 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm7 = xmm7[0],xmm6[0],xmm7[1],xmm6[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm13, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm13 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm5[0],xmm2[1],xmm5[1]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm8 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm2[0],xmm5[1],xmm2[1]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm8 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm14[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm0[0],xmm4[1],xmm0[1]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm5[0],xmm0[1],xmm5[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    addq $40, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmul_v4i32:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [286331153,286331153,286331153,286331153]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [572662306,572662306,572662306,572662306]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm2, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE42-NOPCLMUL-NEXT:    pand %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm12
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm14
; SSE42-NOPCLMUL-NEXT:    pxor %xmm7, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [2290649224,2290649224,2290649224,2290649224]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1145324612,1145324612,1145324612,1145324612]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm15
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm13
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm1, %xmm13
; SSE42-NOPCLMUL-NEXT:    pxor %xmm15, %xmm13
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm8, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm6, %xmm13
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm2, %xmm12
; SSE42-NOPCLMUL-NEXT:    pxor %xmm15, %xmm12
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm6
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm1, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm15
; SSE42-NOPCLMUL-NEXT:    pxor %xmm6, %xmm15
; SSE42-NOPCLMUL-NEXT:    pxor %xmm12, %xmm15
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm15
; SSE42-NOPCLMUL-NEXT:    por %xmm13, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm1, %xmm8
; SSE42-NOPCLMUL-NEXT:    pxor %xmm5, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm2, %xmm5
; SSE42-NOPCLMUL-NEXT:    pxor %xmm5, %xmm14
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm14
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm9
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm10
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm10, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm9, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm14, %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm15, %xmm0
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmul_v4i32:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm1
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmul_v4i32:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm2
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,1,1]
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE42-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[3,3,3,3]
; SSE42-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $2, %eax, %xmm2
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[3,3,3,3]
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm0
; SSE42-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $3, %eax, %xmm2
; SSE42-PCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmul_v4i32:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v4i32:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpshufd {{.*#+}} xmm3 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX512-NEXT:    retq
  %res = call <4 x i32> @llvm.clmul.v4i32(<4 x i32> %a, <4 x i32> %b)
  ret <4 x i32> %res
}

define <2 x i64> @clmul_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
; SSE-NOPCLMUL-LABEL: clmul_v2i64:
; SSE-NOPCLMUL:       # %bb.0:
; SSE-NOPCLMUL-NEXT:    subq $24, %rsp
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1229782938247303441,1229782938247303441]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE-NOPCLMUL-NEXT:    pand %xmm3, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2459565876494606882,2459565876494606882]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE-NOPCLMUL-NEXT:    pand %xmm6, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm0
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE-NOPCLMUL-NEXT:    pand %xmm6, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm8
; SSE-NOPCLMUL-NEXT:    pand %xmm3, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm6
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm5
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm5, %xmm4
; SSE-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [9838263505978427528,9838263505978427528]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm9
; SSE-NOPCLMUL-NEXT:    pand %xmm6, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [4919131752989213764,4919131752989213764]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm12
; SSE-NOPCLMUL-NEXT:    pand %xmm3, %xmm12
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm0
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm15
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm5
; SSE-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    pand %xmm6, %xmm11
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm14
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm14
; SSE-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm10
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm10
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm13
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm13
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm13
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm13
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    paddq %xmm13, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm5, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, (%rsp) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm4
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm5
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm5, %xmm4
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm5
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm13
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm13
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm5, %xmm13
; SSE-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm5
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm6
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm6
; SSE-NOPCLMUL-NEXT:    paddq %xmm5, %xmm6
; SSE-NOPCLMUL-NEXT:    pxor %xmm13, %xmm6
; SSE-NOPCLMUL-NEXT:    pxor %xmm4, %xmm6
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE-NOPCLMUL-NEXT:    por %xmm0, %xmm6
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq %xmm7, %xmm5
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm5, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm14
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm13
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm13
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm7
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm8
; SSE-NOPCLMUL-NEXT:    paddq %xmm5, %xmm8
; SSE-NOPCLMUL-NEXT:    pxor %xmm4, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm5
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm5, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm13
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm13
; SSE-NOPCLMUL-NEXT:    paddq %xmm13, %xmm7
; SSE-NOPCLMUL-NEXT:    pxor %xmm4, %xmm7
; SSE-NOPCLMUL-NEXT:    pxor %xmm8, %xmm7
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm1 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm10
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm10
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE-NOPCLMUL-NEXT:    paddq %xmm10, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm15
; SSE-NOPCLMUL-NEXT:    paddq %xmm15, %xmm9
; SSE-NOPCLMUL-NEXT:    pxor %xmm2, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm3
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm12
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE-NOPCLMUL-NEXT:    paddq %xmm3, %xmm12
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm11
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm11
; SSE-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm11
; SSE-NOPCLMUL-NEXT:    por %xmm7, %xmm11
; SSE-NOPCLMUL-NEXT:    por %xmm6, %xmm11
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm0
; SSE-NOPCLMUL-NEXT:    addq $24, %rsp
; SSE-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: clmul_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmul_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    retq
  %res = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %a, <2 x i64> %b)
  ret <2 x i64> %res
}

define <16 x i8> @clmulr_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
; SSE2-LABEL: clmulr_v16i8:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NEXT:    psrlw $4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NEXT:    pand %xmm2, %xmm3
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm3, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NEXT:    psrlw $2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm4, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    psrlw $1, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm5, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NEXT:    psrlw $4, %xmm5
; SSE2-NEXT:    pand %xmm2, %xmm5
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    psllw $4, %xmm1
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    psllw $2, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm8
; SSE2-NEXT:    psrlw $1, %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    paddb %xmm5, %xmm5
; SSE2-NEXT:    por %xmm5, %xmm1
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    movdqa %xmm9, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [255,255,255,255,255,255,255,255]
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm9 = xmm9[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    packuswb %xmm10, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm10 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm5, %xmm10
; SSE2-NEXT:    movdqa %xmm10, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm10 = xmm10[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    packuswb %xmm11, %xmm10
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm8 = xmm8[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    packuswb %xmm11, %xmm8
; SSE2-NEXT:    pxor %xmm10, %xmm8
; SSE2-NEXT:    pxor %xmm9, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm10 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm5, %xmm10
; SSE2-NEXT:    movdqa %xmm10, %xmm9
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm9 = xmm9[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm10 = xmm10[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    packuswb %xmm9, %xmm10
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    movdqa %xmm9, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm9 = xmm9[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    packuswb %xmm11, %xmm9
; SSE2-NEXT:    pxor %xmm10, %xmm9
; SSE2-NEXT:    pxor %xmm8, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm8 = xmm8[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    packuswb %xmm10, %xmm8
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm1
; SSE2-NEXT:    pand %xmm7, %xmm1
; SSE2-NEXT:    packuswb %xmm10, %xmm1
; SSE2-NEXT:    pxor %xmm8, %xmm1
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm8
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm8 = xmm8[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm5, %xmm0
; SSE2-NEXT:    pand %xmm7, %xmm0
; SSE2-NEXT:    packuswb %xmm8, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm9, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $1, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulr_v16i8:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NEXT:    pand %xmm4, %xmm0
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NEXT:    pshufb %xmm0, %xmm6
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pshufb %xmm2, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pshufb %xmm2, %xmm6
; SSE42-NEXT:    movdqa {{.*#+}} xmm7 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm6, %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm7, %xmm8
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm7, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm10
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm10
; SSE42-NEXT:    psllw $8, %xmm10
; SSE42-NEXT:    por %xmm8, %xmm10
; SSE42-NEXT:    movdqa {{.*#+}} xmm7 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm6, %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm7, %xmm8
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm7, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm7
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm7
; SSE42-NEXT:    psllw $8, %xmm7
; SSE42-NEXT:    por %xmm8, %xmm7
; SSE42-NEXT:    pxor %xmm10, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm6, %xmm8
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm8, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm8, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm8
; SSE42-NEXT:    psllw $8, %xmm8
; SSE42-NEXT:    por %xmm9, %xmm8
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm6, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm6
; SSE42-NEXT:    psllw $8, %xmm6
; SSE42-NEXT:    por %xmm9, %xmm6
; SSE42-NEXT:    pxor %xmm8, %xmm6
; SSE42-NEXT:    pxor %xmm7, %xmm6
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm1, %xmm8
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm1, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm1
; SSE42-NEXT:    psllw $8, %xmm1
; SSE42-NEXT:    por %xmm8, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm7, %xmm8
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm8, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm8, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm8
; SSE42-NEXT:    psllw $8, %xmm8
; SSE42-NEXT:    por %xmm9, %xmm8
; SSE42-NEXT:    pxor %xmm1, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm1, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm1, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm1
; SSE42-NEXT:    psllw $8, %xmm1
; SSE42-NEXT:    por %xmm9, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    pxor %xmm6, %xmm1
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NEXT:    pmullw %xmm7, %xmm6
; SSE42-NEXT:    pand %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm7, %xmm2
; SSE42-NEXT:    pmaddubsw %xmm2, %xmm5
; SSE42-NEXT:    psllw $8, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    pxor %xmm1, %xmm5
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    pshufb %xmm1, %xmm3
; SSE42-NEXT:    psrlw $4, %xmm5
; SSE42-NEXT:    pand %xmm4, %xmm5
; SSE42-NEXT:    pshufb %xmm5, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulr_v16i8:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm2
; AVX2-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpxor %ymm3, %ymm2, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpxor %ymm3, %ymm2, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1
; AVX2-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpxor %ymm0, %ymm2, %ymm0
; AVX2-NEXT:    vpsrlw $7, %ymm0, %ymm0
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v16i8:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
; AVX512-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm1
; AVX512-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
; AVX512-NEXT:    vpsrlw $7, %ymm0, %ymm0
; AVX512-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
; AVX512-NEXT:    vpmovdb %zmm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %a.ext = zext <16 x i8> %a to <16 x i16>
  %b.ext = zext <16 x i8> %b to <16 x i16>
  %clmul = call <16 x i16> @llvm.clmul.v16i16(<16 x i16> %a.ext, <16 x i16> %b.ext)
  %res.ext = lshr <16 x i16> %clmul, splat (i16 7)
  %res = trunc <16 x i16> %res.ext to <16 x i8>
  ret <16 x i8> %res
}

define <8 x i16> @clmulr_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; SSE2-LABEL: clmulr_v8i16:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NEXT:    psrlw $8, %xmm2
; SSE2-NEXT:    psllw $8, %xmm0
; SSE2-NEXT:    por %xmm2, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NEXT:    psrlw $4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NEXT:    pand %xmm2, %xmm3
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm3, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NEXT:    psrlw $2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm4, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    psrlw $1, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm5, %xmm0
; SSE2-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NEXT:    psrlw $8, %xmm5
; SSE2-NEXT:    psllw $8, %xmm1
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm5
; SSE2-NEXT:    psllw $4, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    psllw $2, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NEXT:    psrlw $1, %xmm6
; SSE2-NEXT:    movdqa %xmm6, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    paddb %xmm5, %xmm5
; SSE2-NEXT:    por %xmm5, %xmm1
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [1,1,1,1,1,1,1,1]
; SSE2-NEXT:    pand %xmm6, %xmm9
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pxor %xmm8, %xmm9
; SSE2-NEXT:    pxor %xmm7, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm7, %xmm8
; SSE2-NEXT:    pxor %xmm9, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [64,64,64,64,64,64,64,64]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pxor %xmm7, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [128,128,128,128,128,128,128,128]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    pxor %xmm9, %xmm7
; SSE2-NEXT:    pxor %xmm8, %xmm7
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [512,512,512,512,512,512,512,512]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm6, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pxor %xmm8, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2048,2048,2048,2048,2048,2048,2048,2048]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm6, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pxor %xmm8, %xmm6
; SSE2-NEXT:    pxor %xmm7, %xmm6
; SSE2-NEXT:    psllw $8, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    pmullw %xmm0, %xmm1
; SSE2-NEXT:    pxor %xmm8, %xmm1
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NEXT:    pmullw %xmm5, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm6, %xmm0
; SSE2-NEXT:    psrlw $8, %xmm0
; SSE2-NEXT:    por %xmm7, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $1, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulr_v8i16:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm5 = [1,0,3,2,5,4,7,6,9,8,11,10,13,12,15,14]
; SSE42-NEXT:    pshufb %xmm5, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    pand %xmm4, %xmm0
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm0, %xmm7
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pshufb %xmm2, %xmm6
; SSE42-NEXT:    por %xmm7, %xmm6
; SSE42-NEXT:    pshufb %xmm5, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm7
; SSE42-NEXT:    psrlw $4, %xmm7
; SSE42-NEXT:    pand %xmm4, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    pshufb %xmm7, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm7 = [2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm2, %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm9 = [1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm7, %xmm9
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm7 = [4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm2, %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm8 = [8,8,8,8,8,8,8,8]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm7, %xmm8
; SSE42-NEXT:    pxor %xmm9, %xmm8
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm9 = [32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm7, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm1, %xmm9
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm10 = [64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm7, %xmm10
; SSE42-NEXT:    pmullw %xmm6, %xmm10
; SSE42-NEXT:    pxor %xmm9, %xmm10
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm1 = [128,128,128,128,128,128,128,128]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pxor %xmm10, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [256,256,256,256,256,256,256,256]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm9 = [512,512,512,512,512,512,512,512]
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm8, %xmm9
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm9, %xmm8
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NEXT:    pmullw %xmm6, %xmm2
; SSE42-NEXT:    pxor %xmm8, %xmm2
; SSE42-NEXT:    pxor %xmm1, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE42-NEXT:    pand %xmm7, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm1, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16384,16384,16384,16384,16384,16384,16384,16384]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pxor %xmm1, %xmm7
; SSE42-NEXT:    pxor %xmm2, %xmm7
; SSE42-NEXT:    pshufb %xmm5, %xmm7
; SSE42-NEXT:    movdqa %xmm7, %xmm1
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    pshufb %xmm1, %xmm3
; SSE42-NEXT:    psrlw $4, %xmm7
; SSE42-NEXT:    pand %xmm4, %xmm7
; SSE42-NEXT:    pshufb %xmm7, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulr_v8i16:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX2-NEXT:    vmovq %xmm5, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpsrld $15, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackusdw %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v8i16:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX512-NEXT:    vmovq %xmm5, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpsrld $15, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %a.ext = zext <8 x i16> %a to <8 x i32>
  %b.ext = zext <8 x i16> %b to <8 x i32>
  %clmul = call <8 x i32> @llvm.clmul.v8i32(<8 x i32> %a.ext, <8 x i32> %b.ext)
  %res.ext = lshr <8 x i32> %clmul, splat (i32 15)
  %res = trunc <8 x i32> %res.ext to <8 x i16>
  ret <8 x i16> %res
}

define <4 x i32> @clmulr_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulr_v4i32:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $72, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm5 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm15
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm15
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    paddb %xmm5, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [286331153,286331153,286331153,286331153]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [1145324612,1145324612,1145324612,1145324612]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm2[0],xmm6[1],xmm2[1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm15
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm15[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm2[0],xmm9[1],xmm2[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [572662306,572662306,572662306,572662306]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm14 = xmm7[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm14
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm14 = xmm14[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm14[0],xmm11[1],xmm14[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [2290649224,2290649224,2290649224,2290649224]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm14 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm5[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm0[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm14 = xmm14[0],xmm9[0],xmm14[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm14
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm14
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm13
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm11 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm12[0],xmm1[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm12[0],xmm9[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm8 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm1[0],xmm6[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm7[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm9[0],xmm1[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm9[0],xmm4[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm13[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm9[0],xmm1[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pshufd $232, {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    # xmm2 = mem[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm7[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NOPCLMUL-NEXT:    por {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    addq $72, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulr_v4i32:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [3,2,1,0,7,6,5,4,11,10,9,8,15,14,13,12]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm4, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm7
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm7
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm6
; SSE42-NOPCLMUL-NEXT:    por %xmm7, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [286331153,286331153,286331153,286331153]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm7
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm8
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm8, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [572662306,572662306,572662306,572662306]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm10
; SSE42-NOPCLMUL-NEXT:    pand %xmm15, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm7, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    pand %xmm15, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm14
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2290649224,2290649224,2290649224,2290649224]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm0, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [1145324612,1145324612,1145324612,1145324612]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm11
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm11
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm6
; SSE42-NOPCLMUL-NEXT:    pand %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm6, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm15, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm11
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm7, %xmm14
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm11
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm6, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm15
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm15
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm15
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm15
; SSE42-NOPCLMUL-NEXT:    por %xmm0, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm12
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm12
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm3, %xmm9
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm10, %xmm6
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm10
; SSE42-NOPCLMUL-NEXT:    pxor %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm7, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm12
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm12
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm12
; SSE42-NOPCLMUL-NEXT:    pxor %xmm6, %xmm9
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm7, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm9, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm12, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm15, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[3,2,1,0,7,6,5,4,11,10,9,8,15,14,13,12]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm13
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm5
; SSE42-NOPCLMUL-NEXT:    por %xmm13, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulr_v4i32:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm3
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm5[0],xmm3[1],xmm5[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm3 = xmm3[0],xmm2[0]
; SSE2-PCLMUL-NEXT:    psrld $31, %xmm3
; SSE2-PCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm2[2],xmm4[3],xmm2[3]
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm5 = xmm5[2],xmm2[2],xmm5[3],xmm2[3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE2-PCLMUL-NEXT:    movq %xmm5, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm5 = xmm5[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm6 = xmm6[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm5, %xmm6
; SSE2-PCLMUL-NEXT:    movq %xmm6, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm5
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; SSE2-PCLMUL-NEXT:    pxor %xmm5, %xmm5
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm5 = xmm1[0],xmm5[1,2,3]
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm2 = xmm0[0],xmm2[1,2,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm5, %xmm2
; SSE2-PCLMUL-NEXT:    movq %xmm2, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm2
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm0
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm4[0]
; SSE2-PCLMUL-NEXT:    paddd %xmm2, %xmm2
; SSE2-PCLMUL-NEXT:    por %xmm3, %xmm2
; SSE2-PCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmulr_v4i32:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-PCLMUL-NEXT:    pmovzxdq {{.*#+}} xmm4 = xmm1[0],zero,xmm1[1],zero
; SSE42-PCLMUL-NEXT:    pmovzxdq {{.*#+}} xmm5 = xmm0[0],zero,xmm0[1],zero
; SSE42-PCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE42-PCLMUL-NEXT:    movdqa %xmm1, %xmm8
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm2
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm1[1,1,1,1]
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm0[1,1,1,1]
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm0[3,3,3,3]
; SSE42-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm13 = xmm1[3,3,3,3]
; SSE42-PCLMUL-NEXT:    psrlq $32, %xmm1
; SSE42-PCLMUL-NEXT:    psrlq $32, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm3
; SSE42-PCLMUL-NEXT:    movq %xmm3, %rax
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE42-PCLMUL-NEXT:    movq %xmm5, %rcx
; SSE42-PCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE42-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm6 = xmm6[2],xmm1[2],xmm6[3],xmm1[3]
; SSE42-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm7 = xmm7[2],xmm1[2],xmm7[3],xmm1[3]
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm6, %xmm7
; SSE42-PCLMUL-NEXT:    movq %xmm7, %rdx
; SSE42-PCLMUL-NEXT:    psrldq {{.*#+}} xmm8 = xmm8[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-PCLMUL-NEXT:    psrldq {{.*#+}} xmm9 = xmm9[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm8, %xmm9
; SSE42-PCLMUL-NEXT:    movq %xmm9, %rsi
; SSE42-PCLMUL-NEXT:    shrq $32, %rcx
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm12, %xmm10
; SSE42-PCLMUL-NEXT:    movd %ecx, %xmm1
; SSE42-PCLMUL-NEXT:    shrq $32, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $1, %eax, %xmm1
; SSE42-PCLMUL-NEXT:    shrq $32, %rdx
; SSE42-PCLMUL-NEXT:    pinsrd $2, %edx, %xmm1
; SSE42-PCLMUL-NEXT:    shrq $32, %rsi
; SSE42-PCLMUL-NEXT:    pinsrd $3, %esi, %xmm1
; SSE42-PCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE42-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm10[0],xmm2[1],xmm10[1]
; SSE42-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $2, %eax, %xmm2
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm11, %xmm13
; SSE42-PCLMUL-NEXT:    movq %xmm13, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $3, %eax, %xmm2
; SSE42-PCLMUL-NEXT:    psrld $31, %xmm2
; SSE42-PCLMUL-NEXT:    por %xmm1, %xmm2
; SSE42-PCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulr_v4i32:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpsrlq $32, %xmm1, %xmm2
; AVX2-NEXT:    vpsrlq $32, %xmm0, %xmm3
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpmovzxdq {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero
; AVX2-NEXT:    vpmovzxdq {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rcx
; AVX2-NEXT:    shrq $32, %rcx
; AVX2-NEXT:    vmovd %ecx, %xmm2
; AVX2-NEXT:    vpinsrd $1, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
; AVX2-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm3[2],xmm1[3],xmm3[3]
; AVX2-NEXT:    vpunpckhdq {{.*#+}} xmm3 = xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm3, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpsrldq {{.*#+}} xmm3 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpsrldq {{.*#+}} xmm4 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpaddd %xmm2, %xmm2, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
; AVX2-NEXT:    vpor %xmm2, %xmm0, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v4i32:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpsrlq $32, %xmm1, %xmm2
; AVX512-NEXT:    vpsrlq $32, %xmm0, %xmm3
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpmovzxdq {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero
; AVX512-NEXT:    vpmovzxdq {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rcx
; AVX512-NEXT:    shrq $32, %rcx
; AVX512-NEXT:    vmovd %ecx, %xmm2
; AVX512-NEXT:    vpinsrd $1, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpxor %xmm3, %xmm3, %xmm3
; AVX512-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm3[2],xmm1[3],xmm3[3]
; AVX512-NEXT:    vpunpckhdq {{.*#+}} xmm3 = xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm3, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpsrldq {{.*#+}} xmm3 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX512-NEXT:    vpsrldq {{.*#+}} xmm4 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX512-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpaddd %xmm2, %xmm2, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vpsrld $31, %xmm0, %xmm0
; AVX512-NEXT:    vpor %xmm2, %xmm0, %xmm0
; AVX512-NEXT:    retq
  %a.ext = zext <4 x i32> %a to <4 x i64>
  %b.ext = zext <4 x i32> %b to <4 x i64>
  %clmul = call <4 x i64> @llvm.clmul.v4i64(<4 x i64> %a.ext, <4 x i64> %b.ext)
  %res.ext = lshr <4 x i64> %clmul, splat (i64 31)
  %res = trunc <4 x i64> %res.ext to <4 x i32>
  ret <4 x i32> %res
}

define <2 x i64> @clmulr_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulr_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $152, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm8 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm8
; SSE2-NOPCLMUL-NEXT:    paddb %xmm8, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1229782938247303441,1229782938247303441]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm13 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm10
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    paddb %xmm13, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm13, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [4919131752989213764,4919131752989213764]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [2459565876494606882,2459565876494606882]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    paddq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [9838263505978427528,9838263505978427528]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    paddq %xmm12, %xmm15
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm15
; SSE2-NOPCLMUL-NEXT:    paddq %xmm11, %xmm14
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    paddq %xmm14, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm4
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm15, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm8, %xmm13
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm13
; SSE2-NOPCLMUL-NEXT:    por {{[-0-9]+}}(%r{{[sb]}}p), %xmm13 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm13 = xmm13[0],xmm2[0],xmm13[1],xmm2[1],xmm13[2],xmm2[2],xmm13[3],xmm2[3],xmm13[4],xmm2[4],xmm13[5],xmm2[5],xmm13[6],xmm2[6],xmm13[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm13[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    addq $152, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulr_v2i64:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    subq $24, %rsp
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [7,6,5,4,3,2,1,0,15,14,13,12,11,10,9,8]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm6, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1229782938247303441,1229782938247303441]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm9
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm6, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2459565876494606882,2459565876494606882]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm10
; SSE42-NOPCLMUL-NEXT:    pand %xmm6, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm0
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm5
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [9838263505978427528,9838263505978427528]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm11
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [4919131752989213764,4919131752989213764]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm13
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm15
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, (%rsp) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm6
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm4
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm4, %xmm8
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm12
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm14
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    paddq %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm15, %xmm8
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm6
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm6
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm6
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm6
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm0, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm12
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm7
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    paddq %xmm14, %xmm10
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm15
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm15
; SSE42-NOPCLMUL-NEXT:    paddq %xmm15, %xmm9
; SSE42-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm5 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm10
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm10
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm10, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm9, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE42-NOPCLMUL-NEXT:    paddq %xmm4, %xmm12
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE42-NOPCLMUL-NEXT:    paddq %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm11
; SSE42-NOPCLMUL-NEXT:    pxor %xmm7, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm13
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm1
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm13, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[7,6,5,4,3,2,1,0,15,14,13,12,11,10,9,8]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    addq $24, %rsp
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: clmulr_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-PCLMUL-NEXT:    punpckhqdq {{.*#+}} xmm1 = xmm1[1],xmm2[1]
; SSE-PCLMUL-NEXT:    paddq %xmm1, %xmm1
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    psrlq $63, %xmm0
; SSE-PCLMUL-NEXT:    por %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulr_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpckhqdq {{.*#+}} xmm1 = xmm0[1],xmm2[1]
; AVX2-NEXT:    vpaddq %xmm1, %xmm1, %xmm1
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    vpsrlq $63, %xmm0, %xmm0
; AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpckhqdq {{.*#+}} xmm1 = xmm0[1],xmm2[1]
; AVX512-NEXT:    vpaddq %xmm1, %xmm1, %xmm1
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    vpsrlq $63, %xmm0, %xmm0
; AVX512-NEXT:    vpor %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    retq
  %a.ext = zext <2 x i64> %a to <2 x i128>
  %b.ext = zext <2 x i64> %b to <2 x i128>
  %clmul = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %a.ext, <2 x i128> %b.ext)
  %res.ext = lshr <2 x i128> %clmul, splat (i128 63)
  %res = trunc <2 x i128> %res.ext to <2 x i64>
  ret <2 x i64> %res
}

define <16 x i8> @clmulh_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
; SSE2-LABEL: clmulh_v16i8:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NEXT:    psrlw $4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NEXT:    pand %xmm2, %xmm3
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm3, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NEXT:    psrlw $2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm4, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    psrlw $1, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm5, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NEXT:    psrlw $4, %xmm5
; SSE2-NEXT:    pand %xmm2, %xmm5
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    psllw $4, %xmm1
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    psllw $2, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm8
; SSE2-NEXT:    psrlw $1, %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    paddb %xmm5, %xmm5
; SSE2-NEXT:    por %xmm5, %xmm1
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    movdqa %xmm9, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [255,255,255,255,255,255,255,255]
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm9 = xmm9[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    packuswb %xmm10, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm10 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm5, %xmm10
; SSE2-NEXT:    movdqa %xmm10, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm10 = xmm10[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    packuswb %xmm11, %xmm10
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm8 = xmm8[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    packuswb %xmm11, %xmm8
; SSE2-NEXT:    pxor %xmm10, %xmm8
; SSE2-NEXT:    pxor %xmm9, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm10 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm5, %xmm10
; SSE2-NEXT:    movdqa %xmm10, %xmm9
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm9 = xmm9[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm10 = xmm10[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    packuswb %xmm9, %xmm10
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    movdqa %xmm9, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm9 = xmm9[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    packuswb %xmm11, %xmm9
; SSE2-NEXT:    pxor %xmm10, %xmm9
; SSE2-NEXT:    pxor %xmm8, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm8 = xmm8[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    packuswb %xmm10, %xmm8
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm1
; SSE2-NEXT:    pand %xmm7, %xmm1
; SSE2-NEXT:    packuswb %xmm10, %xmm1
; SSE2-NEXT:    pxor %xmm8, %xmm1
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm8
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm8 = xmm8[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm5, %xmm0
; SSE2-NEXT:    pand %xmm7, %xmm0
; SSE2-NEXT:    packuswb %xmm8, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm9, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $1, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    psrlw $1, %xmm0
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulh_v16i8:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NEXT:    pand %xmm4, %xmm0
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NEXT:    pshufb %xmm0, %xmm6
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pshufb %xmm2, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pshufb %xmm2, %xmm6
; SSE42-NEXT:    movdqa {{.*#+}} xmm7 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm6, %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm7, %xmm8
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm7, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm10
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm10
; SSE42-NEXT:    psllw $8, %xmm10
; SSE42-NEXT:    por %xmm8, %xmm10
; SSE42-NEXT:    movdqa {{.*#+}} xmm7 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm6, %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm7, %xmm8
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm7, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm7
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm7
; SSE42-NEXT:    psllw $8, %xmm7
; SSE42-NEXT:    por %xmm8, %xmm7
; SSE42-NEXT:    pxor %xmm10, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm6, %xmm8
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm8, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm8, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm8
; SSE42-NEXT:    psllw $8, %xmm8
; SSE42-NEXT:    por %xmm9, %xmm8
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm6, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm6
; SSE42-NEXT:    psllw $8, %xmm6
; SSE42-NEXT:    por %xmm9, %xmm6
; SSE42-NEXT:    pxor %xmm8, %xmm6
; SSE42-NEXT:    pxor %xmm7, %xmm6
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm1, %xmm8
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm1, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm1
; SSE42-NEXT:    psllw $8, %xmm1
; SSE42-NEXT:    por %xmm8, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm7, %xmm8
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm8, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm8, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm8
; SSE42-NEXT:    psllw $8, %xmm8
; SSE42-NEXT:    por %xmm9, %xmm8
; SSE42-NEXT:    pxor %xmm1, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm1, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm1, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm1
; SSE42-NEXT:    psllw $8, %xmm1
; SSE42-NEXT:    por %xmm9, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    pxor %xmm6, %xmm1
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NEXT:    pmullw %xmm7, %xmm6
; SSE42-NEXT:    pand %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm7, %xmm2
; SSE42-NEXT:    pmaddubsw %xmm2, %xmm5
; SSE42-NEXT:    psllw $8, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    pxor %xmm1, %xmm5
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    pshufb %xmm1, %xmm3
; SSE42-NEXT:    psrlw $4, %xmm5
; SSE42-NEXT:    pand %xmm4, %xmm5
; SSE42-NEXT:    pshufb %xmm5, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    psrlw $1, %xmm0
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulh_v16i8:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm2
; AVX2-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpxor %ymm3, %ymm2, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpxor %ymm3, %ymm2, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1
; AVX2-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpxor %ymm0, %ymm2, %ymm0
; AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v16i8:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
; AVX512-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm1
; AVX512-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
; AVX512-NEXT:    vpsrlw $8, %ymm0, %ymm0
; AVX512-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
; AVX512-NEXT:    vpmovdb %zmm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %a.ext = zext <16 x i8> %a to <16 x i16>
  %b.ext = zext <16 x i8> %b to <16 x i16>
  %clmul = call <16 x i16> @llvm.clmul.v16i16(<16 x i16> %a.ext, <16 x i16> %b.ext)
  %res.ext = lshr <16 x i16> %clmul, splat (i16 8)
  %res = trunc <16 x i16> %res.ext to <16 x i8>
  ret <16 x i8> %res
}

define <8 x i16> @clmulh_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; SSE2-LABEL: clmulh_v8i16:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NEXT:    psrlw $8, %xmm2
; SSE2-NEXT:    psllw $8, %xmm0
; SSE2-NEXT:    por %xmm2, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NEXT:    psrlw $4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NEXT:    pand %xmm2, %xmm3
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm3, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NEXT:    psrlw $2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm4, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    psrlw $1, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm5, %xmm0
; SSE2-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NEXT:    psrlw $8, %xmm5
; SSE2-NEXT:    psllw $8, %xmm1
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm5
; SSE2-NEXT:    psllw $4, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    psllw $2, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NEXT:    psrlw $1, %xmm6
; SSE2-NEXT:    movdqa %xmm6, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    paddb %xmm5, %xmm5
; SSE2-NEXT:    por %xmm5, %xmm1
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [1,1,1,1,1,1,1,1]
; SSE2-NEXT:    pand %xmm6, %xmm9
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pxor %xmm8, %xmm9
; SSE2-NEXT:    pxor %xmm7, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm7, %xmm8
; SSE2-NEXT:    pxor %xmm9, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [64,64,64,64,64,64,64,64]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pxor %xmm7, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [128,128,128,128,128,128,128,128]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    pxor %xmm9, %xmm7
; SSE2-NEXT:    pxor %xmm8, %xmm7
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [512,512,512,512,512,512,512,512]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm6, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pxor %xmm8, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2048,2048,2048,2048,2048,2048,2048,2048]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm6, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pxor %xmm8, %xmm6
; SSE2-NEXT:    pxor %xmm7, %xmm6
; SSE2-NEXT:    psllw $8, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    pmullw %xmm0, %xmm1
; SSE2-NEXT:    pxor %xmm8, %xmm1
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NEXT:    pmullw %xmm5, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm6, %xmm0
; SSE2-NEXT:    psrlw $8, %xmm0
; SSE2-NEXT:    por %xmm7, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $1, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    psrlw $1, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulh_v8i16:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm5 = [1,0,3,2,5,4,7,6,9,8,11,10,13,12,15,14]
; SSE42-NEXT:    pshufb %xmm5, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    pand %xmm4, %xmm0
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm0, %xmm7
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pshufb %xmm2, %xmm6
; SSE42-NEXT:    por %xmm7, %xmm6
; SSE42-NEXT:    pshufb %xmm5, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm7
; SSE42-NEXT:    psrlw $4, %xmm7
; SSE42-NEXT:    pand %xmm4, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    pshufb %xmm7, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm7 = [2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm2, %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm9 = [1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm7, %xmm9
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm7 = [4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm2, %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm8 = [8,8,8,8,8,8,8,8]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm7, %xmm8
; SSE42-NEXT:    pxor %xmm9, %xmm8
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm9 = [32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm7, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm1, %xmm9
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm10 = [64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm7, %xmm10
; SSE42-NEXT:    pmullw %xmm6, %xmm10
; SSE42-NEXT:    pxor %xmm9, %xmm10
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm1 = [128,128,128,128,128,128,128,128]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pxor %xmm10, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [256,256,256,256,256,256,256,256]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm9 = [512,512,512,512,512,512,512,512]
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm8, %xmm9
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm9, %xmm8
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NEXT:    pmullw %xmm6, %xmm2
; SSE42-NEXT:    pxor %xmm8, %xmm2
; SSE42-NEXT:    pxor %xmm1, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE42-NEXT:    pand %xmm7, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm1, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16384,16384,16384,16384,16384,16384,16384,16384]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pxor %xmm1, %xmm7
; SSE42-NEXT:    pxor %xmm2, %xmm7
; SSE42-NEXT:    pshufb %xmm5, %xmm7
; SSE42-NEXT:    movdqa %xmm7, %xmm1
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    pshufb %xmm1, %xmm3
; SSE42-NEXT:    psrlw $4, %xmm7
; SSE42-NEXT:    pand %xmm4, %xmm7
; SSE42-NEXT:    pshufb %xmm7, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    psrlw $1, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulh_v8i16:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX2-NEXT:    vmovq %xmm5, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackusdw %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v8i16:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX512-NEXT:    vmovq %xmm5, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpsrld $16, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %a.ext = zext <8 x i16> %a to <8 x i32>
  %b.ext = zext <8 x i16> %b to <8 x i32>
  %clmul = call <8 x i32> @llvm.clmul.v8i32(<8 x i32> %a.ext, <8 x i32> %b.ext)
  %res.ext = lshr <8 x i32> %clmul, splat (i32 16)
  %res = trunc <8x i32> %res.ext to <8 x i16>
  ret <8 x i16> %res
}

define <4 x i32> @clmulh_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulh_v4i32:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $72, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm5 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm15
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm15
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    paddb %xmm5, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [286331153,286331153,286331153,286331153]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [1145324612,1145324612,1145324612,1145324612]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm2[0],xmm6[1],xmm2[1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm15
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm15[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm2[0],xmm9[1],xmm2[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [572662306,572662306,572662306,572662306]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm14 = xmm7[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm14
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm14 = xmm14[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm14[0],xmm11[1],xmm14[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [2290649224,2290649224,2290649224,2290649224]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm14 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm5[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm0[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm14 = xmm14[0],xmm9[0],xmm14[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm14
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm14
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm13
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm11 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm12[0],xmm1[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm12[0],xmm9[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm8 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm1[0],xmm6[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm7[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm9[0],xmm1[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm9[0],xmm4[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm13[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm9[0],xmm1[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pshufd $232, {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    # xmm2 = mem[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm7[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NOPCLMUL-NEXT:    por {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrld $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    addq $72, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulh_v4i32:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [3,2,1,0,7,6,5,4,11,10,9,8,15,14,13,12]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm4, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm7
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm7
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm6
; SSE42-NOPCLMUL-NEXT:    por %xmm7, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [286331153,286331153,286331153,286331153]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm7
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm8
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm8, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [572662306,572662306,572662306,572662306]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm10
; SSE42-NOPCLMUL-NEXT:    pand %xmm15, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm7, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    pand %xmm15, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm14
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2290649224,2290649224,2290649224,2290649224]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm0, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [1145324612,1145324612,1145324612,1145324612]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm11
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm11
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm6
; SSE42-NOPCLMUL-NEXT:    pand %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm6, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm15, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm11
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm7, %xmm14
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm11
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm6, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm15
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm15
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm15
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm15
; SSE42-NOPCLMUL-NEXT:    por %xmm0, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm12
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm9, %xmm12
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm3, %xmm9
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm10, %xmm6
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm10
; SSE42-NOPCLMUL-NEXT:    pxor %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm7, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm12
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm12
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm12
; SSE42-NOPCLMUL-NEXT:    pxor %xmm6, %xmm9
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmulld %xmm7, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm9, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm12, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm15, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[3,2,1,0,7,6,5,4,11,10,9,8,15,14,13,12]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm13
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm5
; SSE42-NOPCLMUL-NEXT:    por %xmm13, %xmm5
; SSE42-NOPCLMUL-NEXT:    psrld $1, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulh_v4i32:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm3 = xmm3[2],xmm2[2],xmm3[3],xmm2[3]
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm2[2],xmm4[3],xmm2[3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE2-PCLMUL-NEXT:    movq %xmm4, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm3
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm4 = xmm4[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm5 = xmm5[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE2-PCLMUL-NEXT:    movq %xmm5, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    pxor %xmm4, %xmm4
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm4 = xmm1[0],xmm4[1,2,3]
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm2 = xmm0[0],xmm2[1,2,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm2
; SSE2-PCLMUL-NEXT:    movq %xmm2, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm2
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm0
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
; SSE2-PCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmulh_v4i32:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-PCLMUL-NEXT:    psrlq $32, %xmm2
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-PCLMUL-NEXT:    psrlq $32, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    movq %xmm3, %rax
; SSE42-PCLMUL-NEXT:    shrq $32, %rax
; SSE42-PCLMUL-NEXT:    pmovzxdq {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero
; SSE42-PCLMUL-NEXT:    pmovzxdq {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    movq %xmm3, %rcx
; SSE42-PCLMUL-NEXT:    shrq $32, %rcx
; SSE42-PCLMUL-NEXT:    movd %ecx, %xmm2
; SSE42-PCLMUL-NEXT:    pinsrd $1, %eax, %xmm2
; SSE42-PCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE42-PCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE42-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm3[2],xmm4[3],xmm3[3]
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE42-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm5 = xmm5[2],xmm3[2],xmm5[3],xmm3[3]
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE42-PCLMUL-NEXT:    movq %xmm5, %rax
; SSE42-PCLMUL-NEXT:    shrq $32, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $2, %eax, %xmm2
; SSE42-PCLMUL-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-PCLMUL-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE42-PCLMUL-NEXT:    shrq $32, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $3, %eax, %xmm2
; SSE42-PCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulh_v4i32:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpsrlq $32, %xmm1, %xmm2
; AVX2-NEXT:    vpsrlq $32, %xmm0, %xmm3
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpmovzxdq {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero
; AVX2-NEXT:    vpmovzxdq {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rcx
; AVX2-NEXT:    shrq $32, %rcx
; AVX2-NEXT:    vmovd %ecx, %xmm2
; AVX2-NEXT:    vpinsrd $1, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpxor %xmm3, %xmm3, %xmm3
; AVX2-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm3[2],xmm1[3],xmm3[3]
; AVX2-NEXT:    vpunpckhdq {{.*#+}} xmm3 = xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm3, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpsrldq {{.*#+}} xmm1 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpsrldq {{.*#+}} xmm0 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v4i32:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpsrlq $32, %xmm1, %xmm2
; AVX512-NEXT:    vpsrlq $32, %xmm0, %xmm3
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpmovzxdq {{.*#+}} xmm2 = xmm1[0],zero,xmm1[1],zero
; AVX512-NEXT:    vpmovzxdq {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rcx
; AVX512-NEXT:    shrq $32, %rcx
; AVX512-NEXT:    vmovd %ecx, %xmm2
; AVX512-NEXT:    vpinsrd $1, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpxor %xmm3, %xmm3, %xmm3
; AVX512-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm3[2],xmm1[3],xmm3[3]
; AVX512-NEXT:    vpunpckhdq {{.*#+}} xmm3 = xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm3, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpsrldq {{.*#+}} xmm1 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX512-NEXT:    vpsrldq {{.*#+}} xmm0 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX512-NEXT:    retq
  %a.ext = zext <4 x i32> %a to <4 x i64>
  %b.ext = zext <4 x i32> %b to <4 x i64>
  %clmul = call <4 x i64> @llvm.clmul.v4i64(<4 x i64> %a.ext, <4 x i64> %b.ext)
  %res.ext = lshr <4 x i64> %clmul, splat (i64 32)
  %res = trunc <4 x i64> %res.ext to <4 x i32>
  ret <4 x i32> %res
}

define <2 x i64> @clmulh_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulh_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $152, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm8 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm8
; SSE2-NOPCLMUL-NEXT:    paddb %xmm8, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1229782938247303441,1229782938247303441]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm13 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm10
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    paddb %xmm13, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm13, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [4919131752989213764,4919131752989213764]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [2459565876494606882,2459565876494606882]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    paddq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [9838263505978427528,9838263505978427528]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    paddq %xmm12, %xmm15
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm15
; SSE2-NOPCLMUL-NEXT:    paddq %xmm11, %xmm14
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    paddq %xmm14, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm4
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm15, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm8, %xmm13
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm13
; SSE2-NOPCLMUL-NEXT:    por {{[-0-9]+}}(%r{{[sb]}}p), %xmm13 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm13 = xmm13[0],xmm2[0],xmm13[1],xmm2[1],xmm13[2],xmm2[2],xmm13[3],xmm2[3],xmm13[4],xmm2[4],xmm13[5],xmm2[5],xmm13[6],xmm2[6],xmm13[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm13[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    addq $152, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulh_v2i64:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    subq $24, %rsp
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [7,6,5,4,3,2,1,0,15,14,13,12,11,10,9,8]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm6, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1229782938247303441,1229782938247303441]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm9
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm6, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2459565876494606882,2459565876494606882]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm10
; SSE42-NOPCLMUL-NEXT:    pand %xmm6, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm0
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm5
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [9838263505978427528,9838263505978427528]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm11
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [4919131752989213764,4919131752989213764]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm13
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm15
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, (%rsp) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm6
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm4
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm4, %xmm8
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm12
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm14
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    paddq %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm15, %xmm8
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm6
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm6
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm6
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm6
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm0, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm12
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm7
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    paddq %xmm14, %xmm10
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm15
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm15
; SSE42-NOPCLMUL-NEXT:    paddq %xmm15, %xmm9
; SSE42-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm5 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm10
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm10
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm10, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm9, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE42-NOPCLMUL-NEXT:    paddq %xmm4, %xmm12
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE42-NOPCLMUL-NEXT:    paddq %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm11
; SSE42-NOPCLMUL-NEXT:    pxor %xmm7, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm13
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm1
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm13, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE42-NOPCLMUL-NEXT:    pshufb {{.*#+}} xmm1 = xmm1[7,6,5,4,3,2,1,0,15,14,13,12,11,10,9,8]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    psrlq $1, %xmm0
; SSE42-NOPCLMUL-NEXT:    addq $24, %rsp
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: clmulh_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulh_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; AVX512-NEXT:    retq
  %a.ext = zext <2 x i64> %a to <2 x i128>
  %b.ext = zext <2 x i64> %b to <2 x i128>
  %clmul = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %a.ext, <2 x i128> %b.ext)
  %res.ext = lshr <2 x i128> %clmul, splat (i128 64)
  %res = trunc <2 x i128> %res.ext to <2 x i64>
  ret <2 x i64> %res
}

declare void @use(<2 x i64>)

define void @commutative_clmul_v2i64(<2 x i64> %x, <2 x i64> %y, ptr %p0, ptr %p1) nounwind {
; SSE-NOPCLMUL-LABEL: commutative_clmul_v2i64:
; SSE-NOPCLMUL:       # %bb.0:
; SSE-NOPCLMUL-NEXT:    subq $24, %rsp
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm14
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [1229782938247303441,1229782938247303441]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [2459565876494606882,2459565876494606882]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm12
; SSE-NOPCLMUL-NEXT:    pand %xmm8, %xmm12
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm1
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm0
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm2
; SSE-NOPCLMUL-NEXT:    pand %xmm8, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE-NOPCLMUL-NEXT:    pand %xmm6, %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm6
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm5
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm5, %xmm2
; SSE-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [9838263505978427528,9838263505978427528]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm8
; SSE-NOPCLMUL-NEXT:    pand %xmm5, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [4919131752989213764,4919131752989213764]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm15
; SSE-NOPCLMUL-NEXT:    pand %xmm6, %xmm15
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm11
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm11
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, (%rsp) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm4
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm10
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm10
; SSE-NOPCLMUL-NEXT:    pand %xmm6, %xmm14
; SSE-NOPCLMUL-NEXT:    pand %xmm5, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm13
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm13
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm4
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm0
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm10, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm11
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm11, %xmm4
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm10
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm10
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm10
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm5
; SSE-NOPCLMUL-NEXT:    pxor %xmm10, %xmm5
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm5
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE-NOPCLMUL-NEXT:    por %xmm0, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm10
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm10
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm6
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm11
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm11
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm13
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm7
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm4
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm14
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    paddq %xmm10, %xmm12
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm11
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE-NOPCLMUL-NEXT:    paddq %xmm11, %xmm7
; SSE-NOPCLMUL-NEXT:    pxor %xmm12, %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm9 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm11 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm10
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm10
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm10
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm10, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm6, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm7, %xmm0
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE-NOPCLMUL-NEXT:    paddq %xmm4, %xmm13
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm13
; SSE-NOPCLMUL-NEXT:    paddq %xmm13, %xmm14
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm8
; SSE-NOPCLMUL-NEXT:    pxor %xmm14, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm9, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm15
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm15
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm3
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE-NOPCLMUL-NEXT:    pxor %xmm15, %xmm3
; SSE-NOPCLMUL-NEXT:    pxor %xmm8, %xmm3
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE-NOPCLMUL-NEXT:    por %xmm0, %xmm3
; SSE-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, (%rdi)
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, (%rsi)
; SSE-NOPCLMUL-NEXT:    addq $24, %rsp
; SSE-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: commutative_clmul_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    movdqa %xmm0, (%rdi)
; SSE-PCLMUL-NEXT:    movdqa %xmm0, (%rsi)
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: commutative_clmul_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX2-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX2-NEXT:    retq
;
; AVX512-LABEL: commutative_clmul_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX512-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX512-NEXT:    retq
  %xy = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %x, <2 x i64> %y)
  %yx = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %y, <2 x i64> %x)
  store <2 x i64> %xy, ptr %p0
  store <2 x i64> %yx, ptr %p1
  ret void
}

define void @commutative_clmulh_v2i64(<2 x i64> %x, <2 x i64> %y, ptr %p0, ptr %p1) nounwind {
; SSE2-NOPCLMUL-LABEL: commutative_clmulh_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $152, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm13 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    paddb %xmm13, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1229782938247303441,1229782938247303441]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddb %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [4919131752989213764,4919131752989213764]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [2459565876494606882,2459565876494606882]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm11
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    paddq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [9838263505978427528,9838263505978427528]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm5
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm8 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    paddq %xmm12, %xmm15
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm15
; SSE2-NOPCLMUL-NEXT:    paddq %xmm11, %xmm14
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    paddq %xmm14, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm15, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    por {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rdi)
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsi)
; SSE2-NOPCLMUL-NEXT:    addq $152, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: commutative_clmulh_v2i64:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    subq $24, %rsp
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [7,6,5,4,3,2,1,0,15,14,13,12,11,10,9,8]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm6, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm2, %xmm3
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm8
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm7
; SSE42-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1229782938247303441,1229782938247303441]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm3
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm6, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [2459565876494606882,2459565876494606882]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm1
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm5
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [9838263505978427528,9838263505978427528]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm11
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [4919131752989213764,4919131752989213764]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm13
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm15
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, (%rsp) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm6
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm4
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm4, %xmm8
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm12
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm14
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm1
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm15, %xmm8
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm6
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm6
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm6
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm6
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm1, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm12
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm7
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    paddq %xmm14, %xmm10
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm15
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm15
; SSE42-NOPCLMUL-NEXT:    paddq %xmm15, %xmm9
; SSE42-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm5 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm10
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm10
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm10, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm9, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NOPCLMUL-NEXT:    paddq %xmm4, %xmm12
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE42-NOPCLMUL-NEXT:    paddq %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm11
; SSE42-NOPCLMUL-NEXT:    pxor %xmm7, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm13
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm13, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm6, %xmm0
; SSE42-NOPCLMUL-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[7,6,5,4,3,2,1,0,15,14,13,12,11,10,9,8]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    psrlq $1, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, (%rdi)
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, (%rsi)
; SSE42-NOPCLMUL-NEXT:    addq $24, %rsp
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: commutative_clmulh_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm0, %xmm1
; SSE-PCLMUL-NEXT:    punpckhqdq {{.*#+}} xmm1 = xmm1[1],xmm2[1]
; SSE-PCLMUL-NEXT:    movdqa %xmm1, (%rdi)
; SSE-PCLMUL-NEXT:    movdqa %xmm1, (%rsi)
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: commutative_clmulh_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm0, %xmm1, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm0, %xmm1, %xmm0
; AVX2-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; AVX2-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX2-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX2-NEXT:    retq
;
; AVX512-LABEL: commutative_clmulh_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm0, %xmm1, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm0, %xmm1, %xmm0
; AVX512-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; AVX512-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX512-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX512-NEXT:    retq
  %x.ext = zext <2 x i64> %x to <2 x i128>
  %y.ext = zext <2 x i64> %y to <2 x i128>
  %clmul_xy = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %x.ext, <2 x i128> %y.ext)
  %clmul_yx = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %y.ext, <2 x i128> %x.ext)
  %clmul_xy_lshr = lshr <2 x i128> %clmul_xy, splat (i128 64)
  %clmul_yx_lshr = lshr <2 x i128> %clmul_yx, splat (i128 64)
  %clmulh_xy = trunc <2 x i128> %clmul_xy_lshr to <2 x i64>
  %clmulh_yx = trunc <2 x i128> %clmul_yx_lshr to <2 x i64>
  store <2 x i64> %clmulh_xy, ptr %p0
  store <2 x i64> %clmulh_yx, ptr %p1
  ret void
}

define void @commutative_clmulr_v2i64(<2 x i64> %x, <2 x i64> %y, ptr %p0, ptr %p1) nounwind {
; SSE2-NOPCLMUL-LABEL: commutative_clmulr_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $152, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm13 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    paddb %xmm13, %xmm13
; SSE2-NOPCLMUL-NEXT:    por %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1229782938247303441,1229782938247303441]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddb %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [4919131752989213764,4919131752989213764]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [2459565876494606882,2459565876494606882]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm11
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    paddq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [9838263505978427528,9838263505978427528]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm5
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm8 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    paddq %xmm12, %xmm15
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm15
; SSE2-NOPCLMUL-NEXT:    paddq %xmm11, %xmm14
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    paddq %xmm14, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    paddq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm15, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm13, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    por {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rdi)
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsi)
; SSE2-NOPCLMUL-NEXT:    addq $152, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: commutative_clmulr_v2i64:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    subq $24, %rsp
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [7,6,5,4,3,2,1,0,15,14,13,12,11,10,9,8]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm6, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm2, %xmm3
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm8
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm7
; SSE42-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [1229782938247303441,1229782938247303441]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm3
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm6, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [2459565876494606882,2459565876494606882]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm1
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE42-NOPCLMUL-NEXT:    pand %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE42-NOPCLMUL-NEXT:    pand %xmm11, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm5
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [9838263505978427528,9838263505978427528]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm11
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [4919131752989213764,4919131752989213764]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm13
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm15
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, (%rsp) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm6
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm4
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm4
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm4, %xmm8
; SSE42-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm12
; SSE42-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm14
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm1
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm8, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm15
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm15, %xmm8
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm8
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm8
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm6
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm6
; SSE42-NOPCLMUL-NEXT:    pxor %xmm14, %xmm6
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm6
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm6
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm14
; SSE42-NOPCLMUL-NEXT:    paddq %xmm1, %xmm14
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm8
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm8
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm4
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm15
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm12
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm7
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE42-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    paddq %xmm14, %xmm10
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm15
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm15
; SSE42-NOPCLMUL-NEXT:    paddq %xmm15, %xmm9
; SSE42-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE42-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm5 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm10
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm10
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm10, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm8, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm9, %xmm1
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NOPCLMUL-NEXT:    paddq %xmm4, %xmm12
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE42-NOPCLMUL-NEXT:    paddq %xmm12, %xmm7
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm11
; SSE42-NOPCLMUL-NEXT:    pxor %xmm7, %xmm11
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm5, %xmm3
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm13
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm13
; SSE42-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm3, %xmm2
; SSE42-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm13, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm11, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    por %xmm6, %xmm0
; SSE42-NOPCLMUL-NEXT:    pshufb {{.*#+}} xmm0 = xmm0[7,6,5,4,3,2,1,0,15,14,13,12,11,10,9,8]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE42-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NOPCLMUL-NEXT:    pshufb %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    por %xmm2, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, (%rdi)
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, (%rsi)
; SSE42-NOPCLMUL-NEXT:    addq $24, %rsp
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: commutative_clmulr_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm0, %xmm1
; SSE-PCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; SSE-PCLMUL-NEXT:    paddq %xmm0, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]
; SSE-PCLMUL-NEXT:    psrlq $63, %xmm1
; SSE-PCLMUL-NEXT:    por %xmm0, %xmm1
; SSE-PCLMUL-NEXT:    movdqa %xmm1, (%rdi)
; SSE-PCLMUL-NEXT:    movdqa %xmm1, (%rsi)
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: commutative_clmulr_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm0, %xmm1, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm0, %xmm1, %xmm0
; AVX2-NEXT:    vpunpckhqdq {{.*#+}} xmm1 = xmm0[1],xmm2[1]
; AVX2-NEXT:    vpaddq %xmm1, %xmm1, %xmm1
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    vpsrlq $63, %xmm0, %xmm0
; AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX2-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX2-NEXT:    retq
;
; AVX512-LABEL: commutative_clmulr_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm0, %xmm1, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm0, %xmm1, %xmm0
; AVX512-NEXT:    vpunpckhqdq {{.*#+}} xmm1 = xmm0[1],xmm2[1]
; AVX512-NEXT:    vpaddq %xmm1, %xmm1, %xmm1
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    vpsrlq $63, %xmm0, %xmm0
; AVX512-NEXT:    vpor %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX512-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX512-NEXT:    retq
  %x.ext = zext <2 x i64> %x to <2 x i128>
  %y.ext = zext <2 x i64> %y to <2 x i128>
  %clmul_xy = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %x.ext, <2 x i128> %y.ext)
  %clmul_yx = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %y.ext, <2 x i128> %x.ext)
  %clmul_xy_lshr = lshr <2 x i128> %clmul_xy, splat (i128 63)
  %clmul_yx_lshr = lshr <2 x i128> %clmul_yx, splat (i128 63)
  %clmulh_xy = trunc <2 x i128> %clmul_xy_lshr to <2 x i64>
  %clmulh_yx = trunc <2 x i128> %clmul_yx_lshr to <2 x i64>
  store <2 x i64> %clmulh_xy, ptr %p0
  store <2 x i64> %clmulh_yx, ptr %p1
  ret void
}

define void @mul_use_commutative_clmul_v2i64(<2 x i64> %x, <2 x i64> %y, ptr %p0, ptr %p1) nounwind {
; SSE-NOPCLMUL-LABEL: mul_use_commutative_clmul_v2i64:
; SSE-NOPCLMUL:       # %bb.0:
; SSE-NOPCLMUL-NEXT:    pushq %rbx
; SSE-NOPCLMUL-NEXT:    subq $144, %rsp
; SSE-NOPCLMUL-NEXT:    movq %rsi, %rbx
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [1229782938247303441,1229782938247303441]
; SSE-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [2459565876494606882,2459565876494606882]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm13
; SSE-NOPCLMUL-NEXT:    pand %xmm9, %xmm13
; SSE-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm3
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm3
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm3
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm11
; SSE-NOPCLMUL-NEXT:    pand %xmm9, %xmm11
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm6
; SSE-NOPCLMUL-NEXT:    pand %xmm7, %xmm6
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm3
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, (%rsp) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm4
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm7
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE-NOPCLMUL-NEXT:    paddq %xmm3, %xmm7
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm7, %xmm2
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [9838263505978427528,9838263505978427528]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm7
; SSE-NOPCLMUL-NEXT:    pand %xmm4, %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [4919131752989213764,4919131752989213764]
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm10
; SSE-NOPCLMUL-NEXT:    pand %xmm12, %xmm10
; SSE-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm15
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm15
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm14
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm14
; SSE-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm3
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm3
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm9
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm9
; SSE-NOPCLMUL-NEXT:    paddq %xmm3, %xmm9
; SSE-NOPCLMUL-NEXT:    pand %xmm12, %xmm5
; SSE-NOPCLMUL-NEXT:    pand %xmm4, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm8
; SSE-NOPCLMUL-NEXT:    psrlq $32, %xmm8
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm12
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm12
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm12
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm12, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm9, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm9
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm9
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm9, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm15
; SSE-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm9
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE-NOPCLMUL-NEXT:    paddq %xmm15, %xmm9
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm12
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm12
; SSE-NOPCLMUL-NEXT:    paddq %xmm9, %xmm12
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm15
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm11 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm9
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm9
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa %xmm4, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm4
; SSE-NOPCLMUL-NEXT:    paddq %xmm9, %xmm4
; SSE-NOPCLMUL-NEXT:    pxor %xmm12, %xmm4
; SSE-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE-NOPCLMUL-NEXT:    por %xmm1, %xmm4
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm9
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm9
; SSE-NOPCLMUL-NEXT:    paddq %xmm0, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm14, %xmm2
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm14
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm12
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm11 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm11
; SSE-NOPCLMUL-NEXT:    movdqa %xmm11, (%rsp) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm15
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm8
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm6
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm5
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm11 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm13
; SSE-NOPCLMUL-NEXT:    paddq %xmm9, %xmm13
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm15
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm15
; SSE-NOPCLMUL-NEXT:    paddq %xmm15, %xmm6
; SSE-NOPCLMUL-NEXT:    pxor %xmm13, %xmm6
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm13 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm15, %xmm9
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm9
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm9, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm12, %xmm2
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    pxor %xmm6, %xmm0
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE-NOPCLMUL-NEXT:    paddq {{[-0-9]+}}(%r{{[sb]}}p), %xmm8 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE-NOPCLMUL-NEXT:    paddq %xmm8, %xmm5
; SSE-NOPCLMUL-NEXT:    paddq (%rsp), %xmm14 # 16-byte Folded Reload
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE-NOPCLMUL-NEXT:    paddq %xmm14, %xmm7
; SSE-NOPCLMUL-NEXT:    pxor %xmm5, %xmm7
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm1
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm3
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm10
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE-NOPCLMUL-NEXT:    paddq %xmm3, %xmm10
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm2
; SSE-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm2, %xmm1
; SSE-NOPCLMUL-NEXT:    pmuludq %xmm13, %xmm3
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm3
; SSE-NOPCLMUL-NEXT:    pxor %xmm10, %xmm3
; SSE-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE-NOPCLMUL-NEXT:    por %xmm0, %xmm3
; SSE-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, (%rdi)
; SSE-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE-NOPCLMUL-NEXT:    callq use@PLT
; SSE-NOPCLMUL-NEXT:    movaps {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE-NOPCLMUL-NEXT:    movaps %xmm0, (%rbx)
; SSE-NOPCLMUL-NEXT:    addq $144, %rsp
; SSE-NOPCLMUL-NEXT:    popq %rbx
; SSE-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: mul_use_commutative_clmul_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    pushq %rbx
; SSE-PCLMUL-NEXT:    subq $16, %rsp
; SSE-PCLMUL-NEXT:    movq %rsi, %rbx
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE-PCLMUL-NEXT:    movdqa %xmm0, (%rdi)
; SSE-PCLMUL-NEXT:    callq use@PLT
; SSE-PCLMUL-NEXT:    movaps (%rsp), %xmm0 # 16-byte Reload
; SSE-PCLMUL-NEXT:    movaps %xmm0, (%rbx)
; SSE-PCLMUL-NEXT:    addq $16, %rsp
; SSE-PCLMUL-NEXT:    popq %rbx
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: mul_use_commutative_clmul_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    pushq %rbx
; AVX2-NEXT:    subq $16, %rsp
; AVX2-NEXT:    movq %rsi, %rbx
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    vmovdqa %xmm0, (%rsp) # 16-byte Spill
; AVX2-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX2-NEXT:    callq use@PLT
; AVX2-NEXT:    vmovaps (%rsp), %xmm0 # 16-byte Reload
; AVX2-NEXT:    vmovaps %xmm0, (%rbx)
; AVX2-NEXT:    addq $16, %rsp
; AVX2-NEXT:    popq %rbx
; AVX2-NEXT:    retq
;
; AVX512-LABEL: mul_use_commutative_clmul_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    pushq %rbx
; AVX512-NEXT:    subq $16, %rsp
; AVX512-NEXT:    movq %rsi, %rbx
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    vmovdqa %xmm0, (%rsp) # 16-byte Spill
; AVX512-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX512-NEXT:    callq use@PLT
; AVX512-NEXT:    vmovaps (%rsp), %xmm0 # 16-byte Reload
; AVX512-NEXT:    vmovaps %xmm0, (%rbx)
; AVX512-NEXT:    addq $16, %rsp
; AVX512-NEXT:    popq %rbx
; AVX512-NEXT:    retq
  %xy = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %x, <2 x i64> %y)
  %yx = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %y, <2 x i64> %x)
  store <2 x i64> %xy, ptr %p0
  call void @use(<2 x i64> %xy)
  store <2 x i64> %yx, ptr %p1
  ret void
}

define <16 x i8> @clmul_v16i8_allones(<16 x i8> %x) nounwind {
; SSE-LABEL: clmul_v16i8_allones:
; SSE:       # %bb.0:
; SSE-NEXT:    movdqa %xmm0, %xmm1
; SSE-NEXT:    paddb %xmm0, %xmm1
; SSE-NEXT:    pxor %xmm1, %xmm0
; SSE-NEXT:    movdqa %xmm0, %xmm1
; SSE-NEXT:    paddb %xmm0, %xmm1
; SSE-NEXT:    paddb %xmm1, %xmm1
; SSE-NEXT:    pxor %xmm1, %xmm0
; SSE-NEXT:    movdqa %xmm0, %xmm1
; SSE-NEXT:    psllw $4, %xmm1
; SSE-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE-NEXT:    pxor %xmm1, %xmm0
; SSE-NEXT:    retq
;
; AVX2-LABEL: clmul_v16i8_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpaddb %xmm0, %xmm0, %xmm1
; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpaddb %xmm0, %xmm0, %xmm1
; AVX2-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpsllw $4, %xmm0, %xmm1
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
; AVX2-NEXT:    vpxor %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v16i8_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpaddb %xmm0, %xmm0, %xmm1
; AVX512-NEXT:    vpxor %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpaddb %xmm0, %xmm0, %xmm1
; AVX512-NEXT:    vpaddb %xmm1, %xmm1, %xmm1
; AVX512-NEXT:    vpxor %xmm1, %xmm0, %xmm1
; AVX512-NEXT:    vpsllw $4, %xmm1, %xmm0
; AVX512-NEXT:    vpternlogd {{.*#+}} xmm0 = xmm1 ^ (xmm0 & m32bcst)
; AVX512-NEXT:    retq
  %r = call <16 x i8> @llvm.clmul.v16i8(<16 x i8> %x, <16 x i8> <i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1, i8 -1>)
  ret <16 x i8> %r
}

define <8 x i16> @clmul_v8i16_allones(<8 x i16> %x) nounwind {
; SSE-LABEL: clmul_v8i16_allones:
; SSE:       # %bb.0:
; SSE-NEXT:    movdqa %xmm0, %xmm1
; SSE-NEXT:    paddw %xmm1, %xmm1
; SSE-NEXT:    pxor %xmm1, %xmm0
; SSE-NEXT:    movdqa %xmm0, %xmm1
; SSE-NEXT:    psllw $2, %xmm1
; SSE-NEXT:    pxor %xmm1, %xmm0
; SSE-NEXT:    movdqa %xmm0, %xmm1
; SSE-NEXT:    psllw $4, %xmm1
; SSE-NEXT:    pxor %xmm1, %xmm0
; SSE-NEXT:    movdqa %xmm0, %xmm1
; SSE-NEXT:    psllw $8, %xmm1
; SSE-NEXT:    pxor %xmm1, %xmm0
; SSE-NEXT:    retq
;
; AVX2-LABEL: clmul_v8i16_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    movl $65535, %eax # imm = 0xFFFF
; AVX2-NEXT:    vmovq %rax, %xmm1
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm2, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,u,u,u,u,u,u,u,u,16,17,20,21,24,25,28,29,u,u,u,u,u,u,u,u]
; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
; AVX2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v8i16_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    movl $65535, %eax # imm = 0xFFFF
; AVX512-NEXT:    vmovq %rax, %xmm1
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm2, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %r = call <8 x i16> @llvm.clmul.v8i16(<8 x i16> %x, <8 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>)
  ret <8 x i16> %r
}

define <4 x i32> @clmul_v4i32_allones(<4 x i32> %x) nounwind {
; SSE-NOPCLMUL-LABEL: clmul_v4i32_allones:
; SSE-NOPCLMUL:       # %bb.0:
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    pslld $2, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    pslld $4, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    pslld $8, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    pslld $16, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmul_v4i32_allones:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; SSE2-PCLMUL-NEXT:    movq %rax, %xmm1
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm2
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $1, %xmm1, %xmm3
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm2
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm3[0]
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmul_v4i32_allones:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; SSE42-PCLMUL-NEXT:    movq %rax, %xmm2
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,1,1]
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm1
; SSE42-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
; SSE42-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[3,3,3,3]
; SSE42-PCLMUL-NEXT:    pclmulqdq $1, %xmm2, %xmm0
; SSE42-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $2, %eax, %xmm1
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    movq %xmm3, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $3, %eax, %xmm1
; SSE42-PCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmul_v4i32_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; AVX2-NEXT:    vmovq %rax, %xmm1
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm2 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v4i32_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; AVX512-NEXT:    vmovq %rax, %xmm1
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm2 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX512-NEXT:    retq
  %r = call <4 x i32> @llvm.clmul.v4i32(<4 x i32> %x, <4 x i32> <i32 -1, i32 -1, i32 -1, i32 -1>)
  ret <4 x i32> %r
}

define <2 x i64> @clmul_v2i64_allones(<2 x i64> %x) nounwind {
; SSE-NOPCLMUL-LABEL: clmul_v2i64_allones:
; SSE-NOPCLMUL:       # %bb.0:
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    paddq %xmm1, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    psllq $2, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    psllq $4, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    psllq $8, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    psllq $16, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: clmul_v2i64_allones:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movq $-1, %rax
; SSE-PCLMUL-NEXT:    movq %rax, %xmm1
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $1, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmul_v2i64_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    movq $-1, %rax
; AVX2-NEXT:    vmovq %rax, %xmm1
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v2i64_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    movq $-1, %rax
; AVX512-NEXT:    vmovq %rax, %xmm1
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    retq
  %r = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %x, <2 x i64> <i64 -1, i64 -1>)
  ret <2 x i64> %r
}

define <16 x i8> @clmulr_v16i8_allones(<16 x i8> %x) nounwind {
; SSE2-LABEL: clmulr_v16i8_allones:
; SSE2:       # %bb.0:
; SSE2-NEXT:    pxor %xmm1, %xmm1
; SSE2-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    paddw %xmm1, %xmm1
; SSE2-NEXT:    pxor %xmm0, %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psllw $4, %xmm1
; SSE2-NEXT:    pxor %xmm0, %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NEXT:    psllw $8, %xmm3
; SSE2-NEXT:    pxor %xmm1, %xmm3
; SSE2-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NEXT:    paddw %xmm0, %xmm0
; SSE2-NEXT:    pxor %xmm2, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psllw $2, %xmm1
; SSE2-NEXT:    pxor %xmm0, %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NEXT:    psllw $4, %xmm2
; SSE2-NEXT:    pxor %xmm1, %xmm2
; SSE2-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NEXT:    psllw $8, %xmm0
; SSE2-NEXT:    pxor %xmm2, %xmm0
; SSE2-NEXT:    psrlw $7, %xmm0
; SSE2-NEXT:    psrlw $7, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm1 = [255,0,255,0,255,0,255,0,255,0,255,0,255,0,255,0]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pand %xmm1, %xmm0
; SSE2-NEXT:    packuswb %xmm3, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulr_v16i8_allones:
; SSE42:       # %bb.0:
; SSE42-NEXT:    pxor %xmm1, %xmm1
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
; SSE42-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NEXT:    paddw %xmm1, %xmm1
; SSE42-NEXT:    pxor %xmm0, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NEXT:    psllw $2, %xmm0
; SSE42-NEXT:    pxor %xmm1, %xmm0
; SSE42-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NEXT:    psllw $4, %xmm1
; SSE42-NEXT:    pxor %xmm0, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm3
; SSE42-NEXT:    psllw $8, %xmm3
; SSE42-NEXT:    pxor %xmm1, %xmm3
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    paddw %xmm0, %xmm0
; SSE42-NEXT:    pxor %xmm2, %xmm0
; SSE42-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NEXT:    psllw $2, %xmm1
; SSE42-NEXT:    pxor %xmm0, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NEXT:    psllw $4, %xmm2
; SSE42-NEXT:    pxor %xmm1, %xmm2
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    psllw $8, %xmm0
; SSE42-NEXT:    pxor %xmm2, %xmm0
; SSE42-NEXT:    psrlw $7, %xmm3
; SSE42-NEXT:    psrlw $7, %xmm0
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm1 = [255,255,255,255,255,255,255,255]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pand %xmm1, %xmm0
; SSE42-NEXT:    packuswb %xmm3, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulr_v16i8_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX2-NEXT:    vpaddw %ymm0, %ymm0, %ymm1
; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpsllw $2, %ymm0, %ymm1
; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpsllw $4, %ymm0, %ymm1
; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpsllw $8, %ymm0, %ymm1
; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpsrlw $7, %ymm0, %ymm0
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v16i8_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT:    vpaddw %ymm0, %ymm0, %ymm1
; AVX512-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpsllw $2, %ymm0, %ymm1
; AVX512-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpsllw $4, %ymm0, %ymm1
; AVX512-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpsllw $8, %ymm0, %ymm1
; AVX512-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpsrlw $7, %ymm0, %ymm0
; AVX512-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
; AVX512-NEXT:    vpmovdb %zmm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %x.ext = zext <16 x i8> %x to <16 x i16>
  %clmul = call <16 x i16> @llvm.clmul.v16i16(<16 x i16> %x.ext, <16 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>)
  %res.ext = lshr <16 x i16> %clmul, <i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7, i16 7>
  %res = trunc <16 x i16> %res.ext to <16 x i8>
  ret <16 x i8> %res
}

define <8 x i16> @clmulr_v8i16_allones(<8 x i16> %x) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulr_v8i16_allones:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
; SSE2-NOPCLMUL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pslld $2, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pslld $8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrad $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddd %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrad $16, %xmm0
; SSE2-NOPCLMUL-NEXT:    packssdw %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulr_v8i16_allones:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmovzxwd {{.*#+}} xmm3 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
; SSE42-NOPCLMUL-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    paddd %xmm2, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pslld $2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    pslld $4, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pslld $8, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    pslld $16, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    paddd %xmm0, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    pslld $2, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    pslld $4, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    pslld $8, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    pslld $16, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    psrld $15, %xmm2
; SSE42-NOPCLMUL-NEXT:    psrld $15, %xmm0
; SSE42-NOPCLMUL-NEXT:    pblendw {{.*#+}} xmm2 = xmm2[0],xmm1[1],xmm2[2],xmm1[3],xmm2[4],xmm1[5],xmm2[6],xmm1[7]
; SSE42-NOPCLMUL-NEXT:    pblendw {{.*#+}} xmm0 = xmm0[0],xmm1[1],xmm0[2],xmm1[3],xmm0[4],xmm1[5],xmm0[6],xmm1[7]
; SSE42-NOPCLMUL-NEXT:    packusdw %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulr_v8i16_allones:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-PCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-PCLMUL-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; SSE2-PCLMUL-NEXT:    movq %rax, %xmm2
; SSE2-PCLMUL-NEXT:    pextrw $3, %xmm0, %eax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE2-PCLMUL-NEXT:    pextrw $1, %xmm0, %eax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm5
; SSE2-PCLMUL-NEXT:    pextrw $7, %xmm0, %eax
; SSE2-PCLMUL-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE2-PCLMUL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $1, %xmm2, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm5
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm5[0],xmm0[1],xmm5[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm3[0]
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $1, %xmm2, %xmm3
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm1
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm4[0],xmm1[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm3[0]
; SSE2-PCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE2-PCLMUL-NEXT:    psrad $16, %xmm1
; SSE2-PCLMUL-NEXT:    paddd %xmm0, %xmm0
; SSE2-PCLMUL-NEXT:    psrad $16, %xmm0
; SSE2-PCLMUL-NEXT:    packssdw %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmulr_v8i16_allones:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE42-PCLMUL-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; SSE42-PCLMUL-NEXT:    movq %rax, %xmm4
; SSE42-PCLMUL-NEXT:    pextrw $5, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm1
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm1
; SSE42-PCLMUL-NEXT:    pextrw $4, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm3
; SSE42-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm1[0],xmm3[1],xmm1[1]
; SSE42-PCLMUL-NEXT:    pextrw $6, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm1
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm1
; SSE42-PCLMUL-NEXT:    movq %xmm1, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $2, %eax, %xmm3
; SSE42-PCLMUL-NEXT:    pextrw $7, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm1
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm1
; SSE42-PCLMUL-NEXT:    movq %xmm1, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $3, %eax, %xmm3
; SSE42-PCLMUL-NEXT:    pextrw $1, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm5
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE42-PCLMUL-NEXT:    pextrw $0, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm1
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm1
; SSE42-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm5[0],xmm1[1],xmm5[1]
; SSE42-PCLMUL-NEXT:    pextrw $2, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm5
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE42-PCLMUL-NEXT:    movq %xmm5, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $2, %eax, %xmm1
; SSE42-PCLMUL-NEXT:    pextrw $3, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm0
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm0
; SSE42-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $3, %eax, %xmm1
; SSE42-PCLMUL-NEXT:    psrld $15, %xmm1
; SSE42-PCLMUL-NEXT:    psrld $15, %xmm3
; SSE42-PCLMUL-NEXT:    pblendw {{.*#+}} xmm3 = xmm3[0],xmm2[1],xmm3[2],xmm2[3],xmm3[4],xmm2[5],xmm3[6],xmm2[7]
; SSE42-PCLMUL-NEXT:    pblendw {{.*#+}} xmm1 = xmm1[0],xmm2[1],xmm1[2],xmm2[3],xmm1[4],xmm2[5],xmm1[6],xmm2[7]
; SSE42-PCLMUL-NEXT:    packusdw %xmm3, %xmm1
; SSE42-PCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulr_v8i16_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; AVX2-NEXT:    vmovq %rax, %xmm1
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm2, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpsrld $15, %ymm0, %ymm0
; AVX2-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,u,u,u,u,u,u,u,u,16,17,20,21,24,25,28,29,u,u,u,u,u,u,u,u]
; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
; AVX2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v8i16_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; AVX512-NEXT:    vmovq %rax, %xmm1
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm2, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpsrld $15, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %x.ext = zext <8 x i16> %x to <8 x i32>
  %clmul = call <8 x i32> @llvm.clmul.v8i32(<8 x i32> %x.ext, <8 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>)
  %res.ext = lshr <8 x i32> %clmul, <i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15, i32 15>
  %res = trunc <8 x i32> %res.ext to <8 x i16>
  ret <8 x i16> %res
}

define <4 x i32> @clmulr_v4i32_allones(<4 x i32> %x) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulr_v4i32_allones:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhdq {{.*#+}} xmm2 = xmm2[2],xmm1[2],xmm2[3],xmm1[3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $2, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psrlq $31, %xmm2
; SSE2-NOPCLMUL-NEXT:    psrlq $31, %xmm0
; SSE2-NOPCLMUL-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm2[0,2]
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulr_v4i32_allones:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmovzxdq {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero
; SSE42-NOPCLMUL-NEXT:    punpckhdq {{.*#+}} xmm0 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    paddq %xmm1, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    psllq $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $8, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $16, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    paddq %xmm0, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    psllq $2, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $4, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    psllq $8, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $16, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE42-NOPCLMUL-NEXT:    psrlq $31, %xmm1
; SSE42-NOPCLMUL-NEXT:    psrlq $31, %xmm0
; SSE42-NOPCLMUL-NEXT:    shufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[0,2]
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulr_v4i32_allones:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    xorps %xmm1, %xmm1
; SSE2-PCLMUL-NEXT:    movaps %xmm0, %xmm2
; SSE2-PCLMUL-NEXT:    unpckhps {{.*#+}} xmm2 = xmm2[2],xmm1[2],xmm2[3],xmm1[3]
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
; SSE2-PCLMUL-NEXT:    movq $-1, %rax
; SSE2-PCLMUL-NEXT:    movq %rax, %xmm3
; SSE2-PCLMUL-NEXT:    movaps %xmm0, %xmm4
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm4
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm1
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm4[0]
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm2
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm0[0]
; SSE2-PCLMUL-NEXT:    psrlq $31, %xmm2
; SSE2-PCLMUL-NEXT:    psrlq $31, %xmm1
; SSE2-PCLMUL-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm2[0,2]
; SSE2-PCLMUL-NEXT:    movaps %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmulr_v4i32_allones:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movq $-1, %rax
; SSE42-PCLMUL-NEXT:    movq %rax, %xmm2
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-PCLMUL-NEXT:    psrlq $32, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    pmovzxdq {{.*#+}} xmm1 = xmm0[0],zero,xmm0[1],zero
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm1
; SSE42-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm3[0]
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE42-PCLMUL-NEXT:    psrldq {{.*#+}} xmm3 = xmm3[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    pxor %xmm4, %xmm4
; SSE42-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm0 = xmm0[2],xmm4[2],xmm0[3],xmm4[3]
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm0
; SSE42-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm3[0]
; SSE42-PCLMUL-NEXT:    psrlq $31, %xmm0
; SSE42-PCLMUL-NEXT:    psrlq $31, %xmm1
; SSE42-PCLMUL-NEXT:    shufps {{.*#+}} xmm1 = xmm1[0,2],xmm0[0,2]
; SSE42-PCLMUL-NEXT:    movaps %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-PCLMUL-LABEL: clmulr_v4i32_allones:
; AVX2-PCLMUL:       # %bb.0:
; AVX2-PCLMUL-NEXT:    vpmovzxdq {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
; AVX2-PCLMUL-NEXT:    movq $-1, %rax
; AVX2-PCLMUL-NEXT:    vmovq %rax, %xmm1
; AVX2-PCLMUL-NEXT:    vextracti128 $1, %ymm0, %xmm2
; AVX2-PCLMUL-NEXT:    vpclmulqdq $1, %xmm1, %xmm2, %xmm3
; AVX2-PCLMUL-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm4
; AVX2-PCLMUL-NEXT:    vinserti128 $1, %xmm3, %ymm4, %ymm3
; AVX2-PCLMUL-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX2-PCLMUL-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-PCLMUL-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-PCLMUL-NEXT:    vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm3[0],ymm0[2],ymm3[2]
; AVX2-PCLMUL-NEXT:    vpsrlq $31, %ymm0, %ymm0
; AVX2-PCLMUL-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-PCLMUL-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[0,2]
; AVX2-PCLMUL-NEXT:    vzeroupper
; AVX2-PCLMUL-NEXT:    retq
;
; AVX2-VPCLMULQDQ-LABEL: clmulr_v4i32_allones:
; AVX2-VPCLMULQDQ:       # %bb.0:
; AVX2-VPCLMULQDQ-NEXT:    vpmovzxdq {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
; AVX2-VPCLMULQDQ-NEXT:    movq $-1, %rax
; AVX2-VPCLMULQDQ-NEXT:    vmovq %rax, %xmm1
; AVX2-VPCLMULQDQ-NEXT:    vpbroadcastq %xmm1, %ymm1
; AVX2-VPCLMULQDQ-NEXT:    vpclmulqdq $1, %ymm1, %ymm0, %ymm2
; AVX2-VPCLMULQDQ-NEXT:    vpclmulqdq $0, %ymm1, %ymm0, %ymm0
; AVX2-VPCLMULQDQ-NEXT:    vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
; AVX2-VPCLMULQDQ-NEXT:    vpsrlq $31, %ymm0, %ymm0
; AVX2-VPCLMULQDQ-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-VPCLMULQDQ-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[0,2],xmm1[0,2]
; AVX2-VPCLMULQDQ-NEXT:    vzeroupper
; AVX2-VPCLMULQDQ-NEXT:    retq
;
; AVX512-LABEL: clmulr_v4i32_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxdq {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
; AVX512-NEXT:    movq $-1, %rax
; AVX512-NEXT:    vpbroadcastq %rax, %ymm1
; AVX512-NEXT:    vpclmulqdq $1, %ymm1, %ymm0, %ymm2
; AVX512-NEXT:    vpclmulqdq $0, %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
; AVX512-NEXT:    vpsrlq $31, %ymm0, %ymm0
; AVX512-NEXT:    vpmovqd %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %x.ext = zext <4 x i32> %x to <4 x i64>
  %clmul = call <4 x i64> @llvm.clmul.v4i64(<4 x i64> %x.ext, <4 x i64> <i64 -1, i64 -1, i64 -1, i64 -1>)
  %res.ext = lshr <4 x i64> %clmul, <i64 31, i64 31, i64 31, i64 31>
  %res = trunc <4 x i64> %res.ext to <4 x i32>
  ret <4 x i32> %res
}

define <2 x i64> @clmulr_v2i64_allones(<2 x i64> %x) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulr_v2i64_allones:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,2,3]
; SSE2-NOPCLMUL-NEXT:    movq %xmm1, %rax
; SSE2-NOPCLMUL-NEXT:    movq %xmm0, %rsi
; SSE2-NOPCLMUL-NEXT:    leaq (%rsi,%rsi), %r8
; SSE2-NOPCLMUL-NEXT:    xorq %rsi, %r8
; SSE2-NOPCLMUL-NEXT:    bswapq %rsi
; SSE2-NOPCLMUL-NEXT:    movq %rsi, %rcx
; SSE2-NOPCLMUL-NEXT:    shrq $4, %rcx
; SSE2-NOPCLMUL-NEXT:    movabsq $1085102592571150095, %rdx # imm = 0xF0F0F0F0F0F0F0F
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rsi
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rsi
; SSE2-NOPCLMUL-NEXT:    orq %rcx, %rsi
; SSE2-NOPCLMUL-NEXT:    movabsq $3689348814741910323, %rcx # imm = 0x3333333333333333
; SSE2-NOPCLMUL-NEXT:    movq %rsi, %rdi
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rdi
; SSE2-NOPCLMUL-NEXT:    shrq $2, %rsi
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rsi
; SSE2-NOPCLMUL-NEXT:    leaq (%rsi,%rdi,4), %rdi
; SSE2-NOPCLMUL-NEXT:    movabsq $6148914691236517205, %rsi # imm = 0x5555555555555555
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %r9
; SSE2-NOPCLMUL-NEXT:    shrq %rdi
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rdi,%r9,2), %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rdi,%rdi), %r9
; SSE2-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    leaq (,%r9,4), %rdi
; SSE2-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    shlq $4, %r9
; SSE2-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    movq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    shlq $8, %rdi
; SSE2-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    shlq $16, %r9
; SSE2-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    movq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    shlq $32, %rdi
; SSE2-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    bswapq %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    shrq $4, %r9
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %r9
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rdi
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rdi
; SSE2-NOPCLMUL-NEXT:    orq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %r9
; SSE2-NOPCLMUL-NEXT:    shrq $2, %rdi
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rdi,%r9,4), %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r10
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %r10
; SSE2-NOPCLMUL-NEXT:    shrq %rdi
; SSE2-NOPCLMUL-NEXT:    movabsq $6148914691236517204, %r9 # imm = 0x5555555555555554
; SSE2-NOPCLMUL-NEXT:    andq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rdi,%r10,2), %rdi
; SSE2-NOPCLMUL-NEXT:    shrq %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (,%r8,4), %r10
; SSE2-NOPCLMUL-NEXT:    xorq %r8, %r10
; SSE2-NOPCLMUL-NEXT:    movq %r10, %r8
; SSE2-NOPCLMUL-NEXT:    shlq $4, %r8
; SSE2-NOPCLMUL-NEXT:    xorq %r10, %r8
; SSE2-NOPCLMUL-NEXT:    movq %r8, %r10
; SSE2-NOPCLMUL-NEXT:    shlq $8, %r10
; SSE2-NOPCLMUL-NEXT:    xorq %r8, %r10
; SSE2-NOPCLMUL-NEXT:    movq %r10, %r11
; SSE2-NOPCLMUL-NEXT:    shlq $16, %r11
; SSE2-NOPCLMUL-NEXT:    xorq %r10, %r11
; SSE2-NOPCLMUL-NEXT:    movq %r11, %r8
; SSE2-NOPCLMUL-NEXT:    shlq $32, %r8
; SSE2-NOPCLMUL-NEXT:    xorq %r11, %r8
; SSE2-NOPCLMUL-NEXT:    xorq %r8, %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%rax), %r10
; SSE2-NOPCLMUL-NEXT:    xorq %rax, %r10
; SSE2-NOPCLMUL-NEXT:    bswapq %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    shrq $4, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rax
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rax
; SSE2-NOPCLMUL-NEXT:    orq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %r11
; SSE2-NOPCLMUL-NEXT:    shrq $2, %rax
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%r11,4), %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %r11
; SSE2-NOPCLMUL-NEXT:    shrq %rax
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%r11,2), %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%rax), %r11
; SSE2-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    leaq (,%r11,4), %rax
; SSE2-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    shlq $4, %r11
; SSE2-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    movq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    shlq $8, %rax
; SSE2-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    shlq $16, %r11
; SSE2-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    movq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    shlq $32, %rax
; SSE2-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    bswapq %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    shrq $4, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rax
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rax
; SSE2-NOPCLMUL-NEXT:    orq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %rdx
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    shrq $2, %rax
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%rdx,4), %rax
; SSE2-NOPCLMUL-NEXT:    andq %rax, %rsi
; SSE2-NOPCLMUL-NEXT:    shrq %rax
; SSE2-NOPCLMUL-NEXT:    andq %r9, %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%rsi,2), %rax
; SSE2-NOPCLMUL-NEXT:    shrq %rax
; SSE2-NOPCLMUL-NEXT:    leaq (,%r10,4), %rcx
; SSE2-NOPCLMUL-NEXT:    xorq %r10, %rcx
; SSE2-NOPCLMUL-NEXT:    movq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rdx
; SSE2-NOPCLMUL-NEXT:    xorq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    movq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    shlq $8, %rcx
; SSE2-NOPCLMUL-NEXT:    xorq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    movq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    shlq $16, %rdx
; SSE2-NOPCLMUL-NEXT:    xorq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    movq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    shlq $32, %rcx
; SSE2-NOPCLMUL-NEXT:    xorq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    xorq %rcx, %rax
; SSE2-NOPCLMUL-NEXT:    shldq $1, %rcx, %rax
; SSE2-NOPCLMUL-NEXT:    shldq $1, %r8, %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %xmm0
; SSE2-NOPCLMUL-NEXT:    movq %rax, %xmm1
; SSE2-NOPCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulr_v2i64_allones:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    movq %xmm0, %rax
; SSE42-NOPCLMUL-NEXT:    pextrq $1, %xmm0, %rsi
; SSE42-NOPCLMUL-NEXT:    leaq (%rsi,%rsi), %r8
; SSE42-NOPCLMUL-NEXT:    xorq %rsi, %r8
; SSE42-NOPCLMUL-NEXT:    bswapq %rsi
; SSE42-NOPCLMUL-NEXT:    movq %rsi, %rcx
; SSE42-NOPCLMUL-NEXT:    shrq $4, %rcx
; SSE42-NOPCLMUL-NEXT:    movabsq $1085102592571150095, %rdx # imm = 0xF0F0F0F0F0F0F0F
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rsi
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rsi
; SSE42-NOPCLMUL-NEXT:    orq %rcx, %rsi
; SSE42-NOPCLMUL-NEXT:    movabsq $3689348814741910323, %rcx # imm = 0x3333333333333333
; SSE42-NOPCLMUL-NEXT:    movq %rsi, %rdi
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rdi
; SSE42-NOPCLMUL-NEXT:    shrq $2, %rsi
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rsi
; SSE42-NOPCLMUL-NEXT:    leaq (%rsi,%rdi,4), %rdi
; SSE42-NOPCLMUL-NEXT:    movabsq $6148914691236517205, %rsi # imm = 0x5555555555555555
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %r9
; SSE42-NOPCLMUL-NEXT:    shrq %rdi
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rdi,%r9,2), %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rdi,%rdi), %r9
; SSE42-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    leaq (,%r9,4), %rdi
; SSE42-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    shlq $4, %r9
; SSE42-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    movq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    shlq $8, %rdi
; SSE42-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    shlq $16, %r9
; SSE42-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    movq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    shlq $32, %rdi
; SSE42-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    bswapq %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    shrq $4, %r9
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %r9
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rdi
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rdi
; SSE42-NOPCLMUL-NEXT:    orq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %r9
; SSE42-NOPCLMUL-NEXT:    shrq $2, %rdi
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rdi,%r9,4), %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r10
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %r10
; SSE42-NOPCLMUL-NEXT:    shrq %rdi
; SSE42-NOPCLMUL-NEXT:    movabsq $6148914691236517204, %r9 # imm = 0x5555555555555554
; SSE42-NOPCLMUL-NEXT:    andq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rdi,%r10,2), %rdi
; SSE42-NOPCLMUL-NEXT:    shrq %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (,%r8,4), %r10
; SSE42-NOPCLMUL-NEXT:    xorq %r8, %r10
; SSE42-NOPCLMUL-NEXT:    movq %r10, %r8
; SSE42-NOPCLMUL-NEXT:    shlq $4, %r8
; SSE42-NOPCLMUL-NEXT:    xorq %r10, %r8
; SSE42-NOPCLMUL-NEXT:    movq %r8, %r10
; SSE42-NOPCLMUL-NEXT:    shlq $8, %r10
; SSE42-NOPCLMUL-NEXT:    xorq %r8, %r10
; SSE42-NOPCLMUL-NEXT:    movq %r10, %r11
; SSE42-NOPCLMUL-NEXT:    shlq $16, %r11
; SSE42-NOPCLMUL-NEXT:    xorq %r10, %r11
; SSE42-NOPCLMUL-NEXT:    movq %r11, %r8
; SSE42-NOPCLMUL-NEXT:    shlq $32, %r8
; SSE42-NOPCLMUL-NEXT:    xorq %r11, %r8
; SSE42-NOPCLMUL-NEXT:    xorq %r8, %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%rax), %r10
; SSE42-NOPCLMUL-NEXT:    xorq %rax, %r10
; SSE42-NOPCLMUL-NEXT:    bswapq %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    shrq $4, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rax
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rax
; SSE42-NOPCLMUL-NEXT:    orq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %r11
; SSE42-NOPCLMUL-NEXT:    shrq $2, %rax
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%r11,4), %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %r11
; SSE42-NOPCLMUL-NEXT:    shrq %rax
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%r11,2), %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%rax), %r11
; SSE42-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    leaq (,%r11,4), %rax
; SSE42-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    shlq $4, %r11
; SSE42-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    movq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    shlq $8, %rax
; SSE42-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    shlq $16, %r11
; SSE42-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    movq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    shlq $32, %rax
; SSE42-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    bswapq %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    shrq $4, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rax
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rax
; SSE42-NOPCLMUL-NEXT:    orq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %rdx
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    shrq $2, %rax
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%rdx,4), %rax
; SSE42-NOPCLMUL-NEXT:    andq %rax, %rsi
; SSE42-NOPCLMUL-NEXT:    shrq %rax
; SSE42-NOPCLMUL-NEXT:    andq %r9, %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%rsi,2), %rax
; SSE42-NOPCLMUL-NEXT:    shrq %rax
; SSE42-NOPCLMUL-NEXT:    leaq (,%r10,4), %rcx
; SSE42-NOPCLMUL-NEXT:    xorq %r10, %rcx
; SSE42-NOPCLMUL-NEXT:    movq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rdx
; SSE42-NOPCLMUL-NEXT:    xorq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    movq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    shlq $8, %rcx
; SSE42-NOPCLMUL-NEXT:    xorq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    movq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    shlq $16, %rdx
; SSE42-NOPCLMUL-NEXT:    xorq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    movq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    shlq $32, %rcx
; SSE42-NOPCLMUL-NEXT:    xorq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    xorq %rcx, %rax
; SSE42-NOPCLMUL-NEXT:    shldq $1, %rcx, %rax
; SSE42-NOPCLMUL-NEXT:    shldq $1, %r8, %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %xmm1
; SSE42-NOPCLMUL-NEXT:    movq %rax, %xmm0
; SSE42-NOPCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulr_v2i64_allones:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movq $-1, %rax
; SSE2-PCLMUL-NEXT:    movq %rax, %xmm1
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-PCLMUL-NEXT:    pclmulqdq $1, %xmm1, %xmm2
; SSE2-PCLMUL-NEXT:    movq %xmm2, %rax
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,2,3]
; SSE2-PCLMUL-NEXT:    movq %xmm2, %rcx
; SSE2-PCLMUL-NEXT:    xorq %rax, %rcx
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    movq %xmm0, %rdx
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
; SSE2-PCLMUL-NEXT:    movq %xmm0, %rsi
; SSE2-PCLMUL-NEXT:    xorq %rdx, %rsi
; SSE2-PCLMUL-NEXT:    shldq $1, %rdx, %rsi
; SSE2-PCLMUL-NEXT:    shldq $1, %rax, %rcx
; SSE2-PCLMUL-NEXT:    movq %rcx, %xmm1
; SSE2-PCLMUL-NEXT:    movq %rsi, %xmm0
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmulr_v2i64_allones:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movq $-1, %rax
; SSE42-PCLMUL-NEXT:    movq %rax, %xmm1
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-PCLMUL-NEXT:    pclmulqdq $1, %xmm1, %xmm2
; SSE42-PCLMUL-NEXT:    movq %xmm2, %rax
; SSE42-PCLMUL-NEXT:    pextrq $1, %xmm2, %rcx
; SSE42-PCLMUL-NEXT:    xorq %rax, %rcx
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    movq %xmm0, %rdx
; SSE42-PCLMUL-NEXT:    pextrq $1, %xmm0, %rsi
; SSE42-PCLMUL-NEXT:    xorq %rdx, %rsi
; SSE42-PCLMUL-NEXT:    shldq $1, %rdx, %rsi
; SSE42-PCLMUL-NEXT:    shldq $1, %rax, %rcx
; SSE42-PCLMUL-NEXT:    movq %rcx, %xmm1
; SSE42-PCLMUL-NEXT:    movq %rsi, %xmm0
; SSE42-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulr_v2i64_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    movq $-1, %rax
; AVX2-NEXT:    vmovq %rax, %xmm1
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpextrq $1, %xmm2, %rcx
; AVX2-NEXT:    xorq %rax, %rcx
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rdx
; AVX2-NEXT:    vpextrq $1, %xmm0, %rsi
; AVX2-NEXT:    xorq %rdx, %rsi
; AVX2-NEXT:    shldq $1, %rdx, %rsi
; AVX2-NEXT:    shldq $1, %rax, %rcx
; AVX2-NEXT:    vmovq %rcx, %xmm0
; AVX2-NEXT:    vmovq %rsi, %xmm1
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v2i64_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    movq $-1, %rax
; AVX512-NEXT:    vmovq %rax, %xmm1
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpextrq $1, %xmm2, %rcx
; AVX512-NEXT:    xorq %rax, %rcx
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rdx
; AVX512-NEXT:    vpextrq $1, %xmm0, %rsi
; AVX512-NEXT:    xorq %rdx, %rsi
; AVX512-NEXT:    shldq $1, %rdx, %rsi
; AVX512-NEXT:    shldq $1, %rax, %rcx
; AVX512-NEXT:    vmovq %rcx, %xmm0
; AVX512-NEXT:    vmovq %rsi, %xmm1
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
; AVX512-NEXT:    retq
  %x.ext = zext <2 x i64> %x to <2 x i128>
  %clmul = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %x.ext, <2 x i128> <i128 -1, i128 -1>)
  %res.ext = lshr <2 x i128> %clmul, <i128 63, i128 63>
  %res = trunc <2 x i128> %res.ext to <2 x i64>
  ret <2 x i64> %res
}

define <16 x i8> @clmulh_v16i8_allones(<16 x i8> %x) nounwind {
; SSE2-LABEL: clmulh_v16i8_allones:
; SSE2:       # %bb.0:
; SSE2-NEXT:    pxor %xmm1, %xmm1
; SSE2-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm1[8],xmm2[9],xmm1[9],xmm2[10],xmm1[10],xmm2[11],xmm1[11],xmm2[12],xmm1[12],xmm2[13],xmm1[13],xmm2[14],xmm1[14],xmm2[15],xmm1[15]
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3],xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    paddw %xmm1, %xmm1
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psllw $2, %xmm1
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psllw $4, %xmm1
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psllw $8, %xmm1
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NEXT:    paddw %xmm1, %xmm1
; SSE2-NEXT:    pxor %xmm2, %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NEXT:    psllw $2, %xmm2
; SSE2-NEXT:    pxor %xmm1, %xmm2
; SSE2-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NEXT:    psllw $4, %xmm1
; SSE2-NEXT:    pxor %xmm2, %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NEXT:    psllw $8, %xmm2
; SSE2-NEXT:    pxor %xmm1, %xmm2
; SSE2-NEXT:    psrlw $8, %xmm2
; SSE2-NEXT:    psrlw $8, %xmm0
; SSE2-NEXT:    packuswb %xmm2, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulh_v16i8_allones:
; SSE42:       # %bb.0:
; SSE42-NEXT:    pxor %xmm1, %xmm1
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; SSE42-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
; SSE42-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NEXT:    paddw %xmm1, %xmm1
; SSE42-NEXT:    pxor %xmm0, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NEXT:    psllw $2, %xmm0
; SSE42-NEXT:    pxor %xmm1, %xmm0
; SSE42-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NEXT:    psllw $4, %xmm1
; SSE42-NEXT:    pxor %xmm0, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm3
; SSE42-NEXT:    psllw $8, %xmm3
; SSE42-NEXT:    pxor %xmm1, %xmm3
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    paddw %xmm0, %xmm0
; SSE42-NEXT:    pxor %xmm2, %xmm0
; SSE42-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NEXT:    psllw $2, %xmm1
; SSE42-NEXT:    pxor %xmm0, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NEXT:    psllw $4, %xmm2
; SSE42-NEXT:    pxor %xmm1, %xmm2
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    psllw $8, %xmm0
; SSE42-NEXT:    pxor %xmm2, %xmm0
; SSE42-NEXT:    psrlw $8, %xmm3
; SSE42-NEXT:    psrlw $8, %xmm0
; SSE42-NEXT:    packuswb %xmm3, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulh_v16i8_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX2-NEXT:    vpaddw %ymm0, %ymm0, %ymm1
; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpsllw $2, %ymm0, %ymm1
; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpsllw $4, %ymm0, %ymm1
; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpsllw $8, %ymm0, %ymm1
; AVX2-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v16i8_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT:    vpaddw %ymm0, %ymm0, %ymm1
; AVX512-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpsllw $2, %ymm0, %ymm1
; AVX512-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpsllw $4, %ymm0, %ymm1
; AVX512-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpsllw $8, %ymm0, %ymm1
; AVX512-NEXT:    vpxor %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpsrlw $8, %ymm0, %ymm0
; AVX512-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
; AVX512-NEXT:    vpmovdb %zmm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %x.ext = zext <16 x i8> %x to <16 x i16>
  %clmul = call <16 x i16> @llvm.clmul.v16i16(<16 x i16> %x.ext, <16 x i16> <i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1, i16 -1>)
  %res.ext = lshr <16 x i16> %clmul, <i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8, i16 8>
  %res = trunc <16 x i16> %res.ext to <16 x i8>
  ret <16 x i8> %res
}

define <8 x i16> @clmulh_v8i16_allones(<8 x i16> %x) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulh_v8i16_allones:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhwd {{.*#+}} xmm2 = xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
; SSE2-NOPCLMUL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1],xmm0[2],xmm1[2],xmm0[3],xmm1[3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pslld $2, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pslld $8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pslld $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrad $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrad $16, %xmm0
; SSE2-NOPCLMUL-NEXT:    packssdw %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulh_v8i16_allones:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmovzxwd {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
; SSE42-NOPCLMUL-NEXT:    punpckhwd {{.*#+}} xmm0 = xmm0[4],xmm1[4],xmm0[5],xmm1[5],xmm0[6],xmm1[6],xmm0[7],xmm1[7]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    paddd %xmm1, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pslld $2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    pslld $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    pslld $8, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    pslld $16, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    paddd %xmm0, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    pslld $2, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pslld $4, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    pslld $8, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pslld $16, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    psrld $16, %xmm1
; SSE42-NOPCLMUL-NEXT:    psrld $16, %xmm0
; SSE42-NOPCLMUL-NEXT:    packusdw %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulh_v8i16_allones:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-PCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-PCLMUL-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; SSE2-PCLMUL-NEXT:    movq %rax, %xmm2
; SSE2-PCLMUL-NEXT:    pextrw $3, %xmm0, %eax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE2-PCLMUL-NEXT:    pextrw $1, %xmm0, %eax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm5
; SSE2-PCLMUL-NEXT:    pextrw $7, %xmm0, %eax
; SSE2-PCLMUL-NEXT:    punpckhwd {{.*#+}} xmm1 = xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE2-PCLMUL-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $1, %xmm2, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm5
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm5[0],xmm0[1],xmm5[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm3[0]
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $1, %xmm2, %xmm3
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm1
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm4[0],xmm1[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm3[0]
; SSE2-PCLMUL-NEXT:    psrad $16, %xmm1
; SSE2-PCLMUL-NEXT:    psrad $16, %xmm0
; SSE2-PCLMUL-NEXT:    packssdw %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmulh_v8i16_allones:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-PCLMUL-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; SSE42-PCLMUL-NEXT:    movq %rax, %xmm2
; SSE42-PCLMUL-NEXT:    pextrw $1, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    pextrw $0, %xmm0, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm0
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm0
; SSE42-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
; SSE42-PCLMUL-NEXT:    pextrw $2, %xmm1, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    movq %xmm3, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $2, %eax, %xmm0
; SSE42-PCLMUL-NEXT:    pextrw $3, %xmm1, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    movq %xmm3, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $3, %eax, %xmm0
; SSE42-PCLMUL-NEXT:    pextrw $5, %xmm1, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    pextrw $4, %xmm1, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE42-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm3[0],xmm4[1],xmm3[1]
; SSE42-PCLMUL-NEXT:    pextrw $6, %xmm1, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm3
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-PCLMUL-NEXT:    movq %xmm3, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $2, %eax, %xmm4
; SSE42-PCLMUL-NEXT:    pextrw $7, %xmm1, %eax
; SSE42-PCLMUL-NEXT:    movd %eax, %xmm1
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm1
; SSE42-PCLMUL-NEXT:    movq %xmm1, %rax
; SSE42-PCLMUL-NEXT:    pinsrd $3, %eax, %xmm4
; SSE42-PCLMUL-NEXT:    psrld $16, %xmm4
; SSE42-PCLMUL-NEXT:    psrld $16, %xmm0
; SSE42-PCLMUL-NEXT:    packusdw %xmm4, %xmm0
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulh_v8i16_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; AVX2-NEXT:    vmovq %rax, %xmm1
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm2, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackusdw %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v8i16_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    movl $4294967295, %eax # imm = 0xFFFFFFFF
; AVX512-NEXT:    vmovq %rax, %xmm1
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm2, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm4, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpsrld $16, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %x.ext = zext <8 x i16> %x to <8 x i32>
  %clmul = call <8 x i32> @llvm.clmul.v8i32(<8 x i32> %x.ext, <8 x i32> <i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1, i32 -1>)
  %res.ext = lshr <8 x i32> %clmul, <i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16, i32 16>
  %res = trunc <8 x i32> %res.ext to <8 x i16>
  ret <8 x i16> %res
}

define <4 x i32> @clmulh_v4i32_allones(<4 x i32> %x) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulh_v4i32_allones:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    punpckhdq {{.*#+}} xmm0 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddq %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $16, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddq %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $16, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,3],xmm3[1,3]
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulh_v4i32_allones:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE42-NOPCLMUL-NEXT:    pmovzxdq {{.*#+}} xmm2 = xmm0[0],zero,xmm0[1],zero
; SSE42-NOPCLMUL-NEXT:    punpckhdq {{.*#+}} xmm0 = xmm0[2],xmm1[2],xmm0[3],xmm1[3]
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    paddq %xmm1, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $2, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    psllq $4, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $8, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    psllq $16, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    paddq %xmm0, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    psllq $2, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $4, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    psllq $8, %xmm1
; SSE42-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    psllq $16, %xmm2
; SSE42-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE42-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE42-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE42-NOPCLMUL-NEXT:    shufps {{.*#+}} xmm0 = xmm0[1,3],xmm3[1,3]
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulh_v4i32_allones:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    xorps %xmm1, %xmm1
; SSE2-PCLMUL-NEXT:    movaps %xmm0, %xmm2
; SSE2-PCLMUL-NEXT:    unpckhps {{.*#+}} xmm2 = xmm2[2],xmm1[2],xmm2[3],xmm1[3]
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm1 = xmm0[0],xmm1[1,2,3]
; SSE2-PCLMUL-NEXT:    movq $-1, %rax
; SSE2-PCLMUL-NEXT:    movq %rax, %xmm3
; SSE2-PCLMUL-NEXT:    movaps %xmm0, %xmm4
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm4 = xmm4[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm2
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm4[0]
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm1
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
; SSE2-PCLMUL-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,3],xmm2[1,3]
; SSE2-PCLMUL-NEXT:    movaps %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmulh_v4i32_allones:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movq $-1, %rax
; SSE42-PCLMUL-NEXT:    movq %rax, %xmm2
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE42-PCLMUL-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm1
; SSE42-PCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE42-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm3[2],xmm4[3],xmm3[3]
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE42-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm1[0]
; SSE42-PCLMUL-NEXT:    pmovzxdq {{.*#+}} xmm1 = xmm0[0],zero,xmm0[1],zero
; SSE42-PCLMUL-NEXT:    psrlq $32, %xmm0
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm0
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm2, %xmm1
; SSE42-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
; SSE42-PCLMUL-NEXT:    shufps {{.*#+}} xmm1 = xmm1[1,3],xmm4[1,3]
; SSE42-PCLMUL-NEXT:    movaps %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-PCLMUL-LABEL: clmulh_v4i32_allones:
; AVX2-PCLMUL:       # %bb.0:
; AVX2-PCLMUL-NEXT:    vpmovzxdq {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
; AVX2-PCLMUL-NEXT:    movq $-1, %rax
; AVX2-PCLMUL-NEXT:    vmovq %rax, %xmm1
; AVX2-PCLMUL-NEXT:    vextracti128 $1, %ymm0, %xmm2
; AVX2-PCLMUL-NEXT:    vpclmulqdq $1, %xmm1, %xmm2, %xmm3
; AVX2-PCLMUL-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm4
; AVX2-PCLMUL-NEXT:    vinserti128 $1, %xmm3, %ymm4, %ymm3
; AVX2-PCLMUL-NEXT:    vpclmulqdq $0, %xmm1, %xmm2, %xmm2
; AVX2-PCLMUL-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-PCLMUL-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-PCLMUL-NEXT:    vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm3[0],ymm0[2],ymm3[2]
; AVX2-PCLMUL-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-PCLMUL-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[1,3],xmm1[1,3]
; AVX2-PCLMUL-NEXT:    vzeroupper
; AVX2-PCLMUL-NEXT:    retq
;
; AVX2-VPCLMULQDQ-LABEL: clmulh_v4i32_allones:
; AVX2-VPCLMULQDQ:       # %bb.0:
; AVX2-VPCLMULQDQ-NEXT:    vpmovzxdq {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
; AVX2-VPCLMULQDQ-NEXT:    movq $-1, %rax
; AVX2-VPCLMULQDQ-NEXT:    vmovq %rax, %xmm1
; AVX2-VPCLMULQDQ-NEXT:    vpbroadcastq %xmm1, %ymm1
; AVX2-VPCLMULQDQ-NEXT:    vpclmulqdq $1, %ymm1, %ymm0, %ymm2
; AVX2-VPCLMULQDQ-NEXT:    vpclmulqdq $0, %ymm1, %ymm0, %ymm0
; AVX2-VPCLMULQDQ-NEXT:    vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
; AVX2-VPCLMULQDQ-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-VPCLMULQDQ-NEXT:    vshufps {{.*#+}} xmm0 = xmm0[1,3],xmm1[1,3]
; AVX2-VPCLMULQDQ-NEXT:    vzeroupper
; AVX2-VPCLMULQDQ-NEXT:    retq
;
; AVX512-LABEL: clmulh_v4i32_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxdq {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero
; AVX512-NEXT:    movq $-1, %rax
; AVX512-NEXT:    vpbroadcastq %rax, %ymm1
; AVX512-NEXT:    vpclmulqdq $1, %ymm1, %ymm0, %ymm2
; AVX512-NEXT:    vpclmulqdq $0, %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} ymm0 = ymm0[0],ymm2[0],ymm0[2],ymm2[2]
; AVX512-NEXT:    vpsrlq $32, %ymm0, %ymm0
; AVX512-NEXT:    vpmovqd %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %x.ext = zext <4 x i32> %x to <4 x i64>
  %clmul = call <4 x i64> @llvm.clmul.v4i64(<4 x i64> %x.ext, <4 x i64> <i64 -1, i64 -1, i64 -1, i64 -1>)
  %res.ext = lshr <4 x i64> %clmul, <i64 32, i64 32, i64 32, i64 32>
  %res = trunc <4 x i64> %res.ext to <4 x i32>
  ret <4 x i32> %res
}

define <2 x i64> @clmulh_v2i64_allones(<2 x i64> %x) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulh_v2i64_allones:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm0[2,3,2,3]
; SSE2-NOPCLMUL-NEXT:    movq %xmm1, %rax
; SSE2-NOPCLMUL-NEXT:    movq %xmm0, %rsi
; SSE2-NOPCLMUL-NEXT:    leaq (%rsi,%rsi), %r8
; SSE2-NOPCLMUL-NEXT:    xorq %rsi, %r8
; SSE2-NOPCLMUL-NEXT:    bswapq %rsi
; SSE2-NOPCLMUL-NEXT:    movq %rsi, %rcx
; SSE2-NOPCLMUL-NEXT:    shrq $4, %rcx
; SSE2-NOPCLMUL-NEXT:    movabsq $1085102592571150095, %rdx # imm = 0xF0F0F0F0F0F0F0F
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rsi
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rsi
; SSE2-NOPCLMUL-NEXT:    orq %rcx, %rsi
; SSE2-NOPCLMUL-NEXT:    movabsq $3689348814741910323, %rcx # imm = 0x3333333333333333
; SSE2-NOPCLMUL-NEXT:    movq %rsi, %rdi
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rdi
; SSE2-NOPCLMUL-NEXT:    shrq $2, %rsi
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rsi
; SSE2-NOPCLMUL-NEXT:    leaq (%rsi,%rdi,4), %rdi
; SSE2-NOPCLMUL-NEXT:    movabsq $6148914691236517205, %rsi # imm = 0x5555555555555555
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %r9
; SSE2-NOPCLMUL-NEXT:    shrq %rdi
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rdi,%r9,2), %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rdi,%rdi), %r9
; SSE2-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    leaq (,%r9,4), %rdi
; SSE2-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    shlq $4, %r9
; SSE2-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    movq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    shlq $8, %rdi
; SSE2-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    shlq $16, %r9
; SSE2-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    movq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    shlq $32, %rdi
; SSE2-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    bswapq %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    shrq $4, %r9
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %r9
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rdi
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rdi
; SSE2-NOPCLMUL-NEXT:    orq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %r9
; SSE2-NOPCLMUL-NEXT:    shrq $2, %rdi
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rdi,%r9,4), %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %r10
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %r10
; SSE2-NOPCLMUL-NEXT:    shrq %rdi
; SSE2-NOPCLMUL-NEXT:    movabsq $6148914691236517204, %r9 # imm = 0x5555555555555554
; SSE2-NOPCLMUL-NEXT:    andq %r9, %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rdi,%r10,2), %rdi
; SSE2-NOPCLMUL-NEXT:    shrq %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (,%r8,4), %r10
; SSE2-NOPCLMUL-NEXT:    xorq %r8, %r10
; SSE2-NOPCLMUL-NEXT:    movq %r10, %r8
; SSE2-NOPCLMUL-NEXT:    shlq $4, %r8
; SSE2-NOPCLMUL-NEXT:    xorq %r10, %r8
; SSE2-NOPCLMUL-NEXT:    movq %r8, %r10
; SSE2-NOPCLMUL-NEXT:    shlq $8, %r10
; SSE2-NOPCLMUL-NEXT:    xorq %r8, %r10
; SSE2-NOPCLMUL-NEXT:    movq %r10, %r11
; SSE2-NOPCLMUL-NEXT:    shlq $16, %r11
; SSE2-NOPCLMUL-NEXT:    xorq %r10, %r11
; SSE2-NOPCLMUL-NEXT:    movq %r11, %r8
; SSE2-NOPCLMUL-NEXT:    shlq $32, %r8
; SSE2-NOPCLMUL-NEXT:    xorq %r11, %r8
; SSE2-NOPCLMUL-NEXT:    xorq %r8, %rdi
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%rax), %r10
; SSE2-NOPCLMUL-NEXT:    xorq %rax, %r10
; SSE2-NOPCLMUL-NEXT:    bswapq %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    shrq $4, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rax
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rax
; SSE2-NOPCLMUL-NEXT:    orq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %r11
; SSE2-NOPCLMUL-NEXT:    shrq $2, %rax
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%r11,4), %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %r11
; SSE2-NOPCLMUL-NEXT:    shrq %rax
; SSE2-NOPCLMUL-NEXT:    andq %rsi, %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%r11,2), %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%rax), %r11
; SSE2-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    leaq (,%r11,4), %rax
; SSE2-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    shlq $4, %r11
; SSE2-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    movq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    shlq $8, %rax
; SSE2-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    shlq $16, %r11
; SSE2-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    movq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    shlq $32, %rax
; SSE2-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    bswapq %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE2-NOPCLMUL-NEXT:    shrq $4, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %r11
; SSE2-NOPCLMUL-NEXT:    andq %rdx, %rax
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rax
; SSE2-NOPCLMUL-NEXT:    orq %r11, %rax
; SSE2-NOPCLMUL-NEXT:    movq %rax, %rdx
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    shrq $2, %rax
; SSE2-NOPCLMUL-NEXT:    andq %rcx, %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%rdx,4), %rax
; SSE2-NOPCLMUL-NEXT:    andq %rax, %rsi
; SSE2-NOPCLMUL-NEXT:    shrq %rax
; SSE2-NOPCLMUL-NEXT:    andq %r9, %rax
; SSE2-NOPCLMUL-NEXT:    leaq (%rax,%rsi,2), %rax
; SSE2-NOPCLMUL-NEXT:    shrq %rax
; SSE2-NOPCLMUL-NEXT:    leaq (,%r10,4), %rcx
; SSE2-NOPCLMUL-NEXT:    xorq %r10, %rcx
; SSE2-NOPCLMUL-NEXT:    movq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    shlq $4, %rdx
; SSE2-NOPCLMUL-NEXT:    xorq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    movq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    shlq $8, %rcx
; SSE2-NOPCLMUL-NEXT:    xorq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    movq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    shlq $16, %rdx
; SSE2-NOPCLMUL-NEXT:    xorq %rcx, %rdx
; SSE2-NOPCLMUL-NEXT:    movq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    shlq $32, %rcx
; SSE2-NOPCLMUL-NEXT:    xorq %rdx, %rcx
; SSE2-NOPCLMUL-NEXT:    xorq %rcx, %rax
; SSE2-NOPCLMUL-NEXT:    shldq $1, %rcx, %rax
; SSE2-NOPCLMUL-NEXT:    shldq $1, %r8, %rdi
; SSE2-NOPCLMUL-NEXT:    movq %rdi, %xmm0
; SSE2-NOPCLMUL-NEXT:    movq %rax, %xmm1
; SSE2-NOPCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE42-NOPCLMUL-LABEL: clmulh_v2i64_allones:
; SSE42-NOPCLMUL:       # %bb.0:
; SSE42-NOPCLMUL-NEXT:    movq %xmm0, %rax
; SSE42-NOPCLMUL-NEXT:    pextrq $1, %xmm0, %rsi
; SSE42-NOPCLMUL-NEXT:    leaq (%rsi,%rsi), %r8
; SSE42-NOPCLMUL-NEXT:    xorq %rsi, %r8
; SSE42-NOPCLMUL-NEXT:    bswapq %rsi
; SSE42-NOPCLMUL-NEXT:    movq %rsi, %rcx
; SSE42-NOPCLMUL-NEXT:    shrq $4, %rcx
; SSE42-NOPCLMUL-NEXT:    movabsq $1085102592571150095, %rdx # imm = 0xF0F0F0F0F0F0F0F
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rsi
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rsi
; SSE42-NOPCLMUL-NEXT:    orq %rcx, %rsi
; SSE42-NOPCLMUL-NEXT:    movabsq $3689348814741910323, %rcx # imm = 0x3333333333333333
; SSE42-NOPCLMUL-NEXT:    movq %rsi, %rdi
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rdi
; SSE42-NOPCLMUL-NEXT:    shrq $2, %rsi
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rsi
; SSE42-NOPCLMUL-NEXT:    leaq (%rsi,%rdi,4), %rdi
; SSE42-NOPCLMUL-NEXT:    movabsq $6148914691236517205, %rsi # imm = 0x5555555555555555
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %r9
; SSE42-NOPCLMUL-NEXT:    shrq %rdi
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rdi,%r9,2), %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rdi,%rdi), %r9
; SSE42-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    leaq (,%r9,4), %rdi
; SSE42-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    shlq $4, %r9
; SSE42-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    movq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    shlq $8, %rdi
; SSE42-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    shlq $16, %r9
; SSE42-NOPCLMUL-NEXT:    xorq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    movq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    shlq $32, %rdi
; SSE42-NOPCLMUL-NEXT:    xorq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    bswapq %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    shrq $4, %r9
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %r9
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rdi
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rdi
; SSE42-NOPCLMUL-NEXT:    orq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r9
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %r9
; SSE42-NOPCLMUL-NEXT:    shrq $2, %rdi
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rdi,%r9,4), %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %r10
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %r10
; SSE42-NOPCLMUL-NEXT:    shrq %rdi
; SSE42-NOPCLMUL-NEXT:    movabsq $6148914691236517204, %r9 # imm = 0x5555555555555554
; SSE42-NOPCLMUL-NEXT:    andq %r9, %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rdi,%r10,2), %rdi
; SSE42-NOPCLMUL-NEXT:    shrq %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (,%r8,4), %r10
; SSE42-NOPCLMUL-NEXT:    xorq %r8, %r10
; SSE42-NOPCLMUL-NEXT:    movq %r10, %r8
; SSE42-NOPCLMUL-NEXT:    shlq $4, %r8
; SSE42-NOPCLMUL-NEXT:    xorq %r10, %r8
; SSE42-NOPCLMUL-NEXT:    movq %r8, %r10
; SSE42-NOPCLMUL-NEXT:    shlq $8, %r10
; SSE42-NOPCLMUL-NEXT:    xorq %r8, %r10
; SSE42-NOPCLMUL-NEXT:    movq %r10, %r11
; SSE42-NOPCLMUL-NEXT:    shlq $16, %r11
; SSE42-NOPCLMUL-NEXT:    xorq %r10, %r11
; SSE42-NOPCLMUL-NEXT:    movq %r11, %r8
; SSE42-NOPCLMUL-NEXT:    shlq $32, %r8
; SSE42-NOPCLMUL-NEXT:    xorq %r11, %r8
; SSE42-NOPCLMUL-NEXT:    xorq %r8, %rdi
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%rax), %r10
; SSE42-NOPCLMUL-NEXT:    xorq %rax, %r10
; SSE42-NOPCLMUL-NEXT:    bswapq %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    shrq $4, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rax
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rax
; SSE42-NOPCLMUL-NEXT:    orq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %r11
; SSE42-NOPCLMUL-NEXT:    shrq $2, %rax
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%r11,4), %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %r11
; SSE42-NOPCLMUL-NEXT:    shrq %rax
; SSE42-NOPCLMUL-NEXT:    andq %rsi, %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%r11,2), %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%rax), %r11
; SSE42-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    leaq (,%r11,4), %rax
; SSE42-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    shlq $4, %r11
; SSE42-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    movq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    shlq $8, %rax
; SSE42-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    shlq $16, %r11
; SSE42-NOPCLMUL-NEXT:    xorq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    movq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    shlq $32, %rax
; SSE42-NOPCLMUL-NEXT:    xorq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    bswapq %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %r11
; SSE42-NOPCLMUL-NEXT:    shrq $4, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %r11
; SSE42-NOPCLMUL-NEXT:    andq %rdx, %rax
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rax
; SSE42-NOPCLMUL-NEXT:    orq %r11, %rax
; SSE42-NOPCLMUL-NEXT:    movq %rax, %rdx
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    shrq $2, %rax
; SSE42-NOPCLMUL-NEXT:    andq %rcx, %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%rdx,4), %rax
; SSE42-NOPCLMUL-NEXT:    andq %rax, %rsi
; SSE42-NOPCLMUL-NEXT:    shrq %rax
; SSE42-NOPCLMUL-NEXT:    andq %r9, %rax
; SSE42-NOPCLMUL-NEXT:    leaq (%rax,%rsi,2), %rax
; SSE42-NOPCLMUL-NEXT:    shrq %rax
; SSE42-NOPCLMUL-NEXT:    leaq (,%r10,4), %rcx
; SSE42-NOPCLMUL-NEXT:    xorq %r10, %rcx
; SSE42-NOPCLMUL-NEXT:    movq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    shlq $4, %rdx
; SSE42-NOPCLMUL-NEXT:    xorq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    movq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    shlq $8, %rcx
; SSE42-NOPCLMUL-NEXT:    xorq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    movq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    shlq $16, %rdx
; SSE42-NOPCLMUL-NEXT:    xorq %rcx, %rdx
; SSE42-NOPCLMUL-NEXT:    movq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    shlq $32, %rcx
; SSE42-NOPCLMUL-NEXT:    xorq %rdx, %rcx
; SSE42-NOPCLMUL-NEXT:    xorq %rcx, %rax
; SSE42-NOPCLMUL-NEXT:    shldq $1, %rcx, %rax
; SSE42-NOPCLMUL-NEXT:    shldq $1, %r8, %rdi
; SSE42-NOPCLMUL-NEXT:    movq %rdi, %xmm1
; SSE42-NOPCLMUL-NEXT:    movq %rax, %xmm0
; SSE42-NOPCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE42-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulh_v2i64_allones:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movq $-1, %rax
; SSE2-PCLMUL-NEXT:    movq %rax, %xmm1
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-PCLMUL-NEXT:    pclmulqdq $1, %xmm1, %xmm2
; SSE2-PCLMUL-NEXT:    movq %xmm2, %rax
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,2,3]
; SSE2-PCLMUL-NEXT:    movq %xmm2, %rcx
; SSE2-PCLMUL-NEXT:    xorq %rax, %rcx
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    movq %xmm0, %rdx
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
; SSE2-PCLMUL-NEXT:    movq %xmm0, %rsi
; SSE2-PCLMUL-NEXT:    xorq %rdx, %rsi
; SSE2-PCLMUL-NEXT:    shldq $1, %rdx, %rsi
; SSE2-PCLMUL-NEXT:    shldq $1, %rax, %rcx
; SSE2-PCLMUL-NEXT:    movq %rcx, %xmm1
; SSE2-PCLMUL-NEXT:    movq %rsi, %xmm0
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-PCLMUL-LABEL: clmulh_v2i64_allones:
; SSE42-PCLMUL:       # %bb.0:
; SSE42-PCLMUL-NEXT:    movq $-1, %rax
; SSE42-PCLMUL-NEXT:    movq %rax, %xmm1
; SSE42-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE42-PCLMUL-NEXT:    pclmulqdq $1, %xmm1, %xmm2
; SSE42-PCLMUL-NEXT:    movq %xmm2, %rax
; SSE42-PCLMUL-NEXT:    pextrq $1, %xmm2, %rcx
; SSE42-PCLMUL-NEXT:    xorq %rax, %rcx
; SSE42-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE42-PCLMUL-NEXT:    movq %xmm0, %rdx
; SSE42-PCLMUL-NEXT:    pextrq $1, %xmm0, %rsi
; SSE42-PCLMUL-NEXT:    xorq %rdx, %rsi
; SSE42-PCLMUL-NEXT:    shldq $1, %rdx, %rsi
; SSE42-PCLMUL-NEXT:    shldq $1, %rax, %rcx
; SSE42-PCLMUL-NEXT:    movq %rcx, %xmm1
; SSE42-PCLMUL-NEXT:    movq %rsi, %xmm0
; SSE42-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE42-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulh_v2i64_allones:
; AVX2:       # %bb.0:
; AVX2-NEXT:    movq $-1, %rax
; AVX2-NEXT:    vmovq %rax, %xmm1
; AVX2-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpextrq $1, %xmm2, %rcx
; AVX2-NEXT:    xorq %rax, %rcx
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rdx
; AVX2-NEXT:    vpextrq $1, %xmm0, %rsi
; AVX2-NEXT:    xorq %rdx, %rsi
; AVX2-NEXT:    shldq $1, %rdx, %rsi
; AVX2-NEXT:    shldq $1, %rax, %rcx
; AVX2-NEXT:    vmovq %rcx, %xmm0
; AVX2-NEXT:    vmovq %rsi, %xmm1
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v2i64_allones:
; AVX512:       # %bb.0:
; AVX512-NEXT:    movq $-1, %rax
; AVX512-NEXT:    vmovq %rax, %xmm1
; AVX512-NEXT:    vpclmulqdq $1, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpextrq $1, %xmm2, %rcx
; AVX512-NEXT:    xorq %rax, %rcx
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rdx
; AVX512-NEXT:    vpextrq $1, %xmm0, %rsi
; AVX512-NEXT:    xorq %rdx, %rsi
; AVX512-NEXT:    shldq $1, %rdx, %rsi
; AVX512-NEXT:    shldq $1, %rax, %rcx
; AVX512-NEXT:    vmovq %rcx, %xmm0
; AVX512-NEXT:    vmovq %rsi, %xmm1
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
; AVX512-NEXT:    retq
  %x.ext = zext <2 x i64> %x to <2 x i128>
  %clmul = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %x.ext, <2 x i128> <i128 -1, i128 -1>)
  %res.ext = lshr <2 x i128> %clmul, <i128 63, i128 63>
  %res = trunc <2 x i128> %res.ext to <2 x i64>
  ret <2 x i64> %res
}