llvm/test/CodeGen/X86/clmul-vector.ll

; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py
; RUN: llc < %s -mtriple=x86_64-- -mattr=+sse2    | FileCheck %s --check-prefixes=SSE2,SSE2-NOPCLMUL
; RUN: llc < %s -mtriple=x86_64-- -mattr=+sse2,+pclmul | FileCheck %s --check-prefixes=SSE2,SSE-PCLMUL,SSE2-PCLMUL
; RUN: llc < %s -mtriple=x86_64-- -mattr=+sse4.2,+pclmul | FileCheck %s --check-prefixes=SSE-PCLMUL,SSE42
; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx2,+pclmul | FileCheck %s --check-prefixes=AVX2
; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx2,+vpclmulqdq | FileCheck %s --check-prefixes=AVX2
; RUN: llc < %s -mtriple=x86_64-- -mattr=+avx512vl,+vpclmulqdq | FileCheck %s --check-prefixes=AVX512

define <16 x i8> @clmul_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
; SSE2-LABEL: clmul_v16i8:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    movdqa %xmm4, %xmm5
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm5 = xmm5[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [255,255,255,255,255,255,255,255]
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    packuswb %xmm5, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm6
; SSE2-NEXT:    pand %xmm3, %xmm6
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    packuswb %xmm6, %xmm5
; SSE2-NEXT:    pxor %xmm4, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    movdqa %xmm6, %xmm4
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm4 = xmm4[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pand %xmm3, %xmm6
; SSE2-NEXT:    packuswb %xmm4, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    movdqa %xmm4, %xmm7
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm7
; SSE2-NEXT:    pand %xmm3, %xmm7
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm4 = xmm4[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    packuswb %xmm7, %xmm4
; SSE2-NEXT:    pxor %xmm6, %xmm4
; SSE2-NEXT:    pxor %xmm5, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm6
; SSE2-NEXT:    pand %xmm3, %xmm6
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    packuswb %xmm6, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    movdqa %xmm6, %xmm7
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm7
; SSE2-NEXT:    pand %xmm3, %xmm7
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm6 = xmm6[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pand %xmm3, %xmm6
; SSE2-NEXT:    packuswb %xmm7, %xmm6
; SSE2-NEXT:    pxor %xmm5, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm7
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm7 = xmm7[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm7
; SSE2-NEXT:    pand %xmm3, %xmm7
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    packuswb %xmm7, %xmm5
; SSE2-NEXT:    pxor %xmm6, %xmm5
; SSE2-NEXT:    pxor %xmm4, %xmm5
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm4 = xmm4[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm2, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm1, %xmm0
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    packuswb %xmm4, %xmm0
; SSE2-NEXT:    pxor %xmm5, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmul_v16i8:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NEXT:    pmullw %xmm3, %xmm4
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255]
; SSE42-NEXT:    pand %xmm2, %xmm4
; SSE42-NEXT:    movdqa %xmm2, %xmm5
; SSE42-NEXT:    pandn %xmm3, %xmm5
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    pmaddubsw %xmm5, %xmm3
; SSE42-NEXT:    psllw $8, %xmm3
; SSE42-NEXT:    por %xmm4, %xmm3
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmullw %xmm4, %xmm5
; SSE42-NEXT:    pand %xmm2, %xmm5
; SSE42-NEXT:    movdqa %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm4, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NEXT:    pmaddubsw %xmm6, %xmm4
; SSE42-NEXT:    psllw $8, %xmm4
; SSE42-NEXT:    por %xmm5, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmullw %xmm3, %xmm5
; SSE42-NEXT:    pand %xmm2, %xmm5
; SSE42-NEXT:    movdqa %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm3, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm7
; SSE42-NEXT:    pmaddubsw %xmm6, %xmm7
; SSE42-NEXT:    psllw $8, %xmm7
; SSE42-NEXT:    por %xmm5, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmullw %xmm3, %xmm5
; SSE42-NEXT:    pand %xmm2, %xmm5
; SSE42-NEXT:    movdqa %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm3, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    pmaddubsw %xmm6, %xmm3
; SSE42-NEXT:    psllw $8, %xmm3
; SSE42-NEXT:    por %xmm5, %xmm3
; SSE42-NEXT:    pxor %xmm7, %xmm3
; SSE42-NEXT:    pxor %xmm4, %xmm3
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmullw %xmm4, %xmm5
; SSE42-NEXT:    pand %xmm2, %xmm5
; SSE42-NEXT:    movdqa %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm4, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NEXT:    pmaddubsw %xmm6, %xmm4
; SSE42-NEXT:    psllw $8, %xmm4
; SSE42-NEXT:    por %xmm5, %xmm4
; SSE42-NEXT:    movdqa {{.*#+}} xmm5 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm1, %xmm5
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pmullw %xmm5, %xmm6
; SSE42-NEXT:    pand %xmm2, %xmm6
; SSE42-NEXT:    movdqa %xmm2, %xmm7
; SSE42-NEXT:    pandn %xmm5, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pmaddubsw %xmm7, %xmm5
; SSE42-NEXT:    psllw $8, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    pxor %xmm4, %xmm5
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pmullw %xmm4, %xmm6
; SSE42-NEXT:    pand %xmm2, %xmm6
; SSE42-NEXT:    movdqa %xmm2, %xmm7
; SSE42-NEXT:    pandn %xmm4, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm4
; SSE42-NEXT:    pmaddubsw %xmm7, %xmm4
; SSE42-NEXT:    psllw $8, %xmm4
; SSE42-NEXT:    por %xmm6, %xmm4
; SSE42-NEXT:    pxor %xmm5, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    pmullw %xmm1, %xmm3
; SSE42-NEXT:    pand %xmm2, %xmm3
; SSE42-NEXT:    pandn %xmm1, %xmm2
; SSE42-NEXT:    pmaddubsw %xmm2, %xmm0
; SSE42-NEXT:    psllw $8, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    pxor %xmm4, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmul_v16i8:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm2
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero,xmm2[8],zero,xmm2[9],zero,xmm2[10],zero,xmm2[11],zero,xmm2[12],zero,xmm2[13],zero,xmm2[14],zero,xmm2[15],zero
; AVX2-NEXT:    vpmullw %ymm2, %ymm0, %ymm3
; AVX2-NEXT:    vpbroadcastw {{.*#+}} ymm2 = [255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255]
; AVX2-NEXT:    vpand %ymm2, %ymm3, %ymm3
; AVX2-NEXT:    vextracti128 $1, %ymm3, %xmm4
; AVX2-NEXT:    vpackuswb %xmm4, %xmm3, %xmm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm4
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero,xmm4[8],zero,xmm4[9],zero,xmm4[10],zero,xmm4[11],zero,xmm4[12],zero,xmm4[13],zero,xmm4[14],zero,xmm4[15],zero
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpand %ymm2, %ymm4, %ymm4
; AVX2-NEXT:    vextracti128 $1, %ymm4, %xmm5
; AVX2-NEXT:    vpackuswb %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpxor %xmm3, %xmm4, %xmm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm4
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero,xmm4[8],zero,xmm4[9],zero,xmm4[10],zero,xmm4[11],zero,xmm4[12],zero,xmm4[13],zero,xmm4[14],zero,xmm4[15],zero
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpand %ymm2, %ymm4, %ymm4
; AVX2-NEXT:    vextracti128 $1, %ymm4, %xmm5
; AVX2-NEXT:    vpackuswb %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm5
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm5 = xmm5[0],zero,xmm5[1],zero,xmm5[2],zero,xmm5[3],zero,xmm5[4],zero,xmm5[5],zero,xmm5[6],zero,xmm5[7],zero,xmm5[8],zero,xmm5[9],zero,xmm5[10],zero,xmm5[11],zero,xmm5[12],zero,xmm5[13],zero,xmm5[14],zero,xmm5[15],zero
; AVX2-NEXT:    vpmullw %ymm5, %ymm0, %ymm5
; AVX2-NEXT:    vpand %ymm2, %ymm5, %ymm5
; AVX2-NEXT:    vextracti128 $1, %ymm5, %xmm6
; AVX2-NEXT:    vpackuswb %xmm6, %xmm5, %xmm5
; AVX2-NEXT:    vpxor %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpxor %xmm4, %xmm3, %xmm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm4
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero,xmm4[8],zero,xmm4[9],zero,xmm4[10],zero,xmm4[11],zero,xmm4[12],zero,xmm4[13],zero,xmm4[14],zero,xmm4[15],zero
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpand %ymm2, %ymm4, %ymm4
; AVX2-NEXT:    vextracti128 $1, %ymm4, %xmm5
; AVX2-NEXT:    vpackuswb %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm5
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm5 = xmm5[0],zero,xmm5[1],zero,xmm5[2],zero,xmm5[3],zero,xmm5[4],zero,xmm5[5],zero,xmm5[6],zero,xmm5[7],zero,xmm5[8],zero,xmm5[9],zero,xmm5[10],zero,xmm5[11],zero,xmm5[12],zero,xmm5[13],zero,xmm5[14],zero,xmm5[15],zero
; AVX2-NEXT:    vpmullw %ymm5, %ymm0, %ymm5
; AVX2-NEXT:    vpand %ymm2, %ymm5, %ymm5
; AVX2-NEXT:    vextracti128 $1, %ymm5, %xmm6
; AVX2-NEXT:    vpackuswb %xmm6, %xmm5, %xmm5
; AVX2-NEXT:    vpxor %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm5
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm5 = xmm5[0],zero,xmm5[1],zero,xmm5[2],zero,xmm5[3],zero,xmm5[4],zero,xmm5[5],zero,xmm5[6],zero,xmm5[7],zero,xmm5[8],zero,xmm5[9],zero,xmm5[10],zero,xmm5[11],zero,xmm5[12],zero,xmm5[13],zero,xmm5[14],zero,xmm5[15],zero
; AVX2-NEXT:    vpmullw %ymm5, %ymm0, %ymm5
; AVX2-NEXT:    vpand %ymm2, %ymm5, %ymm5
; AVX2-NEXT:    vextracti128 $1, %ymm5, %xmm6
; AVX2-NEXT:    vpackuswb %xmm6, %xmm5, %xmm5
; AVX2-NEXT:    vpxor %xmm5, %xmm4, %xmm4
; AVX2-NEXT:    vpxor %xmm4, %xmm3, %xmm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX2-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpand %ymm2, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpxor %xmm0, %xmm3, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v16i8:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm2
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero,xmm2[8],zero,xmm2[9],zero,xmm2[10],zero,xmm2[11],zero,xmm2[12],zero,xmm2[13],zero,xmm2[14],zero,xmm2[15],zero
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm3
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm3 = xmm3[0],zero,xmm3[1],zero,xmm3[2],zero,xmm3[3],zero,xmm3[4],zero,xmm3[5],zero,xmm3[6],zero,xmm3[7],zero,xmm3[8],zero,xmm3[9],zero,xmm3[10],zero,xmm3[11],zero,xmm3[12],zero,xmm3[13],zero,xmm3[14],zero,xmm3[15],zero
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm3
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm3 = xmm3[0],zero,xmm3[1],zero,xmm3[2],zero,xmm3[3],zero,xmm3[4],zero,xmm3[5],zero,xmm3[6],zero,xmm3[7],zero,xmm3[8],zero,xmm3[9],zero,xmm3[10],zero,xmm3[11],zero,xmm3[12],zero,xmm3[13],zero,xmm3[14],zero,xmm3[15],zero
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm4
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm4 = xmm4[0],zero,xmm4[1],zero,xmm4[2],zero,xmm4[3],zero,xmm4[4],zero,xmm4[5],zero,xmm4[6],zero,xmm4[7],zero,xmm4[8],zero,xmm4[9],zero,xmm4[10],zero,xmm4[11],zero,xmm4[12],zero,xmm4[13],zero,xmm4[14],zero,xmm4[15],zero
; AVX512-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm2
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero,xmm2[8],zero,xmm2[9],zero,xmm2[10],zero,xmm2[11],zero,xmm2[12],zero,xmm2[13],zero,xmm2[14],zero,xmm2[15],zero
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm3
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm3 = xmm3[0],zero,xmm3[1],zero,xmm3[2],zero,xmm3[3],zero,xmm3[4],zero,xmm3[5],zero,xmm3[6],zero,xmm3[7],zero,xmm3[8],zero,xmm3[9],zero,xmm3[10],zero,xmm3[11],zero,xmm3[12],zero,xmm3[13],zero,xmm3[14],zero,xmm3[15],zero
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm2
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm2 = xmm2[0],zero,xmm2[1],zero,xmm2[2],zero,xmm2[3],zero,xmm2[4],zero,xmm2[5],zero,xmm2[6],zero,xmm2[7],zero,xmm2[8],zero,xmm2[9],zero,xmm2[10],zero,xmm2[11],zero,xmm2[12],zero,xmm2[13],zero,xmm2[14],zero,xmm2[15],zero
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to4}, %xmm1, %xmm1
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX512-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
; AVX512-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
; AVX512-NEXT:    vpmovdb %zmm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %res = call <16 x i8> @llvm.clmul.v16i8(<16 x i8> %a, <16 x i8> %b)
  ret <16 x i8> %res
}

define <8 x i16> @clmul_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; SSE2-LABEL: clmul_v8i16:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [1,1,1,1,1,1,1,1]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pmullw %xmm0, %xmm3
; SSE2-NEXT:    pxor %xmm2, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pxor %xmm2, %xmm4
; SSE2-NEXT:    pxor %xmm3, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pxor %xmm2, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [64,64,64,64,64,64,64,64]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pmullw %xmm0, %xmm3
; SSE2-NEXT:    pxor %xmm5, %xmm3
; SSE2-NEXT:    pxor %xmm4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [256,256,256,256,256,256,256,256]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pxor %xmm2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm5 = [512,512,512,512,512,512,512,512]
; SSE2-NEXT:    pand %xmm1, %xmm5
; SSE2-NEXT:    pmullw %xmm0, %xmm5
; SSE2-NEXT:    pxor %xmm4, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE2-NEXT:    pand %xmm1, %xmm2
; SSE2-NEXT:    pmullw %xmm0, %xmm2
; SSE2-NEXT:    pxor %xmm5, %xmm2
; SSE2-NEXT:    pxor %xmm3, %xmm2
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [2048,2048,2048,2048,2048,2048,2048,2048]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pmullw %xmm0, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pxor %xmm3, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE2-NEXT:    pand %xmm1, %xmm3
; SSE2-NEXT:    pmullw %xmm0, %xmm3
; SSE2-NEXT:    pxor %xmm4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [16384,16384,16384,16384,16384,16384,16384,16384]
; SSE2-NEXT:    pand %xmm1, %xmm4
; SSE2-NEXT:    pmullw %xmm0, %xmm4
; SSE2-NEXT:    pxor %xmm3, %xmm4
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    pmullw %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm4, %xmm0
; SSE2-NEXT:    pxor %xmm2, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmul_v8i16:
; SSE42:       # %bb.0:
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm2 = [2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm3 = [1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pmullw %xmm0, %xmm3
; SSE42-NEXT:    pxor %xmm2, %xmm3
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm2 = [4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm4 = [8,8,8,8,8,8,8,8]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    pmullw %xmm0, %xmm4
; SSE42-NEXT:    pxor %xmm2, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm2 = [16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm5 = [32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm1, %xmm5
; SSE42-NEXT:    pmullw %xmm0, %xmm5
; SSE42-NEXT:    pxor %xmm2, %xmm5
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm3 = [64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pmullw %xmm0, %xmm3
; SSE42-NEXT:    pxor %xmm5, %xmm3
; SSE42-NEXT:    pxor %xmm4, %xmm3
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = [128,128,128,128,128,128,128,128]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [256,256,256,256,256,256,256,256]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    pmullw %xmm0, %xmm4
; SSE42-NEXT:    pxor %xmm2, %xmm4
; SSE42-NEXT:    movdqa {{.*#+}} xmm5 = [512,512,512,512,512,512,512,512]
; SSE42-NEXT:    pand %xmm1, %xmm5
; SSE42-NEXT:    pmullw %xmm0, %xmm5
; SSE42-NEXT:    pxor %xmm4, %xmm5
; SSE42-NEXT:    movdqa {{.*#+}} xmm2 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE42-NEXT:    pand %xmm1, %xmm2
; SSE42-NEXT:    pmullw %xmm0, %xmm2
; SSE42-NEXT:    pxor %xmm5, %xmm2
; SSE42-NEXT:    pxor %xmm3, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [2048,2048,2048,2048,2048,2048,2048,2048]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pmullw %xmm0, %xmm3
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    pmullw %xmm0, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE42-NEXT:    pand %xmm1, %xmm3
; SSE42-NEXT:    pmullw %xmm0, %xmm3
; SSE42-NEXT:    pxor %xmm4, %xmm3
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [16384,16384,16384,16384,16384,16384,16384,16384]
; SSE42-NEXT:    pand %xmm1, %xmm4
; SSE42-NEXT:    pmullw %xmm0, %xmm4
; SSE42-NEXT:    pxor %xmm3, %xmm4
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE42-NEXT:    pmullw %xmm1, %xmm0
; SSE42-NEXT:    pxor %xmm4, %xmm0
; SSE42-NEXT:    pxor %xmm2, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmul_v8i16:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX2-NEXT:    vmovq %xmm5, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpshufb {{.*#+}} ymm0 = ymm0[0,1,4,5,8,9,12,13,u,u,u,u,u,u,u,u,16,17,20,21,24,25,28,29,u,u,u,u,u,u,u,u]
; AVX2-NEXT:    vpermq {{.*#+}} ymm0 = ymm0[0,2,2,3]
; AVX2-NEXT:    # kill: def $xmm0 killed $xmm0 killed $ymm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v8i16:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX512-NEXT:    vmovq %xmm5, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %res = call <8 x i16> @llvm.clmul.v8i16(<8 x i16> %a, <8 x i16> %b)
  ret <8 x i16> %res
}

define <4 x i32> @clmul_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmul_v4i32:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [2,2,2,2]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm2[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm3[0],xmm5[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1,1,1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm3[0],xmm4[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [4,4,4,4]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm3[0],xmm5[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [8,8,8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm6[0],xmm3[1],xmm6[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [16,16,16,16]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm4[0],xmm5[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [32,32,32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm4[0],xmm6[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [64,64,64,64]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [128,128,128,128]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm3[0],xmm5[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [256,256,256,256]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm3[0],xmm6[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [512,512,512,512]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm3[0],xmm5[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [1024,1024,1024,1024]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm6[0],xmm3[1],xmm6[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [2048,2048,2048,2048]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm4[0],xmm5[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [4096,4096,4096,4096]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm4[0],xmm6[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [8192,8192,8192,8192]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm4[0],xmm5[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [16384,16384,16384,16384]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm4[0],xmm6[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [32768,32768,32768,32768]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [65536,65536,65536,65536]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm3[0],xmm5[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [131072,131072,131072,131072]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm3[0],xmm6[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [262144,262144,262144,262144]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm3[0],xmm5[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [524288,524288,524288,524288]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm3[0],xmm6[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1048576,1048576,1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm3[0],xmm5[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2097152,2097152,2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm6[0],xmm3[1],xmm6[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [4194304,4194304,4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm4[0],xmm5[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [8388608,8388608,8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm4[0],xmm6[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [16777216,16777216,16777216,16777216]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm4[0],xmm5[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [33554432,33554432,33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm4[0],xmm6[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [67108864,67108864,67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm4[0],xmm5[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [134217728,134217728,134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm4[0],xmm6[1],xmm4[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [268435456,268435456,268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [536870912,536870912,536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm5[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm5 = xmm5[0],xmm3[0],xmm5[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1073741824,1073741824,1073741824,1073741824]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm3[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm6 = xmm6[0],xmm3[0],xmm6[1],xmm3[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmul_v4i32:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm1
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-LABEL: clmul_v4i32:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    pclmulqdq $0, %xmm1, %xmm2
; SSE42-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[1,1,1,1]
; SSE42-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; SSE42-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE42-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE42-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[3,3,3,3]
; SSE42-NEXT:    pclmulqdq $17, %xmm1, %xmm0
; SSE42-NEXT:    movq %xmm0, %rax
; SSE42-NEXT:    pinsrd $2, %eax, %xmm2
; SSE42-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[3,3,3,3]
; SSE42-NEXT:    pclmulqdq $0, %xmm3, %xmm0
; SSE42-NEXT:    movq %xmm0, %rax
; SSE42-NEXT:    pinsrd $3, %eax, %xmm2
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmul_v4i32:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v4i32:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpshufd {{.*#+}} xmm3 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX512-NEXT:    retq
  %res = call <4 x i32> @llvm.clmul.v4i32(<4 x i32> %a, <4 x i32> %b)
  ret <4 x i32> %res
}

define <2 x i64> @clmul_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmul_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm15, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm14, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm13, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [16777216,16777216]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [1073741824,1073741824]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm10, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm10, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2,2]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [4,4]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [16,16]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [64,64]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [128,128]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [256,256]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [512,512]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1024,1024]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [2048,2048]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [4096,4096]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [8192,8192]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [16384,16384]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [32768,32768]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [65536,65536]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [131072,131072]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [262144,262144]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm1 = [524288,524288]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm15
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm15
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm14
; SSE2-NOPCLMUL-NEXT:    pxor %xmm15, %xmm14
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm13
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm13
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm14, %xmm13
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    pxor %xmm13, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2147483648,2147483648]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: clmul_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmul_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmul_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    retq
  %res = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %a, <2 x i64> %b)
  ret <2 x i64> %res
}

define <16 x i8> @clmulr_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
; SSE2-LABEL: clmulr_v16i8:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NEXT:    psrlw $4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NEXT:    pand %xmm2, %xmm3
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm3, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NEXT:    psrlw $2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm4, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    psrlw $1, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm5, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NEXT:    psrlw $4, %xmm5
; SSE2-NEXT:    pand %xmm2, %xmm5
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    psllw $4, %xmm1
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    psllw $2, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm8
; SSE2-NEXT:    psrlw $1, %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    paddb %xmm5, %xmm5
; SSE2-NEXT:    por %xmm5, %xmm1
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    movdqa %xmm9, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [255,255,255,255,255,255,255,255]
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm9 = xmm9[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    packuswb %xmm10, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm10 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm5, %xmm10
; SSE2-NEXT:    movdqa %xmm10, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm10 = xmm10[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    packuswb %xmm11, %xmm10
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm8 = xmm8[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    packuswb %xmm11, %xmm8
; SSE2-NEXT:    pxor %xmm10, %xmm8
; SSE2-NEXT:    pxor %xmm9, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm10 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm5, %xmm10
; SSE2-NEXT:    movdqa %xmm10, %xmm9
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm9 = xmm9[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm10 = xmm10[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    packuswb %xmm9, %xmm10
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    movdqa %xmm9, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm9 = xmm9[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    packuswb %xmm11, %xmm9
; SSE2-NEXT:    pxor %xmm10, %xmm9
; SSE2-NEXT:    pxor %xmm8, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm8 = xmm8[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    packuswb %xmm10, %xmm8
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm1
; SSE2-NEXT:    pand %xmm7, %xmm1
; SSE2-NEXT:    packuswb %xmm10, %xmm1
; SSE2-NEXT:    pxor %xmm8, %xmm1
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm8
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm8 = xmm8[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm5, %xmm0
; SSE2-NEXT:    pand %xmm7, %xmm0
; SSE2-NEXT:    packuswb %xmm8, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm9, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $1, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulr_v16i8:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NEXT:    pand %xmm4, %xmm0
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NEXT:    pshufb %xmm0, %xmm6
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pshufb %xmm2, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pshufb %xmm2, %xmm6
; SSE42-NEXT:    movdqa {{.*#+}} xmm7 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm6, %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm7, %xmm8
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm7, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm10
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm10
; SSE42-NEXT:    psllw $8, %xmm10
; SSE42-NEXT:    por %xmm8, %xmm10
; SSE42-NEXT:    movdqa {{.*#+}} xmm7 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm6, %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm7, %xmm8
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm7, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm7
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm7
; SSE42-NEXT:    psllw $8, %xmm7
; SSE42-NEXT:    por %xmm8, %xmm7
; SSE42-NEXT:    pxor %xmm10, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm6, %xmm8
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm8, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm8, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm8
; SSE42-NEXT:    psllw $8, %xmm8
; SSE42-NEXT:    por %xmm9, %xmm8
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm6, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm6
; SSE42-NEXT:    psllw $8, %xmm6
; SSE42-NEXT:    por %xmm9, %xmm6
; SSE42-NEXT:    pxor %xmm8, %xmm6
; SSE42-NEXT:    pxor %xmm7, %xmm6
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm1, %xmm8
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm1, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm1
; SSE42-NEXT:    psllw $8, %xmm1
; SSE42-NEXT:    por %xmm8, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm7, %xmm8
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm8, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm8, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm8
; SSE42-NEXT:    psllw $8, %xmm8
; SSE42-NEXT:    por %xmm9, %xmm8
; SSE42-NEXT:    pxor %xmm1, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm1, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm1, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm1
; SSE42-NEXT:    psllw $8, %xmm1
; SSE42-NEXT:    por %xmm9, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    pxor %xmm6, %xmm1
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NEXT:    pmullw %xmm7, %xmm6
; SSE42-NEXT:    pand %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm7, %xmm2
; SSE42-NEXT:    pmaddubsw %xmm2, %xmm5
; SSE42-NEXT:    psllw $8, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    pxor %xmm1, %xmm5
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    pshufb %xmm1, %xmm3
; SSE42-NEXT:    psrlw $4, %xmm5
; SSE42-NEXT:    pand %xmm4, %xmm5
; SSE42-NEXT:    pshufb %xmm5, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulr_v16i8:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm2
; AVX2-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpxor %ymm3, %ymm2, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpxor %ymm3, %ymm2, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1
; AVX2-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpxor %ymm0, %ymm2, %ymm0
; AVX2-NEXT:    vpsrlw $7, %ymm0, %ymm0
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v16i8:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
; AVX512-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm1
; AVX512-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
; AVX512-NEXT:    vpsrlw $7, %ymm0, %ymm0
; AVX512-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
; AVX512-NEXT:    vpmovdb %zmm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %a.ext = zext <16 x i8> %a to <16 x i16>
  %b.ext = zext <16 x i8> %b to <16 x i16>
  %clmul = call <16 x i16> @llvm.clmul.v16i16(<16 x i16> %a.ext, <16 x i16> %b.ext)
  %res.ext = lshr <16 x i16> %clmul, splat (i16 7)
  %res = trunc <16 x i16> %res.ext to <16 x i8>
  ret <16 x i8> %res
}

define <8 x i16> @clmulr_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; SSE2-LABEL: clmulr_v8i16:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NEXT:    psrlw $8, %xmm2
; SSE2-NEXT:    psllw $8, %xmm0
; SSE2-NEXT:    por %xmm2, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NEXT:    psrlw $4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NEXT:    pand %xmm2, %xmm3
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm3, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NEXT:    psrlw $2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm4, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    psrlw $1, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm5, %xmm0
; SSE2-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NEXT:    psrlw $8, %xmm5
; SSE2-NEXT:    psllw $8, %xmm1
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm5
; SSE2-NEXT:    psllw $4, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    psllw $2, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NEXT:    psrlw $1, %xmm6
; SSE2-NEXT:    movdqa %xmm6, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    paddb %xmm5, %xmm5
; SSE2-NEXT:    por %xmm5, %xmm1
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [1,1,1,1,1,1,1,1]
; SSE2-NEXT:    pand %xmm6, %xmm9
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pxor %xmm8, %xmm9
; SSE2-NEXT:    pxor %xmm7, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm7, %xmm8
; SSE2-NEXT:    pxor %xmm9, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [64,64,64,64,64,64,64,64]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pxor %xmm7, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [128,128,128,128,128,128,128,128]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    pxor %xmm9, %xmm7
; SSE2-NEXT:    pxor %xmm8, %xmm7
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [512,512,512,512,512,512,512,512]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm6, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pxor %xmm8, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2048,2048,2048,2048,2048,2048,2048,2048]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm6, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pxor %xmm8, %xmm6
; SSE2-NEXT:    pxor %xmm7, %xmm6
; SSE2-NEXT:    psllw $8, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    pmullw %xmm0, %xmm1
; SSE2-NEXT:    pxor %xmm8, %xmm1
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NEXT:    pmullw %xmm5, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm6, %xmm0
; SSE2-NEXT:    psrlw $8, %xmm0
; SSE2-NEXT:    por %xmm7, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $1, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulr_v8i16:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm5 = [1,0,3,2,5,4,7,6,9,8,11,10,13,12,15,14]
; SSE42-NEXT:    pshufb %xmm5, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    pand %xmm4, %xmm0
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm0, %xmm7
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pshufb %xmm2, %xmm6
; SSE42-NEXT:    por %xmm7, %xmm6
; SSE42-NEXT:    pshufb %xmm5, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm7
; SSE42-NEXT:    psrlw $4, %xmm7
; SSE42-NEXT:    pand %xmm4, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    pshufb %xmm7, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm7 = [2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm2, %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm9 = [1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm7, %xmm9
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm7 = [4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm2, %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm8 = [8,8,8,8,8,8,8,8]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm7, %xmm8
; SSE42-NEXT:    pxor %xmm9, %xmm8
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm9 = [32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm7, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm1, %xmm9
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm10 = [64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm7, %xmm10
; SSE42-NEXT:    pmullw %xmm6, %xmm10
; SSE42-NEXT:    pxor %xmm9, %xmm10
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm1 = [128,128,128,128,128,128,128,128]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pxor %xmm10, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [256,256,256,256,256,256,256,256]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm9 = [512,512,512,512,512,512,512,512]
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm8, %xmm9
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm9, %xmm8
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NEXT:    pmullw %xmm6, %xmm2
; SSE42-NEXT:    pxor %xmm8, %xmm2
; SSE42-NEXT:    pxor %xmm1, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE42-NEXT:    pand %xmm7, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm1, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16384,16384,16384,16384,16384,16384,16384,16384]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pxor %xmm1, %xmm7
; SSE42-NEXT:    pxor %xmm2, %xmm7
; SSE42-NEXT:    pshufb %xmm5, %xmm7
; SSE42-NEXT:    movdqa %xmm7, %xmm1
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    pshufb %xmm1, %xmm3
; SSE42-NEXT:    psrlw $4, %xmm7
; SSE42-NEXT:    pand %xmm4, %xmm7
; SSE42-NEXT:    pshufb %xmm7, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulr_v8i16:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX2-NEXT:    vmovq %xmm5, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpsrld $15, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackusdw %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v8i16:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX512-NEXT:    vmovq %xmm5, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpsrld $15, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %a.ext = zext <8 x i16> %a to <8 x i32>
  %b.ext = zext <8 x i16> %b to <8 x i32>
  %clmul = call <8 x i32> @llvm.clmul.v8i32(<8 x i32> %a.ext, <8 x i32> %b.ext)
  %res.ext = lshr <8 x i32> %clmul, splat (i32 15)
  %res = trunc <8 x i32> %res.ext to <8 x i16>
  ret <8 x i16> %res
}

define <4 x i32> @clmulr_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulr_v4i32:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm3 = xmm3[8],xmm2[8],xmm3[9],xmm2[9],xmm3[10],xmm2[10],xmm3[11],xmm2[11],xmm3[12],xmm2[12],xmm3[13],xmm2[13],xmm3[14],xmm2[14],xmm3[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm3 = xmm3[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm3 = xmm3[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8],xmm2[8],xmm6[9],xmm2[9],xmm6[10],xmm2[10],xmm6[11],xmm2[11],xmm6[12],xmm2[12],xmm6[13],xmm2[13],xmm6[14],xmm2[14],xmm6[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm6 = xmm6[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm6 = xmm6[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddb %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [4,4,4,4]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm0[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm9[0],xmm10[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [2,2,2,2]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [1,1,1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm12[0],xmm9[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [8,8,8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm10[0],xmm11[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [16,16,16,16]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm12[0],xmm10[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [32,32,32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [64,64,64,64]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [128,128,128,128]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm11[0],xmm9[1],xmm11[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [256,256,256,256]
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm10[0],xmm11[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [512,512,512,512]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm10[0],xmm12[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [1024,1024,1024,1024]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm10[0],xmm11[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [2048,2048,2048,2048]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm10[0],xmm12[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [4096,4096,4096,4096]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm10[0],xmm11[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [8192,8192,8192,8192]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm9[0],xmm10[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [16384,16384,16384,16384]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [32768,32768,32768,32768]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm9[0],xmm10[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [65536,65536,65536,65536]
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [131072,131072,131072,131072]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm9[0],xmm10[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm10
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [262144,262144,262144,262144]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [524288,524288,524288,524288]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [1048576,1048576,1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [2097152,2097152,2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [4194304,4194304,4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [8388608,8388608,8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm12[0],xmm9[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm8[0],xmm10[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [33554432,33554432,33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm8[0],xmm11[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [67108864,67108864,67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm8[0],xmm10[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [134217728,134217728,134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm8[0],xmm11[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [268435456,268435456,268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm8[0],xmm10[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [536870912,536870912,536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm8[0],xmm11[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm7 = xmm7[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm7
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm7 = xmm7[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm8 = xmm8[0],xmm7[0],xmm8[1],xmm7[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulr_v4i32:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm0[3,3,3,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm3
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm5[0],xmm3[1],xmm5[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm3 = xmm3[0],xmm2[0]
; SSE2-PCLMUL-NEXT:    psrld $31, %xmm3
; SSE2-PCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm2[2],xmm4[3],xmm2[3]
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm5 = xmm5[2],xmm2[2],xmm5[3],xmm2[3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE2-PCLMUL-NEXT:    movq %xmm5, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm5 = xmm5[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm6 = xmm6[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm5, %xmm6
; SSE2-PCLMUL-NEXT:    movq %xmm6, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm5
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; SSE2-PCLMUL-NEXT:    pxor %xmm5, %xmm5
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm5 = xmm1[0],xmm5[1,2,3]
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm2 = xmm0[0],xmm2[1,2,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm5, %xmm2
; SSE2-PCLMUL-NEXT:    movq %xmm2, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm2
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm0
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm4[0]
; SSE2-PCLMUL-NEXT:    paddd %xmm2, %xmm2
; SSE2-PCLMUL-NEXT:    por %xmm3, %xmm2
; SSE2-PCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-LABEL: clmulr_v4i32:
; SSE42:       # %bb.0:
; SSE42-NEXT:    pxor %xmm2, %xmm2
; SSE42-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3,4,5,6,7]
; SSE42-NEXT:    pxor %xmm3, %xmm3
; SSE42-NEXT:    pblendw {{.*#+}} xmm3 = xmm0[0,1],xmm3[2,3,4,5,6,7]
; SSE42-NEXT:    pclmulqdq $0, %xmm2, %xmm3
; SSE42-NEXT:    movq %xmm3, %rax
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    movdqa %xmm1, %xmm4
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    movdqa %xmm1, %xmm6
; SSE42-NEXT:    movdqa %xmm0, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    pclmulqdq $0, %xmm1, %xmm2
; SSE42-NEXT:    pshufd {{.*#+}} xmm10 = xmm1[1,1,1,1]
; SSE42-NEXT:    pshufd {{.*#+}} xmm8 = xmm0[1,1,1,1]
; SSE42-NEXT:    pshufd {{.*#+}} xmm9 = xmm0[3,3,3,3]
; SSE42-NEXT:    pclmulqdq $17, %xmm1, %xmm0
; SSE42-NEXT:    pshufd {{.*#+}} xmm11 = xmm1[3,3,3,3]
; SSE42-NEXT:    psrlq $32, %xmm1
; SSE42-NEXT:    psrlq $32, %xmm3
; SSE42-NEXT:    pclmulqdq $0, %xmm1, %xmm3
; SSE42-NEXT:    movq %xmm3, %rcx
; SSE42-NEXT:    pxor %xmm1, %xmm1
; SSE42-NEXT:    punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm1[2],xmm4[3],xmm1[3]
; SSE42-NEXT:    punpckhdq {{.*#+}} xmm5 = xmm5[2],xmm1[2],xmm5[3],xmm1[3]
; SSE42-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE42-NEXT:    movq %xmm5, %rdx
; SSE42-NEXT:    psrldq {{.*#+}} xmm6 = xmm6[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-NEXT:    psrldq {{.*#+}} xmm7 = xmm7[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-NEXT:    pclmulqdq $0, %xmm6, %xmm7
; SSE42-NEXT:    movq %xmm7, %rsi
; SSE42-NEXT:    shrq $32, %rax
; SSE42-NEXT:    pclmulqdq $0, %xmm10, %xmm8
; SSE42-NEXT:    movd %eax, %xmm1
; SSE42-NEXT:    shrq $32, %rcx
; SSE42-NEXT:    pinsrd $1, %ecx, %xmm1
; SSE42-NEXT:    shrq $32, %rdx
; SSE42-NEXT:    pinsrd $2, %edx, %xmm1
; SSE42-NEXT:    shrq $32, %rsi
; SSE42-NEXT:    pinsrd $3, %esi, %xmm1
; SSE42-NEXT:    paddd %xmm1, %xmm1
; SSE42-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm8[0],xmm2[1],xmm8[1]
; SSE42-NEXT:    movq %xmm0, %rax
; SSE42-NEXT:    pinsrd $2, %eax, %xmm2
; SSE42-NEXT:    pclmulqdq $0, %xmm9, %xmm11
; SSE42-NEXT:    movq %xmm11, %rax
; SSE42-NEXT:    pinsrd $3, %eax, %xmm2
; SSE42-NEXT:    psrld $31, %xmm2
; SSE42-NEXT:    por %xmm1, %xmm2
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulr_v4i32:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
; AVX2-NEXT:    vpblendd {{.*#+}} xmm3 = xmm1[0],xmm2[1,2,3]
; AVX2-NEXT:    vpblendd {{.*#+}} xmm4 = xmm0[0],xmm2[1,2,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vmovd %eax, %xmm3
; AVX2-NEXT:    vpsrlq $32, %xmm1, %xmm4
; AVX2-NEXT:    vpsrlq $32, %xmm0, %xmm5
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $1, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm2[2],xmm1[3],xmm2[3]
; AVX2-NEXT:    vpunpckhdq {{.*#+}} xmm2 = xmm0[2],xmm2[2],xmm0[3],xmm2[3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm2, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm2
; AVX2-NEXT:    vpsrldq {{.*#+}} xmm3 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpsrldq {{.*#+}} xmm4 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm2
; AVX2-NEXT:    vpaddd %xmm2, %xmm2, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vpsrld $31, %xmm0, %xmm0
; AVX2-NEXT:    vpor %xmm2, %xmm0, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v4i32:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpxor %xmm2, %xmm2, %xmm2
; AVX512-NEXT:    vpblendd {{.*#+}} xmm3 = xmm1[0],xmm2[1,2,3]
; AVX512-NEXT:    vpblendd {{.*#+}} xmm2 = xmm0[0],xmm2[1,2,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm3, %xmm2, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vmovd %eax, %xmm2
; AVX512-NEXT:    vpsrlq $32, %xmm1, %xmm3
; AVX512-NEXT:    vpsrlq $32, %xmm0, %xmm4
; AVX512-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $1, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpxor %xmm3, %xmm3, %xmm3
; AVX512-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm3[2],xmm1[3],xmm3[3]
; AVX512-NEXT:    vpunpckhdq {{.*#+}} xmm3 = xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm3, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpsrldq {{.*#+}} xmm3 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX512-NEXT:    vpsrldq {{.*#+}} xmm4 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX512-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpaddd %xmm2, %xmm2, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vpsrld $31, %xmm0, %xmm0
; AVX512-NEXT:    vpor %xmm2, %xmm0, %xmm0
; AVX512-NEXT:    retq
  %a.ext = zext <4 x i32> %a to <4 x i64>
  %b.ext = zext <4 x i32> %b to <4 x i64>
  %clmul = call <4 x i64> @llvm.clmul.v4i64(<4 x i64> %a.ext, <4 x i64> %b.ext)
  %res.ext = lshr <4 x i64> %clmul, splat (i64 31)
  %res = trunc <4 x i64> %res.ext to <4 x i32>
  ret <4 x i32> %res
}

define <2 x i64> @clmulr_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulr_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $248, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm8 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm8
; SSE2-NOPCLMUL-NEXT:    paddb %xmm8, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddb %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [4,4]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [2,2]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [64,64]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [512,512]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm15, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [4096,4096]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm14, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [8192,8192]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [65536,65536]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [131072,131072]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [262144,262144]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm10, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [524288,524288]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [16777216,16777216]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [16,16]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [128,128]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [256,256]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [1024,1024]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2048,2048]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [16384,16384]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [32768,32768]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2147483648,2147483648]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm13, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    addq $248, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: clmulr_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE-PCLMUL-NEXT:    punpckhqdq {{.*#+}} xmm1 = xmm1[1],xmm2[1]
; SSE-PCLMUL-NEXT:    paddq %xmm1, %xmm1
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    psrlq $63, %xmm0
; SSE-PCLMUL-NEXT:    por %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulr_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpckhqdq {{.*#+}} xmm1 = xmm0[1],xmm2[1]
; AVX2-NEXT:    vpaddq %xmm1, %xmm1, %xmm1
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    vpsrlq $63, %xmm0, %xmm0
; AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulr_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpckhqdq {{.*#+}} xmm1 = xmm0[1],xmm2[1]
; AVX512-NEXT:    vpaddq %xmm1, %xmm1, %xmm1
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    vpsrlq $63, %xmm0, %xmm0
; AVX512-NEXT:    vpor %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    retq
  %a.ext = zext <2 x i64> %a to <2 x i128>
  %b.ext = zext <2 x i64> %b to <2 x i128>
  %clmul = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %a.ext, <2 x i128> %b.ext)
  %res.ext = lshr <2 x i128> %clmul, splat (i128 63)
  %res = trunc <2 x i128> %res.ext to <2 x i64>
  ret <2 x i64> %res
}

define <16 x i8> @clmulh_v16i8(<16 x i8> %a, <16 x i8> %b) nounwind {
; SSE2-LABEL: clmulh_v16i8:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NEXT:    psrlw $4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NEXT:    pand %xmm2, %xmm3
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm3, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NEXT:    psrlw $2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm4, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    psrlw $1, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm5, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NEXT:    psrlw $4, %xmm5
; SSE2-NEXT:    pand %xmm2, %xmm5
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    psllw $4, %xmm1
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    psllw $2, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm8
; SSE2-NEXT:    psrlw $1, %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    paddb %xmm5, %xmm5
; SSE2-NEXT:    por %xmm5, %xmm1
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    movdqa %xmm9, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [255,255,255,255,255,255,255,255]
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm9 = xmm9[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    packuswb %xmm10, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm10 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm5, %xmm10
; SSE2-NEXT:    movdqa %xmm10, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm10 = xmm10[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    packuswb %xmm11, %xmm10
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm8 = xmm8[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    packuswb %xmm11, %xmm8
; SSE2-NEXT:    pxor %xmm10, %xmm8
; SSE2-NEXT:    pxor %xmm9, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm10 = [8,8,8,8,8,8,8,8,8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm5, %xmm10
; SSE2-NEXT:    movdqa %xmm10, %xmm9
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm9 = xmm9[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm10 = xmm10[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    packuswb %xmm9, %xmm10
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    movdqa %xmm9, %xmm11
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm11 = xmm11[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm11
; SSE2-NEXT:    pand %xmm7, %xmm11
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm9 = xmm9[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pand %xmm7, %xmm9
; SSE2-NEXT:    packuswb %xmm11, %xmm9
; SSE2-NEXT:    pxor %xmm10, %xmm9
; SSE2-NEXT:    pxor %xmm8, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    movdqa %xmm8, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm8 = xmm8[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    packuswb %xmm10, %xmm8
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    movdqa %xmm1, %xmm10
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm10 = xmm10[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm10
; SSE2-NEXT:    pand %xmm7, %xmm10
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm0, %xmm1
; SSE2-NEXT:    pand %xmm7, %xmm1
; SSE2-NEXT:    packuswb %xmm10, %xmm1
; SSE2-NEXT:    pxor %xmm8, %xmm1
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm8
; SSE2-NEXT:    punpckhbw {{.*#+}} xmm8 = xmm8[8,8,9,9,10,10,11,11,12,12,13,13,14,14,15,15]
; SSE2-NEXT:    pmullw %xmm6, %xmm8
; SSE2-NEXT:    pand %xmm7, %xmm8
; SSE2-NEXT:    punpcklbw {{.*#+}} xmm5 = xmm5[0,0,1,1,2,2,3,3,4,4,5,5,6,6,7,7]
; SSE2-NEXT:    pmullw %xmm5, %xmm0
; SSE2-NEXT:    pand %xmm7, %xmm0
; SSE2-NEXT:    packuswb %xmm8, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm9, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $1, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    psrlw $1, %xmm0
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulh_v16i8:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NEXT:    pand %xmm4, %xmm0
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NEXT:    movdqa %xmm3, %xmm6
; SSE42-NEXT:    pshufb %xmm0, %xmm6
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pshufb %xmm2, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    movdqa %xmm1, %xmm2
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pshufb %xmm2, %xmm6
; SSE42-NEXT:    movdqa {{.*#+}} xmm7 = [2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm6, %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm7, %xmm8
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm2 = [255,255,255,255,255,255,255,255]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm7, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm10
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm10
; SSE42-NEXT:    psllw $8, %xmm10
; SSE42-NEXT:    por %xmm8, %xmm10
; SSE42-NEXT:    movdqa {{.*#+}} xmm7 = [1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm6, %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm7, %xmm8
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm7, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm7
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm7
; SSE42-NEXT:    psllw $8, %xmm7
; SSE42-NEXT:    por %xmm8, %xmm7
; SSE42-NEXT:    pxor %xmm10, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [4,4,4,4,4,4,4,4,4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm6, %xmm8
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm8, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm8, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm8
; SSE42-NEXT:    psllw $8, %xmm8
; SSE42-NEXT:    por %xmm9, %xmm8
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm6, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm6
; SSE42-NEXT:    psllw $8, %xmm6
; SSE42-NEXT:    por %xmm9, %xmm6
; SSE42-NEXT:    pxor %xmm8, %xmm6
; SSE42-NEXT:    pxor %xmm7, %xmm6
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16,16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmullw %xmm1, %xmm8
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    movdqa %xmm2, %xmm9
; SSE42-NEXT:    pandn %xmm1, %xmm9
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pmaddubsw %xmm9, %xmm1
; SSE42-NEXT:    psllw $8, %xmm1
; SSE42-NEXT:    por %xmm8, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [32,32,32,32,32,32,32,32,32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm7, %xmm8
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm8, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm8, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm8
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm8
; SSE42-NEXT:    psllw $8, %xmm8
; SSE42-NEXT:    por %xmm9, %xmm8
; SSE42-NEXT:    pxor %xmm1, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [64,64,64,64,64,64,64,64,64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    movdqa %xmm5, %xmm9
; SSE42-NEXT:    pmullw %xmm1, %xmm9
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    movdqa %xmm2, %xmm10
; SSE42-NEXT:    pandn %xmm1, %xmm10
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pmaddubsw %xmm10, %xmm1
; SSE42-NEXT:    psllw $8, %xmm1
; SSE42-NEXT:    por %xmm9, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    pxor %xmm6, %xmm1
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE42-NEXT:    movdqa %xmm5, %xmm6
; SSE42-NEXT:    pmullw %xmm7, %xmm6
; SSE42-NEXT:    pand %xmm2, %xmm6
; SSE42-NEXT:    pandn %xmm7, %xmm2
; SSE42-NEXT:    pmaddubsw %xmm2, %xmm5
; SSE42-NEXT:    psllw $8, %xmm5
; SSE42-NEXT:    por %xmm6, %xmm5
; SSE42-NEXT:    pxor %xmm1, %xmm5
; SSE42-NEXT:    movdqa %xmm5, %xmm1
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    pshufb %xmm1, %xmm3
; SSE42-NEXT:    psrlw $4, %xmm5
; SSE42-NEXT:    pand %xmm4, %xmm5
; SSE42-NEXT:    pshufb %xmm5, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    psrlw $1, %xmm0
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulh_v16i8:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX2-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm2
; AVX2-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpxor %ymm3, %ymm2, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm3
; AVX2-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm4
; AVX2-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX2-NEXT:    vpxor %ymm4, %ymm3, %ymm3
; AVX2-NEXT:    vpxor %ymm3, %ymm2, %ymm2
; AVX2-NEXT:    vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %ymm1, %ymm1
; AVX2-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX2-NEXT:    vpxor %ymm0, %ymm2, %ymm0
; AVX2-NEXT:    vpsrlw $8, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackuswb %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v16i8:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT:    vpmovzxbw {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero,xmm1[8],zero,xmm1[9],zero,xmm1[10],zero,xmm1[11],zero,xmm1[12],zero,xmm1[13],zero,xmm1[14],zero,xmm1[15],zero
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpxor %ymm2, %ymm3, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm4
; AVX512-NEXT:    vpmullw %ymm4, %ymm0, %ymm4
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm4 = ymm4 ^ ymm2 ^ ymm3
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm3
; AVX512-NEXT:    vpmullw %ymm3, %ymm0, %ymm3
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm3 = ymm3 ^ ymm4 ^ ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm2
; AVX512-NEXT:    vpmullw %ymm2, %ymm0, %ymm2
; AVX512-NEXT:    vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm1
; AVX512-NEXT:    vpmullw %ymm1, %ymm0, %ymm0
; AVX512-NEXT:    vpternlogq {{.*#+}} ymm0 = ymm0 ^ ymm3 ^ ymm2
; AVX512-NEXT:    vpsrlw $8, %ymm0, %ymm0
; AVX512-NEXT:    vpmovzxwd {{.*#+}} zmm0 = ymm0[0],zero,ymm0[1],zero,ymm0[2],zero,ymm0[3],zero,ymm0[4],zero,ymm0[5],zero,ymm0[6],zero,ymm0[7],zero,ymm0[8],zero,ymm0[9],zero,ymm0[10],zero,ymm0[11],zero,ymm0[12],zero,ymm0[13],zero,ymm0[14],zero,ymm0[15],zero
; AVX512-NEXT:    vpmovdb %zmm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %a.ext = zext <16 x i8> %a to <16 x i16>
  %b.ext = zext <16 x i8> %b to <16 x i16>
  %clmul = call <16 x i16> @llvm.clmul.v16i16(<16 x i16> %a.ext, <16 x i16> %b.ext)
  %res.ext = lshr <16 x i16> %clmul, splat (i16 8)
  %res = trunc <16 x i16> %res.ext to <16 x i8>
  ret <16 x i8> %res
}

define <8 x i16> @clmulh_v8i16(<8 x i16> %a, <8 x i16> %b) nounwind {
; SSE2-LABEL: clmulh_v8i16:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NEXT:    psrlw $8, %xmm2
; SSE2-NEXT:    psllw $8, %xmm0
; SSE2-NEXT:    por %xmm2, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NEXT:    psrlw $4, %xmm3
; SSE2-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NEXT:    pand %xmm2, %xmm3
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm3, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NEXT:    psrlw $2, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NEXT:    pand %xmm3, %xmm4
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm4, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    psrlw $1, %xmm5
; SSE2-NEXT:    movdqa {{.*#+}} xmm4 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm5, %xmm0
; SSE2-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NEXT:    psrlw $8, %xmm5
; SSE2-NEXT:    psllw $8, %xmm1
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm5
; SSE2-NEXT:    psllw $4, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm5
; SSE2-NEXT:    psllw $2, %xmm5
; SSE2-NEXT:    por %xmm1, %xmm5
; SSE2-NEXT:    movdqa %xmm5, %xmm6
; SSE2-NEXT:    psrlw $1, %xmm6
; SSE2-NEXT:    movdqa %xmm6, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm5
; SSE2-NEXT:    paddb %xmm5, %xmm5
; SSE2-NEXT:    por %xmm5, %xmm1
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [4,4,4,4,4,4,4,4]
; SSE2-NEXT:    pand %xmm1, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2,2,2,2,2,2,2,2]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [1,1,1,1,1,1,1,1]
; SSE2-NEXT:    pand %xmm6, %xmm9
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pxor %xmm8, %xmm9
; SSE2-NEXT:    pxor %xmm7, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [8,8,8,8,8,8,8,8]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [16,16,16,16,16,16,16,16]
; SSE2-NEXT:    pand %xmm1, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm7, %xmm8
; SSE2-NEXT:    pxor %xmm9, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [32,32,32,32,32,32,32,32]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm9 = [64,64,64,64,64,64,64,64]
; SSE2-NEXT:    pand %xmm1, %xmm9
; SSE2-NEXT:    pmullw %xmm0, %xmm9
; SSE2-NEXT:    pxor %xmm7, %xmm9
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [128,128,128,128,128,128,128,128]
; SSE2-NEXT:    pand %xmm5, %xmm7
; SSE2-NEXT:    pmullw %xmm0, %xmm7
; SSE2-NEXT:    pxor %xmm9, %xmm7
; SSE2-NEXT:    pxor %xmm8, %xmm7
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [512,512,512,512,512,512,512,512]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm6, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pxor %xmm8, %xmm6
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [2048,2048,2048,2048,2048,2048,2048,2048]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pxor %xmm6, %xmm8
; SSE2-NEXT:    movdqa {{.*#+}} xmm6 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE2-NEXT:    pand %xmm1, %xmm6
; SSE2-NEXT:    pmullw %xmm0, %xmm6
; SSE2-NEXT:    pxor %xmm8, %xmm6
; SSE2-NEXT:    pxor %xmm7, %xmm6
; SSE2-NEXT:    psllw $8, %xmm7
; SSE2-NEXT:    movdqa {{.*#+}} xmm8 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE2-NEXT:    pand %xmm5, %xmm8
; SSE2-NEXT:    pmullw %xmm0, %xmm8
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NEXT:    pmullw %xmm0, %xmm1
; SSE2-NEXT:    pxor %xmm8, %xmm1
; SSE2-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NEXT:    pmullw %xmm5, %xmm0
; SSE2-NEXT:    pxor %xmm1, %xmm0
; SSE2-NEXT:    pxor %xmm6, %xmm0
; SSE2-NEXT:    psrlw $8, %xmm0
; SSE2-NEXT:    por %xmm7, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $4, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    psllw $4, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $2, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    psllw $2, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NEXT:    psrlw $1, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm1
; SSE2-NEXT:    pand %xmm4, %xmm0
; SSE2-NEXT:    paddb %xmm0, %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    psrlw $1, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: clmulh_v8i16:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm5 = [1,0,3,2,5,4,7,6,9,8,11,10,13,12,15,14]
; SSE42-NEXT:    pshufb %xmm5, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    pand %xmm4, %xmm0
; SSE42-NEXT:    movdqa {{.*#+}} xmm3 = [0,128,64,192,32,160,96,224,16,144,80,208,48,176,112,240]
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm0, %xmm7
; SSE42-NEXT:    psrlw $4, %xmm2
; SSE42-NEXT:    pand %xmm4, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [0,8,4,12,2,10,6,14,1,9,5,13,3,11,7,15]
; SSE42-NEXT:    movdqa %xmm0, %xmm6
; SSE42-NEXT:    pshufb %xmm2, %xmm6
; SSE42-NEXT:    por %xmm7, %xmm6
; SSE42-NEXT:    pshufb %xmm5, %xmm1
; SSE42-NEXT:    movdqa %xmm1, %xmm7
; SSE42-NEXT:    psrlw $4, %xmm7
; SSE42-NEXT:    pand %xmm4, %xmm7
; SSE42-NEXT:    movdqa %xmm0, %xmm2
; SSE42-NEXT:    pshufb %xmm7, %xmm2
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm7 = [2,2,2,2,2,2,2,2]
; SSE42-NEXT:    pand %xmm2, %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm9 = [1,1,1,1,1,1,1,1]
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm7, %xmm9
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm7 = [4,4,4,4,4,4,4,4]
; SSE42-NEXT:    pand %xmm2, %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm8 = [8,8,8,8,8,8,8,8]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm7, %xmm8
; SSE42-NEXT:    pxor %xmm9, %xmm8
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    movdqa %xmm3, %xmm7
; SSE42-NEXT:    pshufb %xmm1, %xmm7
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm1 = [16,16,16,16,16,16,16,16]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm9 = [32,32,32,32,32,32,32,32]
; SSE42-NEXT:    pand %xmm7, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm1, %xmm9
; SSE42-NEXT:    pmovsxbw {{.*#+}} xmm10 = [64,64,64,64,64,64,64,64]
; SSE42-NEXT:    pand %xmm7, %xmm10
; SSE42-NEXT:    pmullw %xmm6, %xmm10
; SSE42-NEXT:    pxor %xmm9, %xmm10
; SSE42-NEXT:    pmovzxbw {{.*#+}} xmm1 = [128,128,128,128,128,128,128,128]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pxor %xmm10, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [256,256,256,256,256,256,256,256]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm9 = [512,512,512,512,512,512,512,512]
; SSE42-NEXT:    pand %xmm2, %xmm9
; SSE42-NEXT:    pmullw %xmm6, %xmm9
; SSE42-NEXT:    pxor %xmm8, %xmm9
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [1024,1024,1024,1024,1024,1024,1024,1024]
; SSE42-NEXT:    pand %xmm2, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm9, %xmm8
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NEXT:    pmullw %xmm6, %xmm2
; SSE42-NEXT:    pxor %xmm8, %xmm2
; SSE42-NEXT:    pxor %xmm1, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [4096,4096,4096,4096,4096,4096,4096,4096]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm8 = [8192,8192,8192,8192,8192,8192,8192,8192]
; SSE42-NEXT:    pand %xmm7, %xmm8
; SSE42-NEXT:    pmullw %xmm6, %xmm8
; SSE42-NEXT:    pxor %xmm1, %xmm8
; SSE42-NEXT:    movdqa {{.*#+}} xmm1 = [16384,16384,16384,16384,16384,16384,16384,16384]
; SSE42-NEXT:    pand %xmm7, %xmm1
; SSE42-NEXT:    pmullw %xmm6, %xmm1
; SSE42-NEXT:    pxor %xmm8, %xmm1
; SSE42-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE42-NEXT:    pmullw %xmm6, %xmm7
; SSE42-NEXT:    pxor %xmm1, %xmm7
; SSE42-NEXT:    pxor %xmm2, %xmm7
; SSE42-NEXT:    pshufb %xmm5, %xmm7
; SSE42-NEXT:    movdqa %xmm7, %xmm1
; SSE42-NEXT:    pand %xmm4, %xmm1
; SSE42-NEXT:    pshufb %xmm1, %xmm3
; SSE42-NEXT:    psrlw $4, %xmm7
; SSE42-NEXT:    pand %xmm4, %xmm7
; SSE42-NEXT:    pshufb %xmm7, %xmm0
; SSE42-NEXT:    por %xmm3, %xmm0
; SSE42-NEXT:    psrlw $1, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulh_v8i16:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX2-NEXT:    vmovq %xmm5, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX2-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX2-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    vpsrld $16, %ymm0, %ymm0
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm1
; AVX2-NEXT:    vpackusdw %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vzeroupper
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v8i16:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm1 = xmm1[0],zero,xmm1[1],zero,xmm1[2],zero,xmm1[3],zero,xmm1[4],zero,xmm1[5],zero,xmm1[6],zero,xmm1[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm1, %xmm2
; AVX512-NEXT:    vpmovzxwd {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm2[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm6 = xmm3[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm5, %xmm6, %xmm5
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm4 = xmm4[0],xmm5[0],xmm4[1],xmm5[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm2, %xmm3, %xmm5
; AVX512-NEXT:    vmovq %xmm5, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm4, %xmm4
; AVX512-NEXT:    vpshufd {{.*#+}} xmm2 = xmm2[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm3 = xmm3[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm2, %xmm3, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm4, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm4 = xmm1[1,1,1,1]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm5 = xmm0[1,1,1,1]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX512-NEXT:    vpunpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm4
; AVX512-NEXT:    vmovq %xmm4, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm3
; AVX512-NEXT:    vpshufd {{.*#+}} xmm1 = xmm1[3,3,3,3]
; AVX512-NEXT:    vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm3, %xmm0
; AVX512-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX512-NEXT:    vpsrld $16, %ymm0, %ymm0
; AVX512-NEXT:    vpmovdw %ymm0, %xmm0
; AVX512-NEXT:    vzeroupper
; AVX512-NEXT:    retq
  %a.ext = zext <8 x i16> %a to <8 x i32>
  %b.ext = zext <8 x i16> %b to <8 x i32>
  %clmul = call <8 x i32> @llvm.clmul.v8i32(<8 x i32> %a.ext, <8 x i32> %b.ext)
  %res.ext = lshr <8 x i32> %clmul, splat (i32 16)
  %res = trunc <8x i32> %res.ext to <8 x i16>
  ret <8 x i16> %res
}

define <4 x i32> @clmulh_v4i32(<4 x i32> %a, <4 x i32> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulh_v4i32:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm3 = xmm3[8],xmm2[8],xmm3[9],xmm2[9],xmm3[10],xmm2[10],xmm3[11],xmm2[11],xmm3[12],xmm2[12],xmm3[13],xmm2[13],xmm3[14],xmm2[14],xmm3[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm3 = xmm3[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm3 = xmm3[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm6 = xmm6[8],xmm2[8],xmm6[9],xmm2[9],xmm6[10],xmm2[10],xmm6[11],xmm2[11],xmm6[12],xmm2[12],xmm6[13],xmm2[13],xmm6[14],xmm2[14],xmm6[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm6 = xmm6[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm6 = xmm6[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddb %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [4,4,4,4]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm6[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm6 = xmm0[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm9[0],xmm10[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [2,2,2,2]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [1,1,1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm12[0],xmm9[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [8,8,8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm10[0],xmm11[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [16,16,16,16]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm12[0],xmm10[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [32,32,32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [64,64,64,64]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [128,128,128,128]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm11[0],xmm9[1],xmm11[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [256,256,256,256]
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm10[0],xmm11[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [512,512,512,512]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm10[0],xmm12[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [1024,1024,1024,1024]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm10[0],xmm11[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [2048,2048,2048,2048]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm10[0],xmm12[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [4096,4096,4096,4096]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm10[0],xmm11[1],xmm10[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [8192,8192,8192,8192]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm9[0],xmm10[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [16384,16384,16384,16384]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [32768,32768,32768,32768]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm9[0],xmm10[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [65536,65536,65536,65536]
; SSE2-NOPCLMUL-NEXT:    pand %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [131072,131072,131072,131072]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm9[0],xmm10[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm10
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [262144,262144,262144,262144]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [524288,524288,524288,524288]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [1048576,1048576,1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [2097152,2097152,2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm12 = xmm12[0],xmm9[0],xmm12[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [4194304,4194304,4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm9[0],xmm11[1],xmm9[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [8388608,8388608,8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm9
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm9 = xmm9[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm12
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm12 = xmm12[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm9 = xmm9[0],xmm12[0],xmm9[1],xmm12[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm8[0],xmm10[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [33554432,33554432,33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm8[0],xmm11[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [67108864,67108864,67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm8[0],xmm10[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [134217728,134217728,134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm8[0],xmm11[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [268435456,268435456,268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm10 = xmm10[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm10 = xmm10[0],xmm8[0],xmm10[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [536870912,536870912,536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm11 = xmm11[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm11 = xmm11[0],xmm8[0],xmm11[1],xmm8[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm8 = xmm8[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm7 = xmm7[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm7
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm7 = xmm7[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm8 = xmm8[0],xmm7[0],xmm8[1],xmm7[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm8
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,3,3]
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[0,2,2,3]
; SSE2-NOPCLMUL-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm2[8],xmm1[9],xmm2[9],xmm1[10],xmm2[10],xmm1[11],xmm2[11],xmm1[12],xmm2[12],xmm1[13],xmm2[13],xmm1[14],xmm2[14],xmm1[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm2[0],xmm0[1],xmm2[1],xmm0[2],xmm2[2],xmm0[3],xmm2[3],xmm0[4],xmm2[4],xmm0[5],xmm2[5],xmm0[6],xmm2[6],xmm0[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrld $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE2-PCLMUL-LABEL: clmulh_v4i32:
; SSE2-PCLMUL:       # %bb.0:
; SSE2-PCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm3 = xmm3[2],xmm2[2],xmm3[3],xmm2[3]
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-PCLMUL-NEXT:    punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm2[2],xmm4[3],xmm2[3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm3, %xmm4
; SSE2-PCLMUL-NEXT:    movq %xmm4, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm3
; SSE2-PCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm4 = xmm4[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-PCLMUL-NEXT:    psrldq {{.*#+}} xmm5 = xmm5[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE2-PCLMUL-NEXT:    movq %xmm5, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm4
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm4[0],xmm3[1],xmm4[1]
; SSE2-PCLMUL-NEXT:    pxor %xmm4, %xmm4
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm4 = xmm1[0],xmm4[1,2,3]
; SSE2-PCLMUL-NEXT:    movss {{.*#+}} xmm2 = xmm0[0],xmm2[1,2,3]
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm4, %xmm2
; SSE2-PCLMUL-NEXT:    movq %xmm2, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm2
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-PCLMUL-NEXT:    psrlq $32, %xmm0
; SSE2-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE2-PCLMUL-NEXT:    movq %xmm0, %rax
; SSE2-PCLMUL-NEXT:    shrq $32, %rax
; SSE2-PCLMUL-NEXT:    movd %eax, %xmm0
; SSE2-PCLMUL-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
; SSE2-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
; SSE2-PCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-PCLMUL-NEXT:    retq
;
; SSE42-LABEL: clmulh_v4i32:
; SSE42:       # %bb.0:
; SSE42-NEXT:    pxor %xmm3, %xmm3
; SSE42-NEXT:    pxor %xmm2, %xmm2
; SSE42-NEXT:    pblendw {{.*#+}} xmm2 = xmm1[0,1],xmm2[2,3,4,5,6,7]
; SSE42-NEXT:    pxor %xmm4, %xmm4
; SSE42-NEXT:    pblendw {{.*#+}} xmm4 = xmm0[0,1],xmm4[2,3,4,5,6,7]
; SSE42-NEXT:    pclmulqdq $0, %xmm2, %xmm4
; SSE42-NEXT:    movq %xmm4, %rax
; SSE42-NEXT:    shrq $32, %rax
; SSE42-NEXT:    movd %eax, %xmm2
; SSE42-NEXT:    movdqa %xmm1, %xmm4
; SSE42-NEXT:    psrlq $32, %xmm4
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    psrlq $32, %xmm5
; SSE42-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE42-NEXT:    movq %xmm5, %rax
; SSE42-NEXT:    shrq $32, %rax
; SSE42-NEXT:    pinsrd $1, %eax, %xmm2
; SSE42-NEXT:    movdqa %xmm1, %xmm4
; SSE42-NEXT:    punpckhdq {{.*#+}} xmm4 = xmm4[2],xmm3[2],xmm4[3],xmm3[3]
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    punpckhdq {{.*#+}} xmm5 = xmm5[2],xmm3[2],xmm5[3],xmm3[3]
; SSE42-NEXT:    pclmulqdq $0, %xmm4, %xmm5
; SSE42-NEXT:    movq %xmm5, %rax
; SSE42-NEXT:    shrq $32, %rax
; SSE42-NEXT:    pinsrd $2, %eax, %xmm2
; SSE42-NEXT:    psrldq {{.*#+}} xmm1 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-NEXT:    psrldq {{.*#+}} xmm0 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE42-NEXT:    movq %xmm0, %rax
; SSE42-NEXT:    shrq $32, %rax
; SSE42-NEXT:    pinsrd $3, %eax, %xmm2
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: clmulh_v4i32:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpxor %xmm2, %xmm2, %xmm2
; AVX2-NEXT:    vpblendd {{.*#+}} xmm3 = xmm1[0],xmm2[1,2,3]
; AVX2-NEXT:    vpblendd {{.*#+}} xmm4 = xmm0[0],xmm2[1,2,3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vmovd %eax, %xmm3
; AVX2-NEXT:    vpsrlq $32, %xmm1, %xmm4
; AVX2-NEXT:    vpsrlq $32, %xmm0, %xmm5
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm5, %xmm4
; AVX2-NEXT:    vmovq %xmm4, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $1, %eax, %xmm3, %xmm3
; AVX2-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm2[2],xmm1[3],xmm2[3]
; AVX2-NEXT:    vpunpckhdq {{.*#+}} xmm2 = xmm0[2],xmm2[2],xmm0[3],xmm2[3]
; AVX2-NEXT:    vpclmulqdq $0, %xmm4, %xmm2, %xmm2
; AVX2-NEXT:    vmovq %xmm2, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $2, %eax, %xmm3, %xmm2
; AVX2-NEXT:    vpsrldq {{.*#+}} xmm1 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpsrldq {{.*#+}} xmm0 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    shrq $32, %rax
; AVX2-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v4i32:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpxor %xmm2, %xmm2, %xmm2
; AVX512-NEXT:    vpblendd {{.*#+}} xmm3 = xmm1[0],xmm2[1,2,3]
; AVX512-NEXT:    vpblendd {{.*#+}} xmm2 = xmm0[0],xmm2[1,2,3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm3, %xmm2, %xmm2
; AVX512-NEXT:    vmovq %xmm2, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vmovd %eax, %xmm2
; AVX512-NEXT:    vpsrlq $32, %xmm1, %xmm3
; AVX512-NEXT:    vpsrlq $32, %xmm0, %xmm4
; AVX512-NEXT:    vpclmulqdq $0, %xmm3, %xmm4, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $1, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpxor %xmm3, %xmm3, %xmm3
; AVX512-NEXT:    vpunpckhdq {{.*#+}} xmm4 = xmm1[2],xmm3[2],xmm1[3],xmm3[3]
; AVX512-NEXT:    vpunpckhdq {{.*#+}} xmm3 = xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; AVX512-NEXT:    vpclmulqdq $0, %xmm4, %xmm3, %xmm3
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $2, %eax, %xmm2, %xmm2
; AVX512-NEXT:    vpsrldq {{.*#+}} xmm1 = xmm1[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX512-NEXT:    vpsrldq {{.*#+}} xmm0 = xmm0[12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero,zero
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    shrq $32, %rax
; AVX512-NEXT:    vpinsrd $3, %eax, %xmm2, %xmm0
; AVX512-NEXT:    retq
  %a.ext = zext <4 x i32> %a to <4 x i64>
  %b.ext = zext <4 x i32> %b to <4 x i64>
  %clmul = call <4 x i64> @llvm.clmul.v4i64(<4 x i64> %a.ext, <4 x i64> %b.ext)
  %res.ext = lshr <4 x i64> %clmul, splat (i64 32)
  %res = trunc <4 x i64> %res.ext to <4 x i32>
  ret <4 x i32> %res
}

define <2 x i64> @clmulh_v2i64(<2 x i64> %a, <2 x i64> %b) nounwind {
; SSE2-NOPCLMUL-LABEL: clmulh_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $248, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3],xmm0[4],xmm3[4],xmm0[5],xmm3[5],xmm0[6],xmm3[6],xmm0[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm8 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm8
; SSE2-NOPCLMUL-NEXT:    paddb %xmm8, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    paddb %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [4,4]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [2,2]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [64,64]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [512,512]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm15, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [4096,4096]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm14, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [8192,8192]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [65536,65536]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [131072,131072]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [262144,262144]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm10, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [524288,524288]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [16777216,16777216]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [16,16]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [128,128]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [256,256]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [1024,1024]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2048,2048]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [16384,16384]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [32768,32768]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2147483648,2147483648]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm13, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm4 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm1[8],xmm0[9],xmm1[9],xmm0[10],xmm1[10],xmm0[11],xmm1[11],xmm0[12],xmm1[12],xmm0[13],xmm1[13],xmm0[14],xmm1[14],xmm0[15],xmm1[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1],xmm2[2],xmm1[2],xmm2[3],xmm1[3],xmm2[4],xmm1[4],xmm2[5],xmm1[5],xmm2[6],xmm1[6],xmm2[7],xmm1[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    addq $248, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: clmulh_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: clmulh_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; AVX2-NEXT:    retq
;
; AVX512-LABEL: clmulh_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; AVX512-NEXT:    retq
  %a.ext = zext <2 x i64> %a to <2 x i128>
  %b.ext = zext <2 x i64> %b to <2 x i128>
  %clmul = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %a.ext, <2 x i128> %b.ext)
  %res.ext = lshr <2 x i128> %clmul, splat (i128 64)
  %res = trunc <2 x i128> %res.ext to <2 x i64>
  ret <2 x i64> %res
}

declare void @use(<2 x i64>)

define void @commutative_clmul_v2i64(<2 x i64> %x, <2 x i64> %y, ptr %p0, ptr %p1) nounwind {
; SSE2-NOPCLMUL-LABEL: commutative_clmul_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $312, %rsp # imm = 0x138
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm12
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [256,256]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm10, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm6
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [1024,1024]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm13, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [2048,2048]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [4096,4096]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [16384,16384]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [32768,32768]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [65536,65536]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm14, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [131072,131072]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [524288,524288]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm9, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm6
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm15, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [16777216,16777216]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [1073741824,1073741824]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [2147483648,2147483648]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2,2]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    movaps {{.*#+}} xmm2 = [4,4]
; SSE2-NOPCLMUL-NEXT:    movaps %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movaps {{.*#+}} xmm2 = [8,8]
; SSE2-NOPCLMUL-NEXT:    movaps %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movaps {{.*#+}} xmm2 = [16,16]
; SSE2-NOPCLMUL-NEXT:    movaps %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movaps {{.*#+}} xmm2 = [32,32]
; SSE2-NOPCLMUL-NEXT:    movaps %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [64,64]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movaps {{.*#+}} xmm2 = [128,128]
; SSE2-NOPCLMUL-NEXT:    movaps %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    movaps {{.*#+}} xmm2 = [512,512]
; SSE2-NOPCLMUL-NEXT:    movaps %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm13
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [8192,8192]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [262144,262144]
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm14
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm5 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm13 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm13 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm14
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE2-NOPCLMUL-NEXT:    pxor %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, (%rdi)
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, (%rsi)
; SSE2-NOPCLMUL-NEXT:    addq $312, %rsp # imm = 0x138
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: commutative_clmul_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    movdqa %xmm0, (%rdi)
; SSE-PCLMUL-NEXT:    movdqa %xmm0, (%rsi)
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: commutative_clmul_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX2-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX2-NEXT:    retq
;
; AVX512-LABEL: commutative_clmul_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX512-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX512-NEXT:    retq
  %xy = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %x, <2 x i64> %y)
  %yx = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %y, <2 x i64> %x)
  store <2 x i64> %xy, ptr %p0
  store <2 x i64> %yx, ptr %p1
  ret void
}

define void @commutative_clmulh_v2i64(<2 x i64> %x, <2 x i64> %y, ptr %p0, ptr %p1) nounwind {
; SSE2-NOPCLMUL-LABEL: commutative_clmulh_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $248, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm8 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    paddb %xmm8, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm5[8],xmm1[9],xmm5[9],xmm1[10],xmm5[10],xmm1[11],xmm5[11],xmm1[12],xmm5[12],xmm1[13],xmm5[13],xmm1[14],xmm5[14],xmm1[15],xmm5[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm5[0],xmm0[1],xmm5[1],xmm0[2],xmm5[2],xmm0[3],xmm5[3],xmm0[4],xmm5[4],xmm0[5],xmm5[5],xmm0[6],xmm5[6],xmm0[7],xmm5[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddb %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [4,4]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [2,2]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [64,64]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [512,512]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm15, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [4096,4096]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm14, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [8192,8192]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [65536,65536]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [131072,131072]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [262144,262144]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [524288,524288]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [16777216,16777216]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [16,16]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [128,128]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [256,256]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [1024,1024]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2048,2048]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [16384,16384]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [32768,32768]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2147483648,2147483648]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rdi)
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsi)
; SSE2-NOPCLMUL-NEXT:    addq $248, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: commutative_clmulh_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm0, %xmm1
; SSE-PCLMUL-NEXT:    punpckhqdq {{.*#+}} xmm1 = xmm1[1],xmm2[1]
; SSE-PCLMUL-NEXT:    movdqa %xmm1, (%rdi)
; SSE-PCLMUL-NEXT:    movdqa %xmm1, (%rsi)
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: commutative_clmulh_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm0, %xmm1, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm0, %xmm1, %xmm0
; AVX2-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; AVX2-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX2-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX2-NEXT:    retq
;
; AVX512-LABEL: commutative_clmulh_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm0, %xmm1, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm0, %xmm1, %xmm0
; AVX512-NEXT:    vpunpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; AVX512-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX512-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX512-NEXT:    retq
  %x.ext = zext <2 x i64> %x to <2 x i128>
  %y.ext = zext <2 x i64> %y to <2 x i128>
  %clmul_xy = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %x.ext, <2 x i128> %y.ext)
  %clmul_yx = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %y.ext, <2 x i128> %x.ext)
  %clmul_xy_lshr = lshr <2 x i128> %clmul_xy, splat (i128 64)
  %clmul_yx_lshr = lshr <2 x i128> %clmul_yx, splat (i128 64)
  %clmulh_xy = trunc <2 x i128> %clmul_xy_lshr to <2 x i64>
  %clmulh_yx = trunc <2 x i128> %clmul_yx_lshr to <2 x i64>
  store <2 x i64> %clmulh_xy, ptr %p0
  store <2 x i64> %clmulh_yx, ptr %p1
  ret void
}

define void @commutative_clmulr_v2i64(<2 x i64> %x, <2 x i64> %y, ptr %p0, ptr %p1) nounwind {
; SSE2-NOPCLMUL-LABEL: commutative_clmulr_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    subq $248, %rsp
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm2 = xmm2[8],xmm3[8],xmm2[9],xmm3[9],xmm2[10],xmm3[10],xmm2[11],xmm3[11],xmm2[12],xmm3[12],xmm2[13],xmm3[13],xmm2[14],xmm3[14],xmm2[15],xmm3[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1],xmm1[2],xmm3[2],xmm1[3],xmm3[3],xmm1[4],xmm3[4],xmm1[5],xmm3[5],xmm1[6],xmm3[6],xmm1[7],xmm3[7]
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm5
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm8 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm8
; SSE2-NOPCLMUL-NEXT:    paddb %xmm8, %xmm8
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm1 = xmm1[8],xmm5[8],xmm1[9],xmm5[9],xmm1[10],xmm5[10],xmm1[11],xmm5[11],xmm1[12],xmm5[12],xmm1[13],xmm5[13],xmm1[14],xmm5[14],xmm1[15],xmm5[15]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm1 = xmm1[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm1[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm0 = xmm0[0],xmm5[0],xmm0[1],xmm5[1],xmm0[2],xmm5[2],xmm0[3],xmm5[3],xmm0[4],xmm5[4],xmm0[5],xmm5[5],xmm0[6],xmm5[6],xmm0[7],xmm5[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm1 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    paddb %xmm1, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [4,4]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [2,2]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm12, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [64,64]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm11, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [512,512]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm15, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [4096,4096]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm14, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [8192,8192]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [65536,65536]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [131072,131072]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [262144,262144]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm10, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [524288,524288]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm7
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm9, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [16777216,16777216]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm4, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm4 = [1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm7 = [16,16]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm9 = [32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [128,128]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [256,256]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm12
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [1024,1024]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2048,2048]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [16384,16384]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [32768,32768]
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm5, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm6 = [2147483648,2147483648]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm9 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm8, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm6, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm7 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm11
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm13
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm7, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm3 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm2
; SSE2-NOPCLMUL-NEXT:    punpckhbw {{.*#+}} xmm0 = xmm0[8],xmm2[8],xmm0[9],xmm2[9],xmm0[10],xmm2[10],xmm0[11],xmm2[11],xmm0[12],xmm2[12],xmm0[13],xmm2[13],xmm0[14],xmm2[14],xmm0[15],xmm2[15]
; SSE2-NOPCLMUL-NEXT:    punpcklbw {{.*#+}} xmm1 = xmm1[0],xmm2[0],xmm1[1],xmm2[1],xmm1[2],xmm2[2],xmm1[3],xmm2[3],xmm1[4],xmm2[4],xmm1[5],xmm2[5],xmm1[6],xmm2[6],xmm1[7],xmm2[7]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm2 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    pshufd {{.*#+}} xmm0 = xmm1[2,3,0,1]
; SSE2-NOPCLMUL-NEXT:    pshuflw {{.*#+}} xmm0 = xmm0[3,2,1,0,4,5,6,7]
; SSE2-NOPCLMUL-NEXT:    pshufhw {{.*#+}} xmm0 = xmm0[0,1,2,3,7,6,5,4]
; SSE2-NOPCLMUL-NEXT:    packuswb %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [15,15,15,15,15,15,15,15,15,15,15,15,15,15,15,15]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $4, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [51,51,51,51,51,51,51,51,51,51,51,51,51,51,51,51]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllw $2, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psrlw $1, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm2 = [85,85,85,85,85,85,85,85,85,85,85,85,85,85,85,85]
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    paddb %xmm0, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rdi)
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsi)
; SSE2-NOPCLMUL-NEXT:    addq $248, %rsp
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: commutative_clmulr_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm0, %xmm1
; SSE-PCLMUL-NEXT:    movdqa %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm2[1]
; SSE-PCLMUL-NEXT:    paddq %xmm0, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm2[0]
; SSE-PCLMUL-NEXT:    psrlq $63, %xmm1
; SSE-PCLMUL-NEXT:    por %xmm0, %xmm1
; SSE-PCLMUL-NEXT:    movdqa %xmm1, (%rdi)
; SSE-PCLMUL-NEXT:    movdqa %xmm1, (%rsi)
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: commutative_clmulr_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpclmulqdq $17, %xmm0, %xmm1, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm0, %xmm1, %xmm0
; AVX2-NEXT:    vpunpckhqdq {{.*#+}} xmm1 = xmm0[1],xmm2[1]
; AVX2-NEXT:    vpaddq %xmm1, %xmm1, %xmm1
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    vpsrlq $63, %xmm0, %xmm0
; AVX2-NEXT:    vpor %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX2-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX2-NEXT:    retq
;
; AVX512-LABEL: commutative_clmulr_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpclmulqdq $17, %xmm0, %xmm1, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm0, %xmm1, %xmm0
; AVX512-NEXT:    vpunpckhqdq {{.*#+}} xmm1 = xmm0[1],xmm2[1]
; AVX512-NEXT:    vpaddq %xmm1, %xmm1, %xmm1
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    vpsrlq $63, %xmm0, %xmm0
; AVX512-NEXT:    vpor %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX512-NEXT:    vmovdqa %xmm0, (%rsi)
; AVX512-NEXT:    retq
  %x.ext = zext <2 x i64> %x to <2 x i128>
  %y.ext = zext <2 x i64> %y to <2 x i128>
  %clmul_xy = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %x.ext, <2 x i128> %y.ext)
  %clmul_yx = call <2 x i128> @llvm.clmul.v2i128(<2 x i128> %y.ext, <2 x i128> %x.ext)
  %clmul_xy_lshr = lshr <2 x i128> %clmul_xy, splat (i128 63)
  %clmul_yx_lshr = lshr <2 x i128> %clmul_yx, splat (i128 63)
  %clmulh_xy = trunc <2 x i128> %clmul_xy_lshr to <2 x i64>
  %clmulh_yx = trunc <2 x i128> %clmul_yx_lshr to <2 x i64>
  store <2 x i64> %clmulh_xy, ptr %p0
  store <2 x i64> %clmulh_yx, ptr %p1
  ret void
}

define void @mul_use_commutative_clmul_v2i64(<2 x i64> %x, <2 x i64> %y, ptr %p0, ptr %p1) nounwind {
; SSE2-NOPCLMUL-LABEL: mul_use_commutative_clmul_v2i64:
; SSE2-NOPCLMUL:       # %bb.0:
; SSE2-NOPCLMUL-NEXT:    pushq %rbx
; SSE2-NOPCLMUL-NEXT:    subq $400, %rsp # imm = 0x190
; SSE2-NOPCLMUL-NEXT:    movq %rsi, %rbx
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm11, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm11
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm11
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm11, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm11
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm14 = [4,4]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm14, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [16,16]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm10
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm10, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [128,128]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm8
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm8, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [256,256]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [512,512]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [1024,1024]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm13, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm10 = [2048,2048]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm10, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [4096,4096]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [16384,16384]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [32768,32768]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [131072,131072]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [1048576,1048576]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    por %xmm3, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [2097152,2097152]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [4194304,4194304]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [8388608,8388608]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [16777216,16777216]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm5, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [33554432,33554432]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [67108864,67108864]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [134217728,134217728]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm4
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm4, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [268435456,268435456]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [536870912,536870912]
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    pand %xmm0, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    por %xmm4, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm1
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm12, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    por %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    psrlq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm3 = [1,1]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm5 = [2,2]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm9
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm9
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm11 = [8,8]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm14
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm15 = [32,32]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm8 = [64,64]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm13 = [8192,8192]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [65536,65536]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm12 = [262144,262144]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [524288,524288]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm10, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{.*#+}} xmm0 = [1073741824,1073741824]
; SSE2-NOPCLMUL-NEXT:    pand %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm3, %xmm1
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm5, %xmm3
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm3
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm9, %xmm4
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm4
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm11, %xmm5
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm5
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm6
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm6
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm9
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm8
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm10 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm10
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm11 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm15 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm15
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm15
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm14 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm14
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm13 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm13 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm13
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm13
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm12 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm12
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, {{[-0-9]+}}(%r{{[sb]}}p) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm2, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    pmuludq %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    pmuludq {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    por %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm3
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm3
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm4
; SSE2-NOPCLMUL-NEXT:    pxor %xmm3, %xmm4
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm5
; SSE2-NOPCLMUL-NEXT:    pxor %xmm4, %xmm5
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor %xmm5, %xmm6
; SSE2-NOPCLMUL-NEXT:    pxor {{[-0-9]+}}(%r{{[sb]}}p), %xmm6 # 16-byte Folded Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm9
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm8
; SSE2-NOPCLMUL-NEXT:    pxor %xmm9, %xmm8
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm10
; SSE2-NOPCLMUL-NEXT:    pxor %xmm8, %xmm10
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm11
; SSE2-NOPCLMUL-NEXT:    pxor %xmm10, %xmm11
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm11, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa (%rsp), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm15, %xmm1
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm1, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm1 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm1
; SSE2-NOPCLMUL-NEXT:    pxor %xmm6, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm14, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm13, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm0, %xmm1
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm2 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm12, %xmm2
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm2
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm2
; SSE2-NOPCLMUL-NEXT:    movdqa {{[-0-9]+}}(%r{{[sb]}}p), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm0
; SSE2-NOPCLMUL-NEXT:    pxor %xmm2, %xmm0
; SSE2-NOPCLMUL-NEXT:    psllq $32, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm0, %xmm7
; SSE2-NOPCLMUL-NEXT:    pxor %xmm1, %xmm7
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, (%rsp) # 16-byte Spill
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, (%rdi)
; SSE2-NOPCLMUL-NEXT:    movdqa %xmm7, %xmm0
; SSE2-NOPCLMUL-NEXT:    callq use@PLT
; SSE2-NOPCLMUL-NEXT:    movaps (%rsp), %xmm0 # 16-byte Reload
; SSE2-NOPCLMUL-NEXT:    movaps %xmm0, (%rbx)
; SSE2-NOPCLMUL-NEXT:    addq $400, %rsp # imm = 0x190
; SSE2-NOPCLMUL-NEXT:    popq %rbx
; SSE2-NOPCLMUL-NEXT:    retq
;
; SSE-PCLMUL-LABEL: mul_use_commutative_clmul_v2i64:
; SSE-PCLMUL:       # %bb.0:
; SSE-PCLMUL-NEXT:    pushq %rbx
; SSE-PCLMUL-NEXT:    subq $16, %rsp
; SSE-PCLMUL-NEXT:    movq %rsi, %rbx
; SSE-PCLMUL-NEXT:    movdqa %xmm0, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $17, %xmm1, %xmm2
; SSE-PCLMUL-NEXT:    pclmulqdq $0, %xmm1, %xmm0
; SSE-PCLMUL-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE-PCLMUL-NEXT:    movdqa %xmm0, (%rsp) # 16-byte Spill
; SSE-PCLMUL-NEXT:    movdqa %xmm0, (%rdi)
; SSE-PCLMUL-NEXT:    callq use@PLT
; SSE-PCLMUL-NEXT:    movaps (%rsp), %xmm0 # 16-byte Reload
; SSE-PCLMUL-NEXT:    movaps %xmm0, (%rbx)
; SSE-PCLMUL-NEXT:    addq $16, %rsp
; SSE-PCLMUL-NEXT:    popq %rbx
; SSE-PCLMUL-NEXT:    retq
;
; AVX2-LABEL: mul_use_commutative_clmul_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    pushq %rbx
; AVX2-NEXT:    subq $16, %rsp
; AVX2-NEXT:    movq %rsi, %rbx
; AVX2-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX2-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX2-NEXT:    vmovdqa %xmm0, (%rsp) # 16-byte Spill
; AVX2-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX2-NEXT:    callq use@PLT
; AVX2-NEXT:    vmovaps (%rsp), %xmm0 # 16-byte Reload
; AVX2-NEXT:    vmovaps %xmm0, (%rbx)
; AVX2-NEXT:    addq $16, %rsp
; AVX2-NEXT:    popq %rbx
; AVX2-NEXT:    retq
;
; AVX512-LABEL: mul_use_commutative_clmul_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    pushq %rbx
; AVX512-NEXT:    subq $16, %rsp
; AVX512-NEXT:    movq %rsi, %rbx
; AVX512-NEXT:    vpclmulqdq $17, %xmm1, %xmm0, %xmm2
; AVX512-NEXT:    vpclmulqdq $0, %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; AVX512-NEXT:    vmovdqa %xmm0, (%rsp) # 16-byte Spill
; AVX512-NEXT:    vmovdqa %xmm0, (%rdi)
; AVX512-NEXT:    callq use@PLT
; AVX512-NEXT:    vmovaps (%rsp), %xmm0 # 16-byte Reload
; AVX512-NEXT:    vmovaps %xmm0, (%rbx)
; AVX512-NEXT:    addq $16, %rsp
; AVX512-NEXT:    popq %rbx
; AVX512-NEXT:    retq
  %xy = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %x, <2 x i64> %y)
  %yx = call <2 x i64> @llvm.clmul.v2i64(<2 x i64> %y, <2 x i64> %x)
  store <2 x i64> %xy, ptr %p0
  call void @use(<2 x i64> %xy)
  store <2 x i64> %yx, ptr %p1
  ret void
}