llvm/test/CodeGen/X86/masked-urem.ll

; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py UTC_ARGS: --version 6
; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64    | FileCheck %s --check-prefixes=SSE,SSE2
; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v2 | FileCheck %s --check-prefixes=SSE,SSE42
; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v3 | FileCheck %s --check-prefixes=AVX,AVX2
; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v4 | FileCheck %s --check-prefixes=AVX,AVX512

; Legal
define <4 x i32> @urem_v4i32(<4 x i32> %x, <4 x i32> %y, <4 x i1> %m) {
; SSE2-LABEL: urem_v4i32:
; SSE2:       # %bb.0:
; SSE2-NEXT:    pslld $31, %xmm2
; SSE2-NEXT:    psrad $31, %xmm2
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    paddd %xmm2, %xmm1
; SSE2-NEXT:    pcmpeqd %xmm2, %xmm2
; SSE2-NEXT:    psubd %xmm2, %xmm1
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[3,3,3,3]
; SSE2-NEXT:    movd %xmm2, %ecx
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[3,3,3,3]
; SSE2-NEXT:    movd %xmm2, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movd %edx, %xmm2
; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[2,3,2,3]
; SSE2-NEXT:    movd %xmm3, %ecx
; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[2,3,2,3]
; SSE2-NEXT:    movd %xmm3, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movd %edx, %xmm3
; SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
; SSE2-NEXT:    movd %xmm1, %ecx
; SSE2-NEXT:    movd %xmm0, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movd %edx, %xmm2
; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,1,1]
; SSE2-NEXT:    movd %xmm1, %ecx
; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,1,1,1]
; SSE2-NEXT:    movd %xmm0, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movd %edx, %xmm0
; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
; SSE2-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: urem_v4i32:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    pslld $31, %xmm2
; SSE42-NEXT:    movaps {{.*#+}} xmm4 = [1,1,1,1]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    blendvps %xmm0, %xmm1, %xmm4
; SSE42-NEXT:    extractps $1, %xmm4, %ecx
; SSE42-NEXT:    pextrd $1, %xmm3, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %ecx
; SSE42-NEXT:    movl %edx, %ecx
; SSE42-NEXT:    movd %xmm4, %esi
; SSE42-NEXT:    movd %xmm3, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %esi
; SSE42-NEXT:    movd %edx, %xmm0
; SSE42-NEXT:    pinsrd $1, %ecx, %xmm0
; SSE42-NEXT:    pextrd $2, %xmm4, %ecx
; SSE42-NEXT:    pextrd $2, %xmm3, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %ecx
; SSE42-NEXT:    pinsrd $2, %edx, %xmm0
; SSE42-NEXT:    pextrd $3, %xmm4, %ecx
; SSE42-NEXT:    pextrd $3, %xmm3, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %ecx
; SSE42-NEXT:    pinsrd $3, %edx, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: urem_v4i32:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpslld $31, %xmm2, %xmm2
; AVX2-NEXT:    vbroadcastss {{.*#+}} xmm3 = [1,1,1,1]
; AVX2-NEXT:    vblendvps %xmm2, %xmm1, %xmm3, %xmm1
; AVX2-NEXT:    vextractps $1, %xmm1, %ecx
; AVX2-NEXT:    vpextrd $1, %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %ecx
; AVX2-NEXT:    movl %edx, %ecx
; AVX2-NEXT:    vmovd %xmm1, %esi
; AVX2-NEXT:    vmovd %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %esi
; AVX2-NEXT:    vpextrd $2, %xmm1, %esi
; AVX2-NEXT:    vmovd %edx, %xmm2
; AVX2-NEXT:    vpextrd $2, %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %esi
; AVX2-NEXT:    movl %edx, %esi
; AVX2-NEXT:    vpinsrd $1, %ecx, %xmm2, %xmm2
; AVX2-NEXT:    vpextrd $3, %xmm1, %ecx
; AVX2-NEXT:    vpextrd $3, %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %ecx
; AVX2-NEXT:    vpinsrd $2, %esi, %xmm2, %xmm0
; AVX2-NEXT:    vpinsrd $3, %edx, %xmm0, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: urem_v4i32:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpslld $31, %xmm2, %xmm2
; AVX512-NEXT:    vpmovd2m %xmm2, %k1
; AVX512-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [1,1,1,1]
; AVX512-NEXT:    vmovdqa32 %xmm1, %xmm2 {%k1}
; AVX512-NEXT:    vpextrd $1, %xmm2, %ecx
; AVX512-NEXT:    vpextrd $1, %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %ecx
; AVX512-NEXT:    movl %edx, %ecx
; AVX512-NEXT:    vmovd %xmm2, %esi
; AVX512-NEXT:    vmovd %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %esi
; AVX512-NEXT:    movl %edx, %esi
; AVX512-NEXT:    vpextrd $2, %xmm2, %edi
; AVX512-NEXT:    vpextrd $2, %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %edi
; AVX512-NEXT:    movl %edx, %edi
; AVX512-NEXT:    vpextrd $3, %xmm2, %r8d
; AVX512-NEXT:    vmovd %esi, %xmm1
; AVX512-NEXT:    vpextrd $3, %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %r8d
; AVX512-NEXT:    vpinsrd $1, %ecx, %xmm1, %xmm0
; AVX512-NEXT:    vpinsrd $2, %edi, %xmm0, %xmm0
; AVX512-NEXT:    vpinsrd $3, %edx, %xmm0, %xmm0
; AVX512-NEXT:    retq
  %res = call <4 x i32> @llvm.masked.urem(<4 x i32> %x, <4 x i32> %y, <4 x i1> %m)
  ret <4 x i32> %res
}

define <2 x i64> @urem_v2i64(<2 x i64> %x, <2 x i64> %y, <2 x i1> %m) {
; SSE2-LABEL: urem_v2i64:
; SSE2:       # %bb.0:
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,0,2,2]
; SSE2-NEXT:    pslld $31, %xmm2
; SSE2-NEXT:    psrad $31, %xmm2
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NEXT:    por %xmm1, %xmm2
; SSE2-NEXT:    movq %xmm2, %rcx
; SSE2-NEXT:    movq %xmm0, %rax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divq %rcx
; SSE2-NEXT:    movq %rdx, %xmm1
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[2,3,2,3]
; SSE2-NEXT:    movq %xmm2, %rcx
; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
; SSE2-NEXT:    movq %xmm0, %rax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divq %rcx
; SSE2-NEXT:    movq %rdx, %xmm0
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
; SSE2-NEXT:    movdqa %xmm1, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: urem_v2i64:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    psllq $63, %xmm2
; SSE42-NEXT:    movapd {{.*#+}} xmm4 = [1,1]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    blendvpd %xmm0, %xmm1, %xmm4
; SSE42-NEXT:    pextrq $1, %xmm4, %rcx
; SSE42-NEXT:    pextrq $1, %xmm3, %rax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divq %rcx
; SSE42-NEXT:    movq %rdx, %xmm1
; SSE42-NEXT:    movq %xmm4, %rcx
; SSE42-NEXT:    movq %xmm3, %rax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divq %rcx
; SSE42-NEXT:    movq %rdx, %xmm0
; SSE42-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE42-NEXT:    retq
;
; AVX2-LABEL: urem_v2i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpsllq $63, %xmm2, %xmm2
; AVX2-NEXT:    vmovddup {{.*#+}} xmm3 = [1,1]
; AVX2-NEXT:    # xmm3 = mem[0,0]
; AVX2-NEXT:    vblendvpd %xmm2, %xmm1, %xmm3, %xmm1
; AVX2-NEXT:    vpextrq $1, %xmm1, %rcx
; AVX2-NEXT:    vpextrq $1, %xmm0, %rax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divq %rcx
; AVX2-NEXT:    movq %rdx, %rcx
; AVX2-NEXT:    vmovq %xmm1, %rsi
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divq %rsi
; AVX2-NEXT:    vmovq %rcx, %xmm0
; AVX2-NEXT:    vmovq %rdx, %xmm1
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
; AVX2-NEXT:    retq
;
; AVX512-LABEL: urem_v2i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpsllq $63, %xmm2, %xmm2
; AVX512-NEXT:    vpmovq2m %xmm2, %k1
; AVX512-NEXT:    vpbroadcastq {{.*#+}} xmm2 = [1,1]
; AVX512-NEXT:    vmovdqa64 %xmm1, %xmm2 {%k1}
; AVX512-NEXT:    vpextrq $1, %xmm2, %rcx
; AVX512-NEXT:    vpextrq $1, %xmm0, %rax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divq %rcx
; AVX512-NEXT:    movq %rdx, %rcx
; AVX512-NEXT:    vmovq %xmm2, %rsi
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divq %rsi
; AVX512-NEXT:    vmovq %rcx, %xmm0
; AVX512-NEXT:    vmovq %rdx, %xmm1
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
; AVX512-NEXT:    retq
  %res = call <2 x i64> @llvm.masked.urem(<2 x i64> %x, <2 x i64> %y, <2 x i1> %m)
  ret <2 x i64> %res
}

; Splitting
define <4 x i64> @urem_v4i64(<4 x i64> %x, <4 x i64> %y, <4 x i1> %m) {
; SSE2-LABEL: urem_v4i64:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movdqa %xmm0, %xmm5
; SSE2-NEXT:    pshufd {{.*#+}} xmm6 = xmm4[2,2,3,3]
; SSE2-NEXT:    pslld $31, %xmm6
; SSE2-NEXT:    psrad $31, %xmm6
; SSE2-NEXT:    pshufd {{.*#+}} xmm4 = xmm4[0,0,1,1]
; SSE2-NEXT:    pslld $31, %xmm4
; SSE2-NEXT:    psrad $31, %xmm4
; SSE2-NEXT:    movdqa {{.*#+}} xmm7 = [1,1]
; SSE2-NEXT:    pand %xmm4, %xmm2
; SSE2-NEXT:    pandn %xmm7, %xmm4
; SSE2-NEXT:    por %xmm2, %xmm4
; SSE2-NEXT:    movq %xmm4, %rcx
; SSE2-NEXT:    movq %xmm0, %rax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divq %rcx
; SSE2-NEXT:    movq %rdx, %xmm0
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm4[2,3,2,3]
; SSE2-NEXT:    movq %xmm2, %rcx
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm5[2,3,2,3]
; SSE2-NEXT:    movq %xmm2, %rax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divq %rcx
; SSE2-NEXT:    movq %rdx, %xmm2
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE2-NEXT:    pand %xmm6, %xmm3
; SSE2-NEXT:    pandn %xmm7, %xmm6
; SSE2-NEXT:    por %xmm3, %xmm6
; SSE2-NEXT:    movq %xmm6, %rcx
; SSE2-NEXT:    movq %xmm1, %rax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divq %rcx
; SSE2-NEXT:    movq %rdx, %xmm2
; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm6[2,3,2,3]
; SSE2-NEXT:    movq %xmm3, %rcx
; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
; SSE2-NEXT:    movq %xmm1, %rax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divq %rcx
; SSE2-NEXT:    movq %rdx, %xmm1
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm1[0]
; SSE2-NEXT:    movdqa %xmm2, %xmm1
; SSE2-NEXT:    retq
;
; SSE42-LABEL: urem_v4i64:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm5
; SSE42-NEXT:    pshufd {{.*#+}} xmm6 = xmm4[2,2,3,3]
; SSE42-NEXT:    pmovzxdq {{.*#+}} xmm0 = xmm4[0],zero,xmm4[1],zero
; SSE42-NEXT:    psllq $63, %xmm0
; SSE42-NEXT:    movapd {{.*#+}} xmm4 = [1,1]
; SSE42-NEXT:    movapd %xmm4, %xmm7
; SSE42-NEXT:    blendvpd %xmm0, %xmm2, %xmm7
; SSE42-NEXT:    pextrq $1, %xmm7, %rcx
; SSE42-NEXT:    pextrq $1, %xmm5, %rax
; SSE42-NEXT:    psllq $63, %xmm6
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divq %rcx
; SSE42-NEXT:    movq %rdx, %xmm8
; SSE42-NEXT:    movq %xmm7, %rcx
; SSE42-NEXT:    movq %xmm5, %rax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divq %rcx
; SSE42-NEXT:    movq %rdx, %xmm2
; SSE42-NEXT:    movdqa %xmm6, %xmm0
; SSE42-NEXT:    blendvpd %xmm0, %xmm3, %xmm4
; SSE42-NEXT:    pextrq $1, %xmm4, %rcx
; SSE42-NEXT:    pextrq $1, %xmm1, %rax
; SSE42-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm8[0]
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divq %rcx
; SSE42-NEXT:    movq %rdx, %xmm0
; SSE42-NEXT:    movq %xmm4, %rcx
; SSE42-NEXT:    movq %xmm1, %rax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divq %rcx
; SSE42-NEXT:    movq %rdx, %xmm1
; SSE42-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm0[0]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: urem_v4i64:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpslld $31, %xmm2, %xmm2
; AVX2-NEXT:    vpmovsxdq %xmm2, %ymm2
; AVX2-NEXT:    vbroadcastsd {{.*#+}} ymm3 = [1,1,1,1]
; AVX2-NEXT:    vblendvpd %ymm2, %ymm1, %ymm3, %ymm1
; AVX2-NEXT:    vextractf128 $1, %ymm1, %xmm2
; AVX2-NEXT:    vpextrq $1, %xmm2, %rcx
; AVX2-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX2-NEXT:    vpextrq $1, %xmm3, %rax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divq %rcx
; AVX2-NEXT:    movq %rdx, %rcx
; AVX2-NEXT:    vmovq %xmm2, %rsi
; AVX2-NEXT:    vmovq %xmm3, %rax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divq %rsi
; AVX2-NEXT:    vmovq %rcx, %xmm2
; AVX2-NEXT:    vpextrq $1, %xmm1, %rcx
; AVX2-NEXT:    vmovq %rdx, %xmm3
; AVX2-NEXT:    vpextrq $1, %xmm0, %rax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divq %rcx
; AVX2-NEXT:    movq %rdx, %rcx
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm3[0],xmm2[0]
; AVX2-NEXT:    vmovq %xmm1, %rsi
; AVX2-NEXT:    vmovq %xmm0, %rax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divq %rsi
; AVX2-NEXT:    vmovq %rcx, %xmm0
; AVX2-NEXT:    vmovq %rdx, %xmm1
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm1[0],xmm0[0]
; AVX2-NEXT:    vinserti128 $1, %xmm2, %ymm0, %ymm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: urem_v4i64:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpslld $31, %xmm2, %xmm2
; AVX512-NEXT:    vpmovd2m %xmm2, %k1
; AVX512-NEXT:    vpbroadcastq {{.*#+}} ymm2 = [1,1,1,1]
; AVX512-NEXT:    vmovdqa64 %ymm1, %ymm2 {%k1}
; AVX512-NEXT:    vextracti128 $1, %ymm2, %xmm1
; AVX512-NEXT:    vpextrq $1, %xmm1, %rcx
; AVX512-NEXT:    vextracti128 $1, %ymm0, %xmm3
; AVX512-NEXT:    vpextrq $1, %xmm3, %rax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divq %rcx
; AVX512-NEXT:    movq %rdx, %rcx
; AVX512-NEXT:    vmovq %xmm1, %rsi
; AVX512-NEXT:    vmovq %xmm3, %rax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divq %rsi
; AVX512-NEXT:    movq %rdx, %rsi
; AVX512-NEXT:    vpextrq $1, %xmm2, %rdi
; AVX512-NEXT:    vpextrq $1, %xmm0, %rax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divq %rdi
; AVX512-NEXT:    movq %rdx, %rdi
; AVX512-NEXT:    vmovq %rcx, %xmm1
; AVX512-NEXT:    vmovq %xmm2, %rcx
; AVX512-NEXT:    vmovq %xmm0, %rax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divq %rcx
; AVX512-NEXT:    vmovq %rsi, %xmm0
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; AVX512-NEXT:    vmovq %rdi, %xmm1
; AVX512-NEXT:    vmovq %rdx, %xmm2
; AVX512-NEXT:    vpunpcklqdq {{.*#+}} xmm1 = xmm2[0],xmm1[0]
; AVX512-NEXT:    vinserti128 $1, %xmm0, %ymm1, %ymm0
; AVX512-NEXT:    retq
  %res = call <4 x i64> @llvm.masked.urem(<4 x i64> %x, <4 x i64> %y, <4 x i1> %m)
  ret <4 x i64> %res
}

; Widening
define <2 x i32> @urem_v2i32(<2 x i32> %x, <2 x i32> %y, <2 x i1> %m) {
; SSE2-LABEL: urem_v2i32:
; SSE2:       # %bb.0:
; SSE2-NEXT:    xorps %xmm3, %xmm3
; SSE2-NEXT:    shufps {{.*#+}} xmm2 = xmm2[0,2],xmm3[2,3]
; SSE2-NEXT:    pslld $31, %xmm2
; SSE2-NEXT:    psrad $31, %xmm2
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    paddd %xmm2, %xmm1
; SSE2-NEXT:    pcmpeqd %xmm2, %xmm2
; SSE2-NEXT:    psubd %xmm2, %xmm1
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[3,3,3,3]
; SSE2-NEXT:    movd %xmm2, %ecx
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[3,3,3,3]
; SSE2-NEXT:    movd %xmm2, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movd %edx, %xmm2
; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm1[2,3,2,3]
; SSE2-NEXT:    movd %xmm3, %ecx
; SSE2-NEXT:    pshufd {{.*#+}} xmm3 = xmm0[2,3,2,3]
; SSE2-NEXT:    movd %xmm3, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movd %edx, %xmm3
; SSE2-NEXT:    punpckldq {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
; SSE2-NEXT:    movd %xmm1, %ecx
; SSE2-NEXT:    movd %xmm0, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movd %edx, %xmm2
; SSE2-NEXT:    pshufd {{.*#+}} xmm1 = xmm1[1,1,1,1]
; SSE2-NEXT:    movd %xmm1, %ecx
; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[1,1,1,1]
; SSE2-NEXT:    movd %xmm0, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movd %edx, %xmm0
; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm0[0],xmm2[1],xmm0[1]
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
; SSE2-NEXT:    movdqa %xmm2, %xmm0
; SSE2-NEXT:    retq
;
; SSE42-LABEL: urem_v2i32:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    insertps {{.*#+}} xmm2 = xmm2[0,2],zero,zero
; SSE42-NEXT:    pslld $31, %xmm2
; SSE42-NEXT:    movaps {{.*#+}} xmm4 = [1,1,1,1]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    blendvps %xmm0, %xmm1, %xmm4
; SSE42-NEXT:    extractps $1, %xmm4, %ecx
; SSE42-NEXT:    pextrd $1, %xmm3, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %ecx
; SSE42-NEXT:    movl %edx, %ecx
; SSE42-NEXT:    movd %xmm4, %esi
; SSE42-NEXT:    movd %xmm3, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %esi
; SSE42-NEXT:    movd %edx, %xmm0
; SSE42-NEXT:    pinsrd $1, %ecx, %xmm0
; SSE42-NEXT:    pextrd $2, %xmm4, %ecx
; SSE42-NEXT:    pextrd $2, %xmm3, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %ecx
; SSE42-NEXT:    pinsrd $2, %edx, %xmm0
; SSE42-NEXT:    pextrd $3, %xmm4, %ecx
; SSE42-NEXT:    pextrd $3, %xmm3, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %ecx
; SSE42-NEXT:    pinsrd $3, %edx, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: urem_v2i32:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vinsertps {{.*#+}} xmm2 = xmm2[0,2],zero,zero
; AVX2-NEXT:    vpslld $31, %xmm2, %xmm2
; AVX2-NEXT:    vbroadcastss {{.*#+}} xmm3 = [1,1,1,1]
; AVX2-NEXT:    vblendvps %xmm2, %xmm1, %xmm3, %xmm1
; AVX2-NEXT:    vextractps $1, %xmm1, %ecx
; AVX2-NEXT:    vpextrd $1, %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %ecx
; AVX2-NEXT:    movl %edx, %ecx
; AVX2-NEXT:    vmovd %xmm1, %esi
; AVX2-NEXT:    vmovd %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %esi
; AVX2-NEXT:    vpextrd $2, %xmm1, %esi
; AVX2-NEXT:    vmovd %edx, %xmm2
; AVX2-NEXT:    vpextrd $2, %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %esi
; AVX2-NEXT:    movl %edx, %esi
; AVX2-NEXT:    vpinsrd $1, %ecx, %xmm2, %xmm2
; AVX2-NEXT:    vpextrd $3, %xmm1, %ecx
; AVX2-NEXT:    vpextrd $3, %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %ecx
; AVX2-NEXT:    vpinsrd $2, %esi, %xmm2, %xmm0
; AVX2-NEXT:    vpinsrd $3, %edx, %xmm0, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: urem_v2i32:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpsllq $63, %xmm2, %xmm2
; AVX512-NEXT:    vpmovq2m %xmm2, %k1
; AVX512-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [1,1,1,1]
; AVX512-NEXT:    vmovdqa32 %xmm1, %xmm2 {%k1}
; AVX512-NEXT:    vpextrd $1, %xmm2, %ecx
; AVX512-NEXT:    vpextrd $1, %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %ecx
; AVX512-NEXT:    movl %edx, %ecx
; AVX512-NEXT:    vmovd %xmm2, %esi
; AVX512-NEXT:    vmovd %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %esi
; AVX512-NEXT:    movl %edx, %esi
; AVX512-NEXT:    vpextrd $2, %xmm2, %edi
; AVX512-NEXT:    vpextrd $2, %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %edi
; AVX512-NEXT:    movl %edx, %edi
; AVX512-NEXT:    vpextrd $3, %xmm2, %r8d
; AVX512-NEXT:    vmovd %esi, %xmm1
; AVX512-NEXT:    vpextrd $3, %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %r8d
; AVX512-NEXT:    vpinsrd $1, %ecx, %xmm1, %xmm0
; AVX512-NEXT:    vpinsrd $2, %edi, %xmm0, %xmm0
; AVX512-NEXT:    vpinsrd $3, %edx, %xmm0, %xmm0
; AVX512-NEXT:    retq
  %res = call <2 x i32> @llvm.masked.urem(<2 x i32> %x, <2 x i32> %y, <2 x i1> %m)
  ret <2 x i32> %res
}

; Promotion
define <4 x i16> @urem_v4i16(<4 x i16> %x, <4 x i16> %y, <4 x i1> %m) {
; SSE2-LABEL: urem_v4i16:
; SSE2:       # %bb.0:
; SSE2-NEXT:    pshuflw {{.*#+}} xmm2 = xmm2[0,2,2,3,4,5,6,7]
; SSE2-NEXT:    pshufhw {{.*#+}} xmm2 = xmm2[0,1,2,3,4,6,6,7]
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm2[0,1,0,2]
; SSE2-NEXT:    psrldq {{.*#+}} xmm2 = xmm2[8,9,10,11,12,13,14,15],zero,zero,zero,zero,zero,zero,zero,zero
; SSE2-NEXT:    psllw $15, %xmm2
; SSE2-NEXT:    psraw $15, %xmm2
; SSE2-NEXT:    pand %xmm2, %xmm1
; SSE2-NEXT:    paddw %xmm2, %xmm1
; SSE2-NEXT:    pcmpeqd %xmm2, %xmm2
; SSE2-NEXT:    psubw %xmm2, %xmm1
; SSE2-NEXT:    pextrw $7, %xmm1, %ecx
; SSE2-NEXT:    pextrw $7, %xmm0, %eax
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divw %cx
; SSE2-NEXT:    # kill: def $dx killed $dx def $edx
; SSE2-NEXT:    pextrw $6, %xmm1, %ecx
; SSE2-NEXT:    movd %edx, %xmm2
; SSE2-NEXT:    pextrw $6, %xmm0, %eax
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divw %cx
; SSE2-NEXT:    # kill: def $dx killed $dx def $edx
; SSE2-NEXT:    movd %edx, %xmm3
; SSE2-NEXT:    pextrw $5, %xmm1, %ecx
; SSE2-NEXT:    pextrw $5, %xmm0, %eax
; SSE2-NEXT:    punpcklwd {{.*#+}} xmm3 = xmm3[0],xmm2[0],xmm3[1],xmm2[1],xmm3[2],xmm2[2],xmm3[3],xmm2[3]
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divw %cx
; SSE2-NEXT:    # kill: def $dx killed $dx def $edx
; SSE2-NEXT:    movd %edx, %xmm4
; SSE2-NEXT:    pextrw $4, %xmm1, %ecx
; SSE2-NEXT:    pextrw $4, %xmm0, %eax
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divw %cx
; SSE2-NEXT:    # kill: def $dx killed $dx def $edx
; SSE2-NEXT:    movd %edx, %xmm2
; SSE2-NEXT:    punpcklwd {{.*#+}} xmm2 = xmm2[0],xmm4[0],xmm2[1],xmm4[1],xmm2[2],xmm4[2],xmm2[3],xmm4[3]
; SSE2-NEXT:    pextrw $3, %xmm1, %ecx
; SSE2-NEXT:    pextrw $3, %xmm0, %eax
; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm3[0],xmm2[1],xmm3[1]
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divw %cx
; SSE2-NEXT:    # kill: def $dx killed $dx def $edx
; SSE2-NEXT:    movd %edx, %xmm3
; SSE2-NEXT:    pextrw $2, %xmm1, %ecx
; SSE2-NEXT:    pextrw $2, %xmm0, %eax
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divw %cx
; SSE2-NEXT:    # kill: def $dx killed $dx def $edx
; SSE2-NEXT:    movd %edx, %xmm4
; SSE2-NEXT:    punpcklwd {{.*#+}} xmm4 = xmm4[0],xmm3[0],xmm4[1],xmm3[1],xmm4[2],xmm3[2],xmm4[3],xmm3[3]
; SSE2-NEXT:    pextrw $1, %xmm1, %ecx
; SSE2-NEXT:    pextrw $1, %xmm0, %eax
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divw %cx
; SSE2-NEXT:    # kill: def $dx killed $dx def $edx
; SSE2-NEXT:    movd %edx, %xmm3
; SSE2-NEXT:    movd %xmm1, %ecx
; SSE2-NEXT:    movd %xmm0, %eax
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divw %cx
; SSE2-NEXT:    # kill: def $dx killed $dx def $edx
; SSE2-NEXT:    movd %edx, %xmm0
; SSE2-NEXT:    punpcklwd {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1],xmm0[2],xmm3[2],xmm0[3],xmm3[3]
; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm4[0],xmm0[1],xmm4[1]
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm2[0]
; SSE2-NEXT:    retq
;
; SSE42-LABEL: urem_v4i16:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movdqa %xmm0, %xmm3
; SSE42-NEXT:    pshufb {{.*#+}} xmm2 = xmm2[0,1,4,5,8,9,12,13],zero,zero,zero,zero,zero,zero,zero,zero
; SSE42-NEXT:    psllw $15, %xmm2
; SSE42-NEXT:    psraw $15, %xmm2
; SSE42-NEXT:    movdqa {{.*#+}} xmm4 = [1,1,1,1,1,1,1,1]
; SSE42-NEXT:    movdqa %xmm2, %xmm0
; SSE42-NEXT:    pblendvb %xmm0, %xmm1, %xmm4
; SSE42-NEXT:    pextrw $1, %xmm4, %ecx
; SSE42-NEXT:    pextrw $1, %xmm3, %eax
; SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divw %cx
; SSE42-NEXT:    movl %edx, %ecx
; SSE42-NEXT:    movd %xmm4, %esi
; SSE42-NEXT:    movd %xmm3, %eax
; SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divw %si
; SSE42-NEXT:    # kill: def $dx killed $dx def $edx
; SSE42-NEXT:    movd %edx, %xmm0
; SSE42-NEXT:    pinsrw $1, %ecx, %xmm0
; SSE42-NEXT:    pextrw $2, %xmm4, %ecx
; SSE42-NEXT:    pextrw $2, %xmm3, %eax
; SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divw %cx
; SSE42-NEXT:    # kill: def $dx killed $dx def $edx
; SSE42-NEXT:    pinsrw $2, %edx, %xmm0
; SSE42-NEXT:    pextrw $3, %xmm4, %ecx
; SSE42-NEXT:    pextrw $3, %xmm3, %eax
; SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divw %cx
; SSE42-NEXT:    # kill: def $dx killed $dx def $edx
; SSE42-NEXT:    pinsrw $3, %edx, %xmm0
; SSE42-NEXT:    pextrw $4, %xmm4, %ecx
; SSE42-NEXT:    pextrw $4, %xmm3, %eax
; SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divw %cx
; SSE42-NEXT:    # kill: def $dx killed $dx def $edx
; SSE42-NEXT:    pinsrw $4, %edx, %xmm0
; SSE42-NEXT:    pextrw $5, %xmm4, %ecx
; SSE42-NEXT:    pextrw $5, %xmm3, %eax
; SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divw %cx
; SSE42-NEXT:    # kill: def $dx killed $dx def $edx
; SSE42-NEXT:    pinsrw $5, %edx, %xmm0
; SSE42-NEXT:    pextrw $6, %xmm4, %ecx
; SSE42-NEXT:    pextrw $6, %xmm3, %eax
; SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divw %cx
; SSE42-NEXT:    # kill: def $dx killed $dx def $edx
; SSE42-NEXT:    pinsrw $6, %edx, %xmm0
; SSE42-NEXT:    pextrw $7, %xmm4, %ecx
; SSE42-NEXT:    pextrw $7, %xmm3, %eax
; SSE42-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divw %cx
; SSE42-NEXT:    # kill: def $dx killed $dx def $edx
; SSE42-NEXT:    pinsrw $7, %edx, %xmm0
; SSE42-NEXT:    retq
;
; AVX2-LABEL: urem_v4i16:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpshufb {{.*#+}} xmm2 = xmm2[0,1,4,5,8,9,12,13],zero,zero,zero,zero,zero,zero,zero,zero
; AVX2-NEXT:    vpsllw $15, %xmm2, %xmm2
; AVX2-NEXT:    vpsraw $15, %xmm2, %xmm2
; AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [1,1,1,1,1,1,1,1]
; AVX2-NEXT:    vpblendvb %xmm2, %xmm1, %xmm3, %xmm1
; AVX2-NEXT:    vpextrw $1, %xmm1, %ecx
; AVX2-NEXT:    vpextrw $1, %xmm0, %eax
; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divw %cx
; AVX2-NEXT:    movl %edx, %ecx
; AVX2-NEXT:    vmovd %xmm1, %esi
; AVX2-NEXT:    vmovd %xmm0, %eax
; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divw %si
; AVX2-NEXT:    # kill: def $dx killed $dx def $edx
; AVX2-NEXT:    vpextrw $2, %xmm1, %esi
; AVX2-NEXT:    vmovd %edx, %xmm2
; AVX2-NEXT:    vpextrw $2, %xmm0, %eax
; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divw %si
; AVX2-NEXT:    movl %edx, %esi
; AVX2-NEXT:    vpinsrw $1, %ecx, %xmm2, %xmm2
; AVX2-NEXT:    vpextrw $3, %xmm1, %ecx
; AVX2-NEXT:    vpextrw $3, %xmm0, %eax
; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divw %cx
; AVX2-NEXT:    movl %edx, %ecx
; AVX2-NEXT:    vpinsrw $2, %esi, %xmm2, %xmm2
; AVX2-NEXT:    vpextrw $4, %xmm1, %esi
; AVX2-NEXT:    vpextrw $4, %xmm0, %eax
; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divw %si
; AVX2-NEXT:    movl %edx, %esi
; AVX2-NEXT:    vpinsrw $3, %ecx, %xmm2, %xmm2
; AVX2-NEXT:    vpextrw $5, %xmm1, %ecx
; AVX2-NEXT:    vpextrw $5, %xmm0, %eax
; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divw %cx
; AVX2-NEXT:    movl %edx, %ecx
; AVX2-NEXT:    vpinsrw $4, %esi, %xmm2, %xmm2
; AVX2-NEXT:    vpextrw $6, %xmm1, %esi
; AVX2-NEXT:    vpextrw $6, %xmm0, %eax
; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divw %si
; AVX2-NEXT:    movl %edx, %esi
; AVX2-NEXT:    vpinsrw $5, %ecx, %xmm2, %xmm2
; AVX2-NEXT:    vpextrw $7, %xmm1, %ecx
; AVX2-NEXT:    vpextrw $7, %xmm0, %eax
; AVX2-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divw %cx
; AVX2-NEXT:    # kill: def $dx killed $dx def $edx
; AVX2-NEXT:    vpinsrw $6, %esi, %xmm2, %xmm0
; AVX2-NEXT:    vpinsrw $7, %edx, %xmm0, %xmm0
; AVX2-NEXT:    retq
;
; AVX512-LABEL: urem_v4i16:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vpslld $31, %xmm2, %xmm2
; AVX512-NEXT:    vpmovd2m %xmm2, %k1
; AVX512-NEXT:    vpbroadcastd {{.*#+}} xmm2 = [1,1,1,1,1,1,1,1]
; AVX512-NEXT:    vmovdqu16 %xmm1, %xmm2 {%k1}
; AVX512-NEXT:    vpextrw $1, %xmm2, %ecx
; AVX512-NEXT:    vpextrw $1, %xmm0, %eax
; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divw %cx
; AVX512-NEXT:    movl %edx, %ecx
; AVX512-NEXT:    vmovd %xmm2, %esi
; AVX512-NEXT:    vmovd %xmm0, %eax
; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divw %si
; AVX512-NEXT:    movl %edx, %esi
; AVX512-NEXT:    vpextrw $2, %xmm2, %edi
; AVX512-NEXT:    vpextrw $2, %xmm0, %eax
; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divw %di
; AVX512-NEXT:    movl %edx, %r8d
; AVX512-NEXT:    vpextrw $3, %xmm2, %edi
; AVX512-NEXT:    vpextrw $3, %xmm0, %eax
; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divw %di
; AVX512-NEXT:    movl %edx, %edi
; AVX512-NEXT:    vpextrw $4, %xmm2, %r9d
; AVX512-NEXT:    vpextrw $4, %xmm0, %eax
; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divw %r9w
; AVX512-NEXT:    movl %edx, %r9d
; AVX512-NEXT:    vpextrw $5, %xmm2, %r10d
; AVX512-NEXT:    vmovd %esi, %xmm1
; AVX512-NEXT:    vpextrw $5, %xmm0, %eax
; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divw %r10w
; AVX512-NEXT:    movl %edx, %esi
; AVX512-NEXT:    vpinsrw $1, %ecx, %xmm1, %xmm1
; AVX512-NEXT:    vpinsrw $2, %r8d, %xmm1, %xmm1
; AVX512-NEXT:    vpextrw $6, %xmm2, %ecx
; AVX512-NEXT:    vpextrw $6, %xmm0, %eax
; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divw %cx
; AVX512-NEXT:    movl %edx, %ecx
; AVX512-NEXT:    vpinsrw $3, %edi, %xmm1, %xmm1
; AVX512-NEXT:    vpinsrw $4, %r9d, %xmm1, %xmm1
; AVX512-NEXT:    vpextrw $7, %xmm2, %edi
; AVX512-NEXT:    vpextrw $7, %xmm0, %eax
; AVX512-NEXT:    # kill: def $ax killed $ax killed $eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divw %di
; AVX512-NEXT:    # kill: def $dx killed $dx def $edx
; AVX512-NEXT:    vpinsrw $5, %esi, %xmm1, %xmm0
; AVX512-NEXT:    vpinsrw $6, %ecx, %xmm0, %xmm0
; AVX512-NEXT:    vpinsrw $7, %edx, %xmm0, %xmm0
; AVX512-NEXT:    retq
  %res = call <4 x i16> @llvm.masked.urem(<4 x i16> %x, <4 x i16> %y, <4 x i1> %m)
  ret <4 x i16> %res
}

; Scalarization
define <1 x i64> @urem_v1i164(<1 x i64> %x, <1 x i64> %y, <1 x i1> %m) {
; SSE-LABEL: urem_v1i164:
; SSE:       # %bb.0:
; SSE-NEXT:    movq %rdi, %rax
; SSE-NEXT:    testb $1, %dl
; SSE-NEXT:    movl $1, %ecx
; SSE-NEXT:    cmovneq %rsi, %rcx
; SSE-NEXT:    xorl %edx, %edx
; SSE-NEXT:    divq %rcx
; SSE-NEXT:    movq %rdx, %rax
; SSE-NEXT:    retq
;
; AVX-LABEL: urem_v1i164:
; AVX:       # %bb.0:
; AVX-NEXT:    movq %rdi, %rax
; AVX-NEXT:    testb $1, %dl
; AVX-NEXT:    movl $1, %ecx
; AVX-NEXT:    cmovneq %rsi, %rcx
; AVX-NEXT:    xorl %edx, %edx
; AVX-NEXT:    divq %rcx
; AVX-NEXT:    movq %rdx, %rax
; AVX-NEXT:    retq
  %res = call <1 x i64> @llvm.masked.urem(<1 x i64> %x, <1 x i64> %y, <1 x i1> %m)
  ret <1 x i64> %res
}

; Expansion
define <2 x i128> @urem_v2i128(<2 x i128> %x, <2 x i128> %y, <2 x i1> %m) nounwind {
; SSE2-LABEL: urem_v2i128:
; SSE2:       # %bb.0:
; SSE2-NEXT:    pushq %rbp
; SSE2-NEXT:    pushq %r15
; SSE2-NEXT:    pushq %r14
; SSE2-NEXT:    pushq %r13
; SSE2-NEXT:    pushq %r12
; SSE2-NEXT:    pushq %rbx
; SSE2-NEXT:    pushq %rax
; SSE2-NEXT:    movq %r9, %r12
; SSE2-NEXT:    movq %rdx, %r14
; SSE2-NEXT:    movq %rsi, %r15
; SSE2-NEXT:    movq %rdi, %rbx
; SSE2-NEXT:    movd %xmm0, %ebp
; SSE2-NEXT:    movdqu {{[0-9]+}}(%rsp), %xmm1
; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
; SSE2-NEXT:    movd %xmm0, %eax
; SSE2-NEXT:    andl $1, %eax
; SSE2-NEXT:    negl %eax
; SSE2-NEXT:    movd %eax, %xmm0
; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,0,0]
; SSE2-NEXT:    pand %xmm0, %xmm1
; SSE2-NEXT:    pandn {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NEXT:    por %xmm1, %xmm0
; SSE2-NEXT:    movq %xmm0, %rdx
; SSE2-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[2,3,2,3]
; SSE2-NEXT:    movq %xmm0, %rax
; SSE2-NEXT:    movq %rcx, %rdi
; SSE2-NEXT:    movq %r8, %rsi
; SSE2-NEXT:    movq %rax, %rcx
; SSE2-NEXT:    callq __umodti3@PLT
; SSE2-NEXT:    movq %rax, %r13
; SSE2-NEXT:    xorl %ecx, %ecx
; SSE2-NEXT:    testb $1, %bpl
; SSE2-NEXT:    movl $1, %eax
; SSE2-NEXT:    cmovneq %r12, %rax
; SSE2-NEXT:    movq %rdx, %r12
; SSE2-NEXT:    cmovneq {{[0-9]+}}(%rsp), %rcx
; SSE2-NEXT:    movq %r15, %rdi
; SSE2-NEXT:    movq %r14, %rsi
; SSE2-NEXT:    movq %rax, %rdx
; SSE2-NEXT:    callq __umodti3@PLT
; SSE2-NEXT:    movq %rdx, 8(%rbx)
; SSE2-NEXT:    movq %rax, (%rbx)
; SSE2-NEXT:    movq %r12, 24(%rbx)
; SSE2-NEXT:    movq %r13, 16(%rbx)
; SSE2-NEXT:    movq %rbx, %rax
; SSE2-NEXT:    addq $8, %rsp
; SSE2-NEXT:    popq %rbx
; SSE2-NEXT:    popq %r12
; SSE2-NEXT:    popq %r13
; SSE2-NEXT:    popq %r14
; SSE2-NEXT:    popq %r15
; SSE2-NEXT:    popq %rbp
; SSE2-NEXT:    retq
;
; SSE42-LABEL: urem_v2i128:
; SSE42:       # %bb.0:
; SSE42-NEXT:    pushq %rbp
; SSE42-NEXT:    pushq %r15
; SSE42-NEXT:    pushq %r14
; SSE42-NEXT:    pushq %r13
; SSE42-NEXT:    pushq %r12
; SSE42-NEXT:    pushq %rbx
; SSE42-NEXT:    pushq %rax
; SSE42-NEXT:    movdqa %xmm0, %xmm1
; SSE42-NEXT:    movq %r9, %r12
; SSE42-NEXT:    movq %rdx, %r14
; SSE42-NEXT:    movq %rsi, %r15
; SSE42-NEXT:    movq %rdi, %rbx
; SSE42-NEXT:    movups {{[0-9]+}}(%rsp), %xmm2
; SSE42-NEXT:    pextrd $2, %xmm0, %eax
; SSE42-NEXT:    andl $1, %eax
; SSE42-NEXT:    negl %eax
; SSE42-NEXT:    movd %eax, %xmm0
; SSE42-NEXT:    pshufd {{.*#+}} xmm0 = xmm0[0,0,0,0]
; SSE42-NEXT:    movss {{.*#+}} xmm3 = [1,0,0,0]
; SSE42-NEXT:    blendvps %xmm0, %xmm2, %xmm3
; SSE42-NEXT:    movd %xmm1, %ebp
; SSE42-NEXT:    movq %xmm3, %rdx
; SSE42-NEXT:    pextrq $1, %xmm3, %rax
; SSE42-NEXT:    movq %rcx, %rdi
; SSE42-NEXT:    movq %r8, %rsi
; SSE42-NEXT:    movq %rax, %rcx
; SSE42-NEXT:    callq __umodti3@PLT
; SSE42-NEXT:    movq %rax, %r13
; SSE42-NEXT:    xorl %ecx, %ecx
; SSE42-NEXT:    testb $1, %bpl
; SSE42-NEXT:    movl $1, %eax
; SSE42-NEXT:    cmovneq %r12, %rax
; SSE42-NEXT:    movq %rdx, %r12
; SSE42-NEXT:    cmovneq {{[0-9]+}}(%rsp), %rcx
; SSE42-NEXT:    movq %r15, %rdi
; SSE42-NEXT:    movq %r14, %rsi
; SSE42-NEXT:    movq %rax, %rdx
; SSE42-NEXT:    callq __umodti3@PLT
; SSE42-NEXT:    movq %rdx, 8(%rbx)
; SSE42-NEXT:    movq %rax, (%rbx)
; SSE42-NEXT:    movq %r12, 24(%rbx)
; SSE42-NEXT:    movq %r13, 16(%rbx)
; SSE42-NEXT:    movq %rbx, %rax
; SSE42-NEXT:    addq $8, %rsp
; SSE42-NEXT:    popq %rbx
; SSE42-NEXT:    popq %r12
; SSE42-NEXT:    popq %r13
; SSE42-NEXT:    popq %r14
; SSE42-NEXT:    popq %r15
; SSE42-NEXT:    popq %rbp
; SSE42-NEXT:    retq
;
; AVX2-LABEL: urem_v2i128:
; AVX2:       # %bb.0:
; AVX2-NEXT:    pushq %rbp
; AVX2-NEXT:    pushq %r15
; AVX2-NEXT:    pushq %r14
; AVX2-NEXT:    pushq %r13
; AVX2-NEXT:    pushq %r12
; AVX2-NEXT:    pushq %rbx
; AVX2-NEXT:    pushq %rax
; AVX2-NEXT:    movq %r9, %r12
; AVX2-NEXT:    movq %rdx, %r14
; AVX2-NEXT:    movq %rsi, %r15
; AVX2-NEXT:    movq %rdi, %rbx
; AVX2-NEXT:    vpextrd $2, %xmm0, %eax
; AVX2-NEXT:    andl $1, %eax
; AVX2-NEXT:    negl %eax
; AVX2-NEXT:    vmovd %eax, %xmm1
; AVX2-NEXT:    vpbroadcastd %xmm1, %xmm1
; AVX2-NEXT:    vmovss {{.*#+}} xmm2 = [1,0,0,0]
; AVX2-NEXT:    vblendvps %xmm1, {{[0-9]+}}(%rsp), %xmm2, %xmm1
; AVX2-NEXT:    vmovd %xmm0, %ebp
; AVX2-NEXT:    vmovq %xmm1, %rdx
; AVX2-NEXT:    vpextrq $1, %xmm1, %rax
; AVX2-NEXT:    movq %rcx, %rdi
; AVX2-NEXT:    movq %r8, %rsi
; AVX2-NEXT:    movq %rax, %rcx
; AVX2-NEXT:    callq __umodti3@PLT
; AVX2-NEXT:    xorl %ecx, %ecx
; AVX2-NEXT:    testb $1, %bpl
; AVX2-NEXT:    movl $1, %r8d
; AVX2-NEXT:    cmovneq %r12, %r8
; AVX2-NEXT:    movq %rax, %r12
; AVX2-NEXT:    movq %rdx, %r13
; AVX2-NEXT:    cmovneq {{[0-9]+}}(%rsp), %rcx
; AVX2-NEXT:    movq %r15, %rdi
; AVX2-NEXT:    movq %r14, %rsi
; AVX2-NEXT:    movq %r8, %rdx
; AVX2-NEXT:    callq __umodti3@PLT
; AVX2-NEXT:    movq %rdx, 8(%rbx)
; AVX2-NEXT:    movq %rax, (%rbx)
; AVX2-NEXT:    movq %r13, 24(%rbx)
; AVX2-NEXT:    movq %r12, 16(%rbx)
; AVX2-NEXT:    movq %rbx, %rax
; AVX2-NEXT:    addq $8, %rsp
; AVX2-NEXT:    popq %rbx
; AVX2-NEXT:    popq %r12
; AVX2-NEXT:    popq %r13
; AVX2-NEXT:    popq %r14
; AVX2-NEXT:    popq %r15
; AVX2-NEXT:    popq %rbp
; AVX2-NEXT:    retq
;
; AVX512-LABEL: urem_v2i128:
; AVX512:       # %bb.0:
; AVX512-NEXT:    pushq %rbp
; AVX512-NEXT:    pushq %r15
; AVX512-NEXT:    pushq %r14
; AVX512-NEXT:    pushq %r13
; AVX512-NEXT:    pushq %r12
; AVX512-NEXT:    pushq %rbx
; AVX512-NEXT:    pushq %rax
; AVX512-NEXT:    movq %r9, %r12
; AVX512-NEXT:    movq %rdx, (%rsp) # 8-byte Spill
; AVX512-NEXT:    movq %rsi, %r15
; AVX512-NEXT:    movq %rdi, %rbx
; AVX512-NEXT:    vpsllq $63, %xmm0, %xmm0
; AVX512-NEXT:    vpmovq2m %xmm0, %k0
; AVX512-NEXT:    kshiftrb $1, %k0, %k1
; AVX512-NEXT:    kmovd %k0, %r14d
; AVX512-NEXT:    kmovd %k1, %eax
; AVX512-NEXT:    andb $1, %al
; AVX512-NEXT:    vmovd {{.*#+}} xmm0 = [1,0,0,0]
; AVX512-NEXT:    negb %al
; AVX512-NEXT:    kmovd %eax, %k1
; AVX512-NEXT:    vmovdqu32 {{[0-9]+}}(%rsp), %xmm0 {%k1}
; AVX512-NEXT:    vmovq %xmm0, %rdx
; AVX512-NEXT:    vpextrq $1, %xmm0, %rax
; AVX512-NEXT:    movq %rcx, %rdi
; AVX512-NEXT:    movq %r8, %rsi
; AVX512-NEXT:    movq %rax, %rcx
; AVX512-NEXT:    callq __umodti3@PLT
; AVX512-NEXT:    movq %rax, %r13
; AVX512-NEXT:    movq %rdx, %rbp
; AVX512-NEXT:    xorl %ecx, %ecx
; AVX512-NEXT:    testb $1, %r14b
; AVX512-NEXT:    movl $1, %edx
; AVX512-NEXT:    cmovneq %r12, %rdx
; AVX512-NEXT:    cmovneq {{[0-9]+}}(%rsp), %rcx
; AVX512-NEXT:    movq %r15, %rdi
; AVX512-NEXT:    movq (%rsp), %rsi # 8-byte Reload
; AVX512-NEXT:    callq __umodti3@PLT
; AVX512-NEXT:    movq %rdx, 8(%rbx)
; AVX512-NEXT:    movq %rax, (%rbx)
; AVX512-NEXT:    movq %rbp, 24(%rbx)
; AVX512-NEXT:    movq %r13, 16(%rbx)
; AVX512-NEXT:    movq %rbx, %rax
; AVX512-NEXT:    addq $8, %rsp
; AVX512-NEXT:    popq %rbx
; AVX512-NEXT:    popq %r12
; AVX512-NEXT:    popq %r13
; AVX512-NEXT:    popq %r14
; AVX512-NEXT:    popq %r15
; AVX512-NEXT:    popq %rbp
; AVX512-NEXT:    retq
  %res = call <2 x i128> @llvm.masked.urem(<2 x i128> %x, <2 x i128> %y, <2 x i1> %m)
  ret <2 x i128> %res
}

; Promotion and widening
define <3 x i10> @urem_v3i10(<3 x i10> %x, <3 x i10> %y, <3 x i1> %m) {
; SSE2-LABEL: urem_v3i10:
; SSE2:       # %bb.0:
; SSE2-NEXT:    movd %r8d, %xmm1
; SSE2-NEXT:    movd %ecx, %xmm0
; SSE2-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm1[0],xmm0[1],xmm1[1]
; SSE2-NEXT:    movd %r9d, %xmm1
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm1[0]
; SSE2-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
; SSE2-NEXT:    movd {{.*#+}} xmm2 = mem[0],zero,zero,zero
; SSE2-NEXT:    punpckldq {{.*#+}} xmm2 = xmm2[0],xmm1[0],xmm2[1],xmm1[1]
; SSE2-NEXT:    movd {{.*#+}} xmm1 = mem[0],zero,zero,zero
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm1[0]
; SSE2-NEXT:    pslld $31, %xmm2
; SSE2-NEXT:    psrad $31, %xmm2
; SSE2-NEXT:    movd %esi, %xmm3
; SSE2-NEXT:    movd %edi, %xmm1
; SSE2-NEXT:    punpckldq {{.*#+}} xmm1 = xmm1[0],xmm3[0],xmm1[1],xmm3[1]
; SSE2-NEXT:    movd %edx, %xmm3
; SSE2-NEXT:    punpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm3[0]
; SSE2-NEXT:    movdqa {{.*#+}} xmm3 = [1023,1023,1023,1023]
; SSE2-NEXT:    pand %xmm3, %xmm1
; SSE2-NEXT:    pand %xmm3, %xmm0
; SSE2-NEXT:    pand %xmm2, %xmm0
; SSE2-NEXT:    paddd %xmm2, %xmm0
; SSE2-NEXT:    pcmpeqd %xmm2, %xmm2
; SSE2-NEXT:    psubd %xmm2, %xmm0
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[2,3,2,3]
; SSE2-NEXT:    movd %xmm2, %ecx
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[2,3,2,3]
; SSE2-NEXT:    movd %xmm2, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %ecx
; SSE2-NEXT:    movl %edx, %ecx
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm0[1,1,1,1]
; SSE2-NEXT:    movd %xmm2, %esi
; SSE2-NEXT:    pshufd {{.*#+}} xmm2 = xmm1[1,1,1,1]
; SSE2-NEXT:    movd %xmm2, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %esi
; SSE2-NEXT:    movl %edx, %esi
; SSE2-NEXT:    movd %xmm0, %edi
; SSE2-NEXT:    movd %xmm1, %eax
; SSE2-NEXT:    xorl %edx, %edx
; SSE2-NEXT:    divl %edi
; SSE2-NEXT:    movl %edx, %eax
; SSE2-NEXT:    # kill: def $ax killed $ax killed $eax
; SSE2-NEXT:    movl %esi, %edx
; SSE2-NEXT:    # kill: def $cx killed $cx killed $ecx
; SSE2-NEXT:    retq
;
; SSE42-LABEL: urem_v3i10:
; SSE42:       # %bb.0:
; SSE42-NEXT:    movd %edi, %xmm1
; SSE42-NEXT:    pinsrd $1, %esi, %xmm1
; SSE42-NEXT:    pinsrd $2, %edx, %xmm1
; SSE42-NEXT:    movdqa {{.*#+}} xmm0 = [1023,1023,1023,1023]
; SSE42-NEXT:    movd %ecx, %xmm2
; SSE42-NEXT:    pinsrd $1, %r8d, %xmm2
; SSE42-NEXT:    pinsrd $2, %r9d, %xmm2
; SSE42-NEXT:    pand %xmm0, %xmm1
; SSE42-NEXT:    pand %xmm0, %xmm2
; SSE42-NEXT:    movd {{.*#+}} xmm3 = mem[0],zero,zero,zero
; SSE42-NEXT:    movd {{.*#+}} xmm0 = mem[0],zero,zero,zero
; SSE42-NEXT:    punpckldq {{.*#+}} xmm0 = xmm0[0],xmm3[0],xmm0[1],xmm3[1]
; SSE42-NEXT:    movd {{.*#+}} xmm3 = mem[0],zero,zero,zero
; SSE42-NEXT:    punpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm3[0]
; SSE42-NEXT:    pslld $31, %xmm0
; SSE42-NEXT:    movaps {{.*#+}} xmm3 = [1,1,1,1]
; SSE42-NEXT:    blendvps %xmm0, %xmm2, %xmm3
; SSE42-NEXT:    extractps $1, %xmm3, %ecx
; SSE42-NEXT:    pextrd $1, %xmm1, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %ecx
; SSE42-NEXT:    movl %edx, %ecx
; SSE42-NEXT:    movd %xmm3, %esi
; SSE42-NEXT:    movd %xmm1, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %esi
; SSE42-NEXT:    movl %edx, %esi
; SSE42-NEXT:    movd %edx, %xmm0
; SSE42-NEXT:    pinsrd $1, %ecx, %xmm0
; SSE42-NEXT:    pextrd $2, %xmm3, %ecx
; SSE42-NEXT:    pextrd $2, %xmm1, %eax
; SSE42-NEXT:    xorl %edx, %edx
; SSE42-NEXT:    divl %ecx
; SSE42-NEXT:    pextrw $2, %xmm0, %edi
; SSE42-NEXT:    pinsrd $2, %edx, %xmm0
; SSE42-NEXT:    pextrw $4, %xmm0, %ecx
; SSE42-NEXT:    movl %esi, %eax
; SSE42-NEXT:    movl %edi, %edx
; SSE42-NEXT:    # kill: def $cx killed $cx killed $ecx
; SSE42-NEXT:    retq
;
; AVX2-LABEL: urem_v3i10:
; AVX2:       # %bb.0:
; AVX2-NEXT:    vpbroadcastd {{.*#+}} xmm0 = [1023,1023,1023,1023]
; AVX2-NEXT:    vmovd %ecx, %xmm1
; AVX2-NEXT:    vpinsrd $1, %r8d, %xmm1, %xmm1
; AVX2-NEXT:    vpinsrd $2, %r9d, %xmm1, %xmm1
; AVX2-NEXT:    vpand %xmm0, %xmm1, %xmm1
; AVX2-NEXT:    vmovd {{.*#+}} xmm2 = mem[0],zero,zero,zero
; AVX2-NEXT:    vmovd {{.*#+}} xmm3 = mem[0],zero,zero,zero
; AVX2-NEXT:    vpunpckldq {{.*#+}} xmm2 = xmm3[0],xmm2[0],xmm3[1],xmm2[1]
; AVX2-NEXT:    vmovd {{.*#+}} xmm3 = mem[0],zero,zero,zero
; AVX2-NEXT:    vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
; AVX2-NEXT:    vpslld $31, %xmm2, %xmm2
; AVX2-NEXT:    vbroadcastss {{.*#+}} xmm3 = [1,1,1,1]
; AVX2-NEXT:    vblendvps %xmm2, %xmm1, %xmm3, %xmm1
; AVX2-NEXT:    vmovd %edi, %xmm2
; AVX2-NEXT:    vpinsrd $1, %esi, %xmm2, %xmm2
; AVX2-NEXT:    vpinsrd $2, %edx, %xmm2, %xmm2
; AVX2-NEXT:    vextractps $1, %xmm1, %ecx
; AVX2-NEXT:    vpand %xmm0, %xmm2, %xmm0
; AVX2-NEXT:    vpextrd $1, %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %ecx
; AVX2-NEXT:    movl %edx, %ecx
; AVX2-NEXT:    vmovd %xmm1, %esi
; AVX2-NEXT:    vmovd %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %esi
; AVX2-NEXT:    movl %edx, %esi
; AVX2-NEXT:    vpextrd $2, %xmm1, %edi
; AVX2-NEXT:    vmovd %edx, %xmm1
; AVX2-NEXT:    vpextrd $2, %xmm0, %eax
; AVX2-NEXT:    xorl %edx, %edx
; AVX2-NEXT:    divl %edi
; AVX2-NEXT:    vpinsrd $1, %ecx, %xmm1, %xmm0
; AVX2-NEXT:    vpinsrd $2, %edx, %xmm0, %xmm1
; AVX2-NEXT:    vpextrw $2, %xmm0, %edx
; AVX2-NEXT:    vpextrw $4, %xmm1, %ecx
; AVX2-NEXT:    movl %esi, %eax
; AVX2-NEXT:    # kill: def $dx killed $dx killed $edx
; AVX2-NEXT:    # kill: def $cx killed $cx killed $ecx
; AVX2-NEXT:    retq
;
; AVX512-LABEL: urem_v3i10:
; AVX512:       # %bb.0:
; AVX512-NEXT:    vmovd %edi, %xmm0
; AVX512-NEXT:    vpinsrd $1, %esi, %xmm0, %xmm0
; AVX512-NEXT:    vpinsrd $2, %edx, %xmm0, %xmm0
; AVX512-NEXT:    vpbroadcastd {{.*#+}} xmm1 = [1023,1023,1023,1023]
; AVX512-NEXT:    movb $7, %al
; AVX512-NEXT:    kmovd %eax, %k1
; AVX512-NEXT:    vmovd {{.*#+}} xmm2 = mem[0],zero,zero,zero
; AVX512-NEXT:    vpinsrb $1, {{[0-9]+}}(%rsp), %xmm2, %xmm2
; AVX512-NEXT:    vpinsrb $2, {{[0-9]+}}(%rsp), %xmm2, %xmm2
; AVX512-NEXT:    vpmovzxbd {{.*#+}} xmm2 = xmm2[0],zero,zero,zero,xmm2[1],zero,zero,zero,xmm2[2],zero,zero,zero,xmm2[3],zero,zero,zero
; AVX512-NEXT:    vpbroadcastd {{.*#+}} xmm3 = [1,1,1,1]
; AVX512-NEXT:    vmovd %ecx, %xmm4
; AVX512-NEXT:    vpinsrd $1, %r8d, %xmm4, %xmm4
; AVX512-NEXT:    vptestmd %xmm3, %xmm2, %k1 {%k1}
; AVX512-NEXT:    vpinsrd $2, %r9d, %xmm4, %xmm2
; AVX512-NEXT:    vpandd %xmm1, %xmm2, %xmm3 {%k1}
; AVX512-NEXT:    vpextrd $1, %xmm3, %ecx
; AVX512-NEXT:    vpand %xmm1, %xmm0, %xmm0
; AVX512-NEXT:    vpextrd $1, %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %ecx
; AVX512-NEXT:    movl %edx, %ecx
; AVX512-NEXT:    vmovd %xmm3, %esi
; AVX512-NEXT:    vmovd %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %esi
; AVX512-NEXT:    movl %edx, %esi
; AVX512-NEXT:    vmovd %edx, %xmm1
; AVX512-NEXT:    vpinsrd $1, %ecx, %xmm1, %xmm1
; AVX512-NEXT:    vpextrd $2, %xmm3, %ecx
; AVX512-NEXT:    vpextrd $2, %xmm0, %eax
; AVX512-NEXT:    xorl %edx, %edx
; AVX512-NEXT:    divl %ecx
; AVX512-NEXT:    vpinsrd $2, %edx, %xmm1, %xmm0
; AVX512-NEXT:    vpextrw $2, %xmm1, %edx
; AVX512-NEXT:    vpextrw $4, %xmm0, %ecx
; AVX512-NEXT:    movl %esi, %eax
; AVX512-NEXT:    # kill: def $dx killed $dx killed $edx
; AVX512-NEXT:    # kill: def $cx killed $cx killed $ecx
; AVX512-NEXT:    retq
  %res = call <3 x i10> @llvm.masked.urem(<3 x i10> %x, <3 x i10> %y, <3 x i1> %m)
  ret <3 x i10> %res
}