blob: 436209cde2824f102b043ce172876f3032f63e5f [file] [edit]
; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py UTC_ARGS: --version 6
; RUN: llc -mtriple=x86_64-- -mcpu=x86-64 < %s | FileCheck %s --check-prefixes=SSE,SSE2
; RUN: llc -mtriple=x86_64-- -mcpu=x86-64-v2 < %s | FileCheck %s --check-prefixes=SSE,SSE42
; RUN: llc -mtriple=x86_64-- -mcpu=x86-64-v3 < %s | FileCheck %s --check-prefixes=AVX,AVX2
; RUN: llc -mtriple=x86_64-- -mcpu=x86-64-v4 < %s | FileCheck %s --check-prefixes=AVX,AVX512
define <4 x i8> @test_bitextract_v4i8_const(<4 x b32> %src) {
; SSE2-LABEL: test_bitextract_v4i8_const:
; SSE2: # %bb.0:
; SSE2-NEXT: psrld $8, %xmm0
; SSE2-NEXT: pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NEXT: packuswb %xmm0, %xmm0
; SSE2-NEXT: packuswb %xmm0, %xmm0
; SSE2-NEXT: retq
;
; SSE42-LABEL: test_bitextract_v4i8_const:
; SSE42: # %bb.0:
; SSE42-NEXT: pshufb {{.*#+}} xmm0 = xmm0[1,5,9,13,u,u,u,u,u,u,u,u,u,u,u,u]
; SSE42-NEXT: retq
;
; AVX2-LABEL: test_bitextract_v4i8_const:
; AVX2: # %bb.0:
; AVX2-NEXT: vpshufb {{.*#+}} xmm0 = xmm0[1,5,9,13,u,u,u,u,u,u,u,u,u,u,u,u]
; AVX2-NEXT: retq
;
; AVX512-LABEL: test_bitextract_v4i8_const:
; AVX512: # %bb.0:
; AVX512-NEXT: vpsrld $8, %xmm0, %xmm0
; AVX512-NEXT: vpmovdb %xmm0, %xmm0
; AVX512-NEXT: retq
%result = bitextract <4 x i8>, <4 x b32> %src, <4 x i32> splat (i32 8)
ret <4 x i8> %result
}
define <4 x i8> @test_bitextract_v4i8_var(<4 x b32> %src, <4 x i32> %off) {
; SSE2-LABEL: test_bitextract_v4i8_var:
; SSE2: # %bb.0:
; SSE2-NEXT: pshuflw {{.*#+}} xmm2 = xmm1[2,3,3,3,4,5,6,7]
; SSE2-NEXT: movdqa %xmm0, %xmm3
; SSE2-NEXT: psrld %xmm2, %xmm3
; SSE2-NEXT: pshuflw {{.*#+}} xmm4 = xmm1[0,1,1,1,4,5,6,7]
; SSE2-NEXT: movdqa %xmm0, %xmm2
; SSE2-NEXT: psrld %xmm4, %xmm2
; SSE2-NEXT: pshufd {{.*#+}} xmm1 = xmm1[2,3,2,3]
; SSE2-NEXT: pshuflw {{.*#+}} xmm4 = xmm1[2,3,3,3,4,5,6,7]
; SSE2-NEXT: movdqa %xmm0, %xmm5
; SSE2-NEXT: psrld %xmm4, %xmm5
; SSE2-NEXT: punpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm3[0]
; SSE2-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,1,1,1,4,5,6,7]
; SSE2-NEXT: psrld %xmm1, %xmm0
; SSE2-NEXT: punpckhqdq {{.*#+}} xmm0 = xmm0[1],xmm5[1]
; SSE2-NEXT: shufps {{.*#+}} xmm2 = xmm2[0,3],xmm0[0,3]
; SSE2-NEXT: andps {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE2-NEXT: packuswb %xmm2, %xmm2
; SSE2-NEXT: packuswb %xmm2, %xmm2
; SSE2-NEXT: movdqa %xmm2, %xmm0
; SSE2-NEXT: retq
;
; SSE42-LABEL: test_bitextract_v4i8_var:
; SSE42: # %bb.0:
; SSE42-NEXT: pshuflw {{.*#+}} xmm2 = xmm1[2,3,3,3,4,5,6,7]
; SSE42-NEXT: movdqa %xmm0, %xmm3
; SSE42-NEXT: psrld %xmm2, %xmm3
; SSE42-NEXT: pshufd {{.*#+}} xmm2 = xmm1[2,3,2,3]
; SSE42-NEXT: pshuflw {{.*#+}} xmm4 = xmm2[2,3,3,3,4,5,6,7]
; SSE42-NEXT: movdqa %xmm0, %xmm5
; SSE42-NEXT: psrld %xmm4, %xmm5
; SSE42-NEXT: pblendw {{.*#+}} xmm5 = xmm3[0,1,2,3],xmm5[4,5,6,7]
; SSE42-NEXT: pshuflw {{.*#+}} xmm1 = xmm1[0,1,1,1,4,5,6,7]
; SSE42-NEXT: movdqa %xmm0, %xmm3
; SSE42-NEXT: psrld %xmm1, %xmm3
; SSE42-NEXT: pshuflw {{.*#+}} xmm1 = xmm2[0,1,1,1,4,5,6,7]
; SSE42-NEXT: psrld %xmm1, %xmm0
; SSE42-NEXT: pblendw {{.*#+}} xmm0 = xmm3[0,1,2,3],xmm0[4,5,6,7]
; SSE42-NEXT: pblendw {{.*#+}} xmm0 = xmm0[0,1],xmm5[2,3],xmm0[4,5],xmm5[6,7]
; SSE42-NEXT: pshufb {{.*#+}} xmm0 = xmm0[0,4,8,12,u,u,u,u,u,u,u,u,u,u,u,u]
; SSE42-NEXT: retq
;
; AVX2-LABEL: test_bitextract_v4i8_var:
; AVX2: # %bb.0:
; AVX2-NEXT: vpsrlvd %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpshufb {{.*#+}} xmm0 = xmm0[0,4,8,12,u,u,u,u,u,u,u,u,u,u,u,u]
; AVX2-NEXT: retq
;
; AVX512-LABEL: test_bitextract_v4i8_var:
; AVX512: # %bb.0:
; AVX512-NEXT: vpsrlvd %xmm1, %xmm0, %xmm0
; AVX512-NEXT: vpmovdb %xmm0, %xmm0
; AVX512-NEXT: retq
%result = bitextract <4 x i8>, <4 x b32> %src, <4 x i32> %off
ret <4 x i8> %result
}
define <2 x float> @test_bitextract_v2f32(<2 x b64> %src) {
; SSE2-LABEL: test_bitextract_v2f32:
; SSE2: # %bb.0:
; SSE2-NEXT: movdqa %xmm0, %xmm1
; SSE2-NEXT: psrlq $32, %xmm1
; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,1],xmm1[2,3]
; SSE2-NEXT: shufps {{.*#+}} xmm0 = xmm0[0,2,2,3]
; SSE2-NEXT: retq
;
; SSE42-LABEL: test_bitextract_v2f32:
; SSE42: # %bb.0:
; SSE42-NEXT: pshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,12,13,14,15,12,13,14,15],zero,zero,zero,zero
; SSE42-NEXT: retq
;
; AVX-LABEL: test_bitextract_v2f32:
; AVX: # %bb.0:
; AVX-NEXT: vpshufb {{.*#+}} xmm0 = xmm0[0,1,2,3,12,13,14,15,12,13,14,15],zero,zero,zero,zero
; AVX-NEXT: retq
%result = bitextract <2 x float>, <2 x b64> %src, <2 x i32> <i32 0, i32 32>
ret <2 x float> %result
}
define <2 x ptr> @test_bitextract_v2ptr(<2 x b64> %src) {
; SSE-LABEL: test_bitextract_v2ptr:
; SSE: # %bb.0:
; SSE-NEXT: retq
;
; AVX-LABEL: test_bitextract_v2ptr:
; AVX: # %bb.0:
; AVX-NEXT: retq
%result = bitextract <2 x ptr>, <2 x b64> %src, <2 x i32> zeroinitializer
ret <2 x ptr> %result
}
define <16 x i4> @test_bitextract_v16i4_var(<16 x b8> %src, <16 x i32> %off) {
; SSE2-LABEL: test_bitextract_v16i4_var:
; SSE2: # %bb.0:
; SSE2-NEXT: movdqa {{.*#+}} xmm5 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
; SSE2-NEXT: pand %xmm5, %xmm4
; SSE2-NEXT: pand %xmm5, %xmm3
; SSE2-NEXT: packuswb %xmm4, %xmm3
; SSE2-NEXT: pand %xmm5, %xmm2
; SSE2-NEXT: pand %xmm5, %xmm1
; SSE2-NEXT: packuswb %xmm2, %xmm1
; SSE2-NEXT: packuswb %xmm3, %xmm1
; SSE2-NEXT: psllw $5, %xmm1
; SSE2-NEXT: pxor %xmm2, %xmm2
; SSE2-NEXT: pcmpgtb %xmm1, %xmm2
; SSE2-NEXT: movdqa %xmm2, %xmm3
; SSE2-NEXT: pandn %xmm0, %xmm3
; SSE2-NEXT: psrlw $4, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm0
; SSE2-NEXT: pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NEXT: por %xmm3, %xmm0
; SSE2-NEXT: paddb %xmm1, %xmm1
; SSE2-NEXT: pxor %xmm2, %xmm2
; SSE2-NEXT: pcmpgtb %xmm1, %xmm2
; SSE2-NEXT: movdqa %xmm2, %xmm3
; SSE2-NEXT: pandn %xmm0, %xmm3
; SSE2-NEXT: psrlw $2, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm0
; SSE2-NEXT: pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NEXT: pxor %xmm2, %xmm2
; SSE2-NEXT: por %xmm3, %xmm0
; SSE2-NEXT: paddb %xmm1, %xmm1
; SSE2-NEXT: pcmpgtb %xmm1, %xmm2
; SSE2-NEXT: movdqa %xmm2, %xmm1
; SSE2-NEXT: pandn %xmm0, %xmm1
; SSE2-NEXT: psrlw $1, %xmm0
; SSE2-NEXT: pand %xmm2, %xmm0
; SSE2-NEXT: pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm0
; SSE2-NEXT: por %xmm1, %xmm0
; SSE2-NEXT: retq
;
; SSE42-LABEL: test_bitextract_v16i4_var:
; SSE42: # %bb.0:
; SSE42-NEXT: movdqa %xmm0, %xmm5
; SSE42-NEXT: movdqa {{.*#+}} xmm0 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
; SSE42-NEXT: pand %xmm0, %xmm4
; SSE42-NEXT: pand %xmm0, %xmm3
; SSE42-NEXT: packusdw %xmm4, %xmm3
; SSE42-NEXT: pand %xmm0, %xmm2
; SSE42-NEXT: pand %xmm1, %xmm0
; SSE42-NEXT: packusdw %xmm2, %xmm0
; SSE42-NEXT: packuswb %xmm3, %xmm0
; SSE42-NEXT: psllw $5, %xmm0
; SSE42-NEXT: movdqa %xmm0, %xmm1
; SSE42-NEXT: movdqa %xmm5, %xmm2
; SSE42-NEXT: psrlw $4, %xmm2
; SSE42-NEXT: pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NEXT: paddb %xmm0, %xmm1
; SSE42-NEXT: pblendvb %xmm0, %xmm2, %xmm5
; SSE42-NEXT: movdqa %xmm5, %xmm2
; SSE42-NEXT: psrlw $2, %xmm2
; SSE42-NEXT: pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NEXT: movdqa %xmm1, %xmm0
; SSE42-NEXT: pblendvb %xmm0, %xmm2, %xmm5
; SSE42-NEXT: movdqa %xmm5, %xmm2
; SSE42-NEXT: psrlw $1, %xmm2
; SSE42-NEXT: pand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2
; SSE42-NEXT: paddb %xmm1, %xmm1
; SSE42-NEXT: movdqa %xmm1, %xmm0
; SSE42-NEXT: pblendvb %xmm0, %xmm2, %xmm5
; SSE42-NEXT: movdqa %xmm5, %xmm0
; SSE42-NEXT: retq
;
; AVX2-LABEL: test_bitextract_v16i4_var:
; AVX2: # %bb.0:
; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm3 = [255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0,255,0,0,0]
; AVX2-NEXT: vpand %ymm3, %ymm2, %ymm2
; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm1
; AVX2-NEXT: vpackusdw %ymm2, %ymm1, %ymm1
; AVX2-NEXT: vextracti128 $1, %ymm1, %xmm2
; AVX2-NEXT: vpackuswb %xmm2, %xmm1, %xmm1
; AVX2-NEXT: vpshufd {{.*#+}} xmm1 = xmm1[0,2,1,3]
; AVX2-NEXT: vpsllw $5, %xmm1, %xmm1
; AVX2-NEXT: vpsrlw $4, %xmm0, %xmm2
; AVX2-NEXT: vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm2, %xmm2
; AVX2-NEXT: vpaddb %xmm1, %xmm1, %xmm3
; AVX2-NEXT: vpblendvb %xmm1, %xmm2, %xmm0, %xmm0
; AVX2-NEXT: vpsrlw $2, %xmm0, %xmm1
; AVX2-NEXT: vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
; AVX2-NEXT: vpblendvb %xmm3, %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vpsrlw $1, %xmm0, %xmm1
; AVX2-NEXT: vpand {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %xmm1, %xmm1
; AVX2-NEXT: vpaddb %xmm3, %xmm3, %xmm2
; AVX2-NEXT: vpblendvb %xmm2, %xmm1, %xmm0, %xmm0
; AVX2-NEXT: vzeroupper
; AVX2-NEXT: retq
;
; AVX512-LABEL: test_bitextract_v16i4_var:
; AVX512: # %bb.0:
; AVX512-NEXT: vpmovdw %zmm1, %ymm1
; AVX512-NEXT: vpmovzxbw {{.*#+}} ymm0 = xmm0[0],zero,xmm0[1],zero,xmm0[2],zero,xmm0[3],zero,xmm0[4],zero,xmm0[5],zero,xmm0[6],zero,xmm0[7],zero,xmm0[8],zero,xmm0[9],zero,xmm0[10],zero,xmm0[11],zero,xmm0[12],zero,xmm0[13],zero,xmm0[14],zero,xmm0[15],zero
; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to8}, %ymm1, %ymm1
; AVX512-NEXT: vpsrlvw %ymm1, %ymm0, %ymm0
; AVX512-NEXT: vpmovwb %ymm0, %xmm0
; AVX512-NEXT: vzeroupper
; AVX512-NEXT: retq
%result = bitextract <16 x i4>, <16 x b8> %src, <16 x i32> %off
ret <16 x i4> %result
}