| ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py UTC_ARGS: --version 5 |
| ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v3 -mattr=+vpclmulqdq | FileCheck %s --check-prefixes=AVX2,AVX2-FAST |
| ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v3 -mattr=+vpclmulqdq,+slow-pdep | FileCheck %s --check-prefixes=AVX2,AVX2-SLOW |
| ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v4 -mattr=+vpclmulqdq | FileCheck %s --check-prefixes=AVX512 |
| |
| define <64 x i8> @pdep_v64i8(<64 x i8> %val, <64 x i8> %mask) nounwind { |
| ; AVX2-LABEL: pdep_v64i8: |
| ; AVX2: # %bb.0: |
| ; AVX2-NEXT: vpcmpeqd %ymm5, %ymm5, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm2, %ymm6 |
| ; AVX2-NEXT: vpaddb %ymm6, %ymm6, %ymm4 |
| ; AVX2-NEXT: vpaddb %ymm4, %ymm4, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm4, %ymm4 |
| ; AVX2-NEXT: vpaddb %ymm4, %ymm4, %ymm7 |
| ; AVX2-NEXT: vpaddb %ymm7, %ymm7, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm4, %ymm7 |
| ; AVX2-NEXT: vpsllw $4, %ymm7, %ymm8 |
| ; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm4 = [240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240] |
| ; AVX2-NEXT: vpand %ymm4, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm8, %ymm7 |
| ; AVX2-NEXT: vpsubb %ymm6, %ymm2, %ymm6 |
| ; AVX2-NEXT: vpor %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpaddb %ymm6, %ymm6, %ymm8 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpaddb %ymm8, %ymm8, %ymm9 |
| ; AVX2-NEXT: vpaddb %ymm9, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm9, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpsllw $4, %ymm8, %ymm9 |
| ; AVX2-NEXT: vpand %ymm4, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm9, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpandn %ymm6, %ymm8, %ymm6 |
| ; AVX2-NEXT: vpaddb %ymm6, %ymm6, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm9, %ymm6 |
| ; AVX2-NEXT: vpaddb %ymm6, %ymm6, %ymm9 |
| ; AVX2-NEXT: vpaddb %ymm9, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm9, %ymm6 |
| ; AVX2-NEXT: vpsllw $4, %ymm6, %ymm9 |
| ; AVX2-NEXT: vpand %ymm4, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpand %ymm2, %ymm7, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm2, %ymm10, %ymm7 |
| ; AVX2-NEXT: vpsrlw $1, %ymm10, %ymm11 |
| ; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm6 = [127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127,127] |
| ; AVX2-NEXT: vpand %ymm6, %ymm11, %ymm11 |
| ; AVX2-NEXT: vpor %ymm7, %ymm11, %ymm7 |
| ; AVX2-NEXT: vpand %ymm7, %ymm8, %ymm11 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm11, %ymm8 |
| ; AVX2-NEXT: vpsrlw $2, %ymm11, %ymm12 |
| ; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm7 = [63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63,63] |
| ; AVX2-NEXT: vpand %ymm7, %ymm12, %ymm12 |
| ; AVX2-NEXT: vpor %ymm12, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpand %ymm8, %ymm9, %ymm8 |
| ; AVX2-NEXT: vpsllw $4, %ymm0, %ymm9 |
| ; AVX2-NEXT: vpand %ymm4, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpand %ymm8, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpandn %ymm0, %ymm8, %ymm0 |
| ; AVX2-NEXT: vpor %ymm0, %ymm9, %ymm0 |
| ; AVX2-NEXT: vpandn %ymm0, %ymm11, %ymm9 |
| ; AVX2-NEXT: vpsllw $2, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpbroadcastd {{.*#+}} ymm8 = [252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252,252] |
| ; AVX2-NEXT: vpand %ymm11, %ymm8, %ymm11 |
| ; AVX2-NEXT: vpand %ymm0, %ymm11, %ymm0 |
| ; AVX2-NEXT: vpor %ymm0, %ymm9, %ymm0 |
| ; AVX2-NEXT: vpandn %ymm0, %ymm10, %ymm9 |
| ; AVX2-NEXT: vpaddb %ymm0, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpand %ymm0, %ymm10, %ymm0 |
| ; AVX2-NEXT: vpor %ymm0, %ymm9, %ymm0 |
| ; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm3, %ymm2 |
| ; AVX2-NEXT: vpaddb %ymm2, %ymm2, %ymm9 |
| ; AVX2-NEXT: vpaddb %ymm9, %ymm9, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm10, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpaddb %ymm9, %ymm9, %ymm10 |
| ; AVX2-NEXT: vpaddb %ymm10, %ymm10, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm10, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpsllw $4, %ymm9, %ymm10 |
| ; AVX2-NEXT: vpand %ymm4, %ymm10, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm10, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpsubb %ymm2, %ymm3, %ymm2 |
| ; AVX2-NEXT: vpor %ymm2, %ymm9, %ymm2 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm2, %ymm2 |
| ; AVX2-NEXT: vpaddb %ymm2, %ymm2, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm2, %ymm5 |
| ; AVX2-NEXT: vpaddb %ymm5, %ymm5, %ymm10 |
| ; AVX2-NEXT: vpaddb %ymm10, %ymm10, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm10, %ymm5 |
| ; AVX2-NEXT: vpsllw $4, %ymm5, %ymm10 |
| ; AVX2-NEXT: vpand %ymm4, %ymm10, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm10, %ymm5 |
| ; AVX2-NEXT: vpandn %ymm2, %ymm5, %ymm2 |
| ; AVX2-NEXT: vpaddb %ymm2, %ymm2, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm2, %ymm10, %ymm2 |
| ; AVX2-NEXT: vpaddb %ymm2, %ymm2, %ymm10 |
| ; AVX2-NEXT: vpaddb %ymm10, %ymm10, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm2, %ymm10, %ymm2 |
| ; AVX2-NEXT: vpsllw $4, %ymm2, %ymm10 |
| ; AVX2-NEXT: vpand %ymm4, %ymm10, %ymm10 |
| ; AVX2-NEXT: vpxor %ymm2, %ymm10, %ymm2 |
| ; AVX2-NEXT: vpand %ymm3, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm3, %ymm9, %ymm10 |
| ; AVX2-NEXT: vpsrlw $1, %ymm9, %ymm11 |
| ; AVX2-NEXT: vpand %ymm6, %ymm11, %ymm6 |
| ; AVX2-NEXT: vpor %ymm6, %ymm10, %ymm6 |
| ; AVX2-NEXT: vpand %ymm6, %ymm5, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpsrlw $2, %ymm5, %ymm10 |
| ; AVX2-NEXT: vpand %ymm7, %ymm10, %ymm7 |
| ; AVX2-NEXT: vpor %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpand %ymm6, %ymm2, %ymm2 |
| ; AVX2-NEXT: vpsllw $4, %ymm1, %ymm6 |
| ; AVX2-NEXT: vpand %ymm4, %ymm6, %ymm4 |
| ; AVX2-NEXT: vpand %ymm2, %ymm4, %ymm4 |
| ; AVX2-NEXT: vpandn %ymm1, %ymm2, %ymm1 |
| ; AVX2-NEXT: vpor %ymm4, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpandn %ymm1, %ymm5, %ymm2 |
| ; AVX2-NEXT: vpsllw $2, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpand %ymm5, %ymm8, %ymm4 |
| ; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpor %ymm1, %ymm2, %ymm1 |
| ; AVX2-NEXT: vpandn %ymm1, %ymm9, %ymm2 |
| ; AVX2-NEXT: vpaddb %ymm1, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpand %ymm1, %ymm9, %ymm1 |
| ; AVX2-NEXT: vpor %ymm1, %ymm2, %ymm1 |
| ; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm1 |
| ; AVX2-NEXT: retq |
| ; |
| ; AVX512-LABEL: pdep_v64i8: |
| ; AVX512: # %bb.0: |
| ; AVX512-NEXT: vmovdqa64 %zmm1, %zmm2 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = ~zmm2 |
| ; AVX512-NEXT: vpaddb %zmm2, %zmm2, %zmm3 |
| ; AVX512-NEXT: vpaddb %zmm3, %zmm3, %zmm4 |
| ; AVX512-NEXT: vpxorq %zmm4, %zmm3, %zmm3 |
| ; AVX512-NEXT: vpaddb %zmm3, %zmm3, %zmm4 |
| ; AVX512-NEXT: vpaddb %zmm4, %zmm4, %zmm4 |
| ; AVX512-NEXT: vpxorq %zmm4, %zmm3, %zmm3 |
| ; AVX512-NEXT: vpsllw $4, %zmm3, %zmm4 |
| ; AVX512-NEXT: vpbroadcastd {{.*#+}} zmm5 = [240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240,240] |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm4 = zmm3 ^ (zmm4 & zmm5) |
| ; AVX512-NEXT: vpsubb %zmm2, %zmm1, %zmm2 |
| ; AVX512-NEXT: vpternlogd {{.*#+}} zmm3 = -1 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm3 ^ (zmm2 | zmm4) |
| ; AVX512-NEXT: vpaddb %zmm3, %zmm3, %zmm2 |
| ; AVX512-NEXT: vpxorq %zmm2, %zmm3, %zmm2 |
| ; AVX512-NEXT: vpaddb %zmm2, %zmm2, %zmm6 |
| ; AVX512-NEXT: vpaddb %zmm6, %zmm6, %zmm6 |
| ; AVX512-NEXT: vpxorq %zmm6, %zmm2, %zmm2 |
| ; AVX512-NEXT: vpsllw $4, %zmm2, %zmm6 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm6 = zmm2 ^ (zmm6 & zmm5) |
| ; AVX512-NEXT: vpandnq %zmm3, %zmm6, %zmm2 |
| ; AVX512-NEXT: vpaddb %zmm2, %zmm2, %zmm3 |
| ; AVX512-NEXT: vpxorq %zmm3, %zmm2, %zmm2 |
| ; AVX512-NEXT: vpaddb %zmm2, %zmm2, %zmm3 |
| ; AVX512-NEXT: vpaddb %zmm3, %zmm3, %zmm3 |
| ; AVX512-NEXT: vpxorq %zmm3, %zmm2, %zmm2 |
| ; AVX512-NEXT: vpsllw $4, %zmm2, %zmm3 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm2 ^ (zmm3 & zmm5) |
| ; AVX512-NEXT: vpandq %zmm1, %zmm4, %zmm2 |
| ; AVX512-NEXT: vpxorq %zmm2, %zmm1, %zmm4 |
| ; AVX512-NEXT: vpsrlw $1, %zmm2, %zmm7 |
| ; AVX512-NEXT: vpternlogd {{.*#+}} zmm7 = (zmm7 & m32bcst) | zmm4 |
| ; AVX512-NEXT: vpandq %zmm7, %zmm6, %zmm4 |
| ; AVX512-NEXT: vpxorq %zmm4, %zmm7, %zmm6 |
| ; AVX512-NEXT: vpsrlw $2, %zmm4, %zmm7 |
| ; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm7, %zmm7 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm7 = zmm3 & (zmm7 | zmm6) |
| ; AVX512-NEXT: vpsllw $4, %zmm0, %zmm3 |
| ; AVX512-NEXT: vpandq %zmm5, %zmm3, %zmm3 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm3 = zmm0 ^ (zmm7 & (zmm3 ^ zmm0)) |
| ; AVX512-NEXT: vpsllw $2, %zmm3, %zmm0 |
| ; AVX512-NEXT: vpandd {{\.?LCPI[0-9]+_[0-9]+}}(%rip){1to16}, %zmm0, %zmm0 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm0 = zmm3 ^ (zmm4 & (zmm0 ^ zmm3)) |
| ; AVX512-NEXT: vpandnq %zmm0, %zmm2, %zmm3 |
| ; AVX512-NEXT: vpaddb %zmm0, %zmm0, %zmm0 |
| ; AVX512-NEXT: vpandq %zmm2, %zmm0, %zmm0 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm0 = zmm1 & (zmm0 | zmm3) |
| ; AVX512-NEXT: retq |
| %res = call <64 x i8> @llvm.pdep.v64i8(<64 x i8> %val, <64 x i8> %mask) |
| ret <64 x i8> %res |
| } |
| |
| define <32 x i16> @pdep_v32i16(<32 x i16> %val, <32 x i16> %mask) nounwind { |
| ; AVX2-LABEL: pdep_v32i16: |
| ; AVX2: # %bb.0: |
| ; AVX2-NEXT: vpcmpeqd %ymm4, %ymm4, %ymm4 |
| ; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm5 |
| ; AVX2-NEXT: vpsllw $2, %ymm5, %ymm6 |
| ; AVX2-NEXT: vpaddw %ymm5, %ymm5, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm5, %ymm6 |
| ; AVX2-NEXT: vpsllw $2, %ymm6, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpsllw $4, %ymm6, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpsllw $8, %ymm6, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpandn %ymm5, %ymm6, %ymm5 |
| ; AVX2-NEXT: vpaddw %ymm5, %ymm5, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm5, %ymm7 |
| ; AVX2-NEXT: vpsllw $2, %ymm7, %ymm8 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm8, %ymm7 |
| ; AVX2-NEXT: vpsllw $4, %ymm7, %ymm8 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm8, %ymm7 |
| ; AVX2-NEXT: vpsllw $8, %ymm7, %ymm8 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm8, %ymm7 |
| ; AVX2-NEXT: vpandn %ymm5, %ymm7, %ymm5 |
| ; AVX2-NEXT: vpaddw %ymm5, %ymm5, %ymm8 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpsllw $2, %ymm8, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm9, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpsllw $4, %ymm8, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm9, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpsllw $8, %ymm8, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm9, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpandn %ymm5, %ymm8, %ymm5 |
| ; AVX2-NEXT: vpaddw %ymm5, %ymm5, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm9, %ymm5 |
| ; AVX2-NEXT: vpsllw $2, %ymm5, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm9, %ymm5 |
| ; AVX2-NEXT: vpsllw $4, %ymm5, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm9, %ymm5 |
| ; AVX2-NEXT: vpsllw $8, %ymm5, %ymm9 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm9, %ymm5 |
| ; AVX2-NEXT: vpand %ymm2, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm2, %ymm9 |
| ; AVX2-NEXT: vpsrlw $1, %ymm6, %ymm10 |
| ; AVX2-NEXT: vpor %ymm10, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpand %ymm7, %ymm9, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpsrlw $2, %ymm7, %ymm10 |
| ; AVX2-NEXT: vpor %ymm10, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpand %ymm9, %ymm8, %ymm8 |
| ; AVX2-NEXT: vpxor %ymm8, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpsrlw $4, %ymm8, %ymm10 |
| ; AVX2-NEXT: vpor %ymm10, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpand %ymm5, %ymm9, %ymm5 |
| ; AVX2-NEXT: vpsllw $8, %ymm0, %ymm9 |
| ; AVX2-NEXT: vpand %ymm5, %ymm9, %ymm9 |
| ; AVX2-NEXT: vpandn %ymm0, %ymm5, %ymm0 |
| ; AVX2-NEXT: vpor %ymm0, %ymm9, %ymm0 |
| ; AVX2-NEXT: vpandn %ymm0, %ymm8, %ymm5 |
| ; AVX2-NEXT: vpsllw $4, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpand %ymm0, %ymm8, %ymm0 |
| ; AVX2-NEXT: vpor %ymm0, %ymm5, %ymm0 |
| ; AVX2-NEXT: vpandn %ymm0, %ymm7, %ymm5 |
| ; AVX2-NEXT: vpsllw $2, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpand %ymm7, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpor %ymm0, %ymm5, %ymm0 |
| ; AVX2-NEXT: vpandn %ymm0, %ymm6, %ymm5 |
| ; AVX2-NEXT: vpaddw %ymm0, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpand %ymm6, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpor %ymm0, %ymm5, %ymm0 |
| ; AVX2-NEXT: vpand %ymm2, %ymm0, %ymm0 |
| ; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm2 |
| ; AVX2-NEXT: vpsllw $2, %ymm2, %ymm4 |
| ; AVX2-NEXT: vpaddw %ymm2, %ymm2, %ymm2 |
| ; AVX2-NEXT: vpxor %ymm4, %ymm2, %ymm4 |
| ; AVX2-NEXT: vpsllw $2, %ymm4, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4 |
| ; AVX2-NEXT: vpsllw $4, %ymm4, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4 |
| ; AVX2-NEXT: vpsllw $8, %ymm4, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm4, %ymm4 |
| ; AVX2-NEXT: vpandn %ymm2, %ymm4, %ymm2 |
| ; AVX2-NEXT: vpaddw %ymm2, %ymm2, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm2, %ymm5 |
| ; AVX2-NEXT: vpsllw $2, %ymm5, %ymm6 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm5, %ymm5 |
| ; AVX2-NEXT: vpsllw $4, %ymm5, %ymm6 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm5, %ymm5 |
| ; AVX2-NEXT: vpsllw $8, %ymm5, %ymm6 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm5, %ymm5 |
| ; AVX2-NEXT: vpandn %ymm2, %ymm5, %ymm2 |
| ; AVX2-NEXT: vpaddw %ymm2, %ymm2, %ymm6 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm2, %ymm6 |
| ; AVX2-NEXT: vpsllw $2, %ymm6, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpsllw $4, %ymm6, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpsllw $8, %ymm6, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpandn %ymm2, %ymm6, %ymm2 |
| ; AVX2-NEXT: vpaddw %ymm2, %ymm2, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm2, %ymm2 |
| ; AVX2-NEXT: vpsllw $2, %ymm2, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm2, %ymm2 |
| ; AVX2-NEXT: vpsllw $4, %ymm2, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm2, %ymm2 |
| ; AVX2-NEXT: vpsllw $8, %ymm2, %ymm7 |
| ; AVX2-NEXT: vpxor %ymm7, %ymm2, %ymm2 |
| ; AVX2-NEXT: vpand %ymm3, %ymm4, %ymm4 |
| ; AVX2-NEXT: vpxor %ymm4, %ymm3, %ymm7 |
| ; AVX2-NEXT: vpsrlw $1, %ymm4, %ymm8 |
| ; AVX2-NEXT: vpor %ymm7, %ymm8, %ymm7 |
| ; AVX2-NEXT: vpand %ymm7, %ymm5, %ymm5 |
| ; AVX2-NEXT: vpxor %ymm5, %ymm7, %ymm7 |
| ; AVX2-NEXT: vpsrlw $2, %ymm5, %ymm8 |
| ; AVX2-NEXT: vpor %ymm7, %ymm8, %ymm7 |
| ; AVX2-NEXT: vpand %ymm7, %ymm6, %ymm6 |
| ; AVX2-NEXT: vpxor %ymm6, %ymm7, %ymm7 |
| ; AVX2-NEXT: vpsrlw $4, %ymm6, %ymm8 |
| ; AVX2-NEXT: vpor %ymm7, %ymm8, %ymm7 |
| ; AVX2-NEXT: vpand %ymm7, %ymm2, %ymm2 |
| ; AVX2-NEXT: vpsllw $8, %ymm1, %ymm7 |
| ; AVX2-NEXT: vpand %ymm2, %ymm7, %ymm7 |
| ; AVX2-NEXT: vpandn %ymm1, %ymm2, %ymm1 |
| ; AVX2-NEXT: vpor %ymm7, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpandn %ymm1, %ymm6, %ymm2 |
| ; AVX2-NEXT: vpsllw $4, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpand %ymm6, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpor %ymm1, %ymm2, %ymm1 |
| ; AVX2-NEXT: vpandn %ymm1, %ymm5, %ymm2 |
| ; AVX2-NEXT: vpsllw $2, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpand %ymm5, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpor %ymm1, %ymm2, %ymm1 |
| ; AVX2-NEXT: vpandn %ymm1, %ymm4, %ymm2 |
| ; AVX2-NEXT: vpaddw %ymm1, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpand %ymm4, %ymm1, %ymm1 |
| ; AVX2-NEXT: vpor %ymm1, %ymm2, %ymm1 |
| ; AVX2-NEXT: vpand %ymm3, %ymm1, %ymm1 |
| ; AVX2-NEXT: retq |
| ; |
| ; AVX512-LABEL: pdep_v32i16: |
| ; AVX512: # %bb.0: |
| ; AVX512-NEXT: vmovdqa64 %zmm1, %zmm2 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = ~zmm2 |
| ; AVX512-NEXT: vpsllw $2, %zmm2, %zmm3 |
| ; AVX512-NEXT: vpaddw %zmm2, %zmm2, %zmm2 |
| ; AVX512-NEXT: vpxorq %zmm3, %zmm2, %zmm3 |
| ; AVX512-NEXT: vpsllw $2, %zmm3, %zmm4 |
| ; AVX512-NEXT: vpxorq %zmm4, %zmm3, %zmm3 |
| ; AVX512-NEXT: vpsllw $4, %zmm3, %zmm4 |
| ; AVX512-NEXT: vpxorq %zmm4, %zmm3, %zmm3 |
| ; AVX512-NEXT: vpsllw $8, %zmm3, %zmm4 |
| ; AVX512-NEXT: vpxorq %zmm4, %zmm3, %zmm3 |
| ; AVX512-NEXT: vpandnq %zmm2, %zmm3, %zmm2 |
| ; AVX512-NEXT: vpaddw %zmm2, %zmm2, %zmm4 |
| ; AVX512-NEXT: vpxorq %zmm4, %zmm2, %zmm4 |
| ; AVX512-NEXT: vpsllw $2, %zmm4, %zmm5 |
| ; AVX512-NEXT: vpxorq %zmm5, %zmm4, %zmm4 |
| ; AVX512-NEXT: vpsllw $4, %zmm4, %zmm5 |
| ; AVX512-NEXT: vpxorq %zmm5, %zmm4, %zmm4 |
| ; AVX512-NEXT: vpsllw $8, %zmm4, %zmm5 |
| ; AVX512-NEXT: vpxorq %zmm5, %zmm4, %zmm4 |
| ; AVX512-NEXT: vpandnq %zmm2, %zmm4, %zmm2 |
| ; AVX512-NEXT: vpaddw %zmm2, %zmm2, %zmm5 |
| ; AVX512-NEXT: vpxorq %zmm5, %zmm2, %zmm5 |
| ; AVX512-NEXT: vpsllw $2, %zmm5, %zmm6 |
| ; AVX512-NEXT: vpxorq %zmm6, %zmm5, %zmm5 |
| ; AVX512-NEXT: vpsllw $4, %zmm5, %zmm6 |
| ; AVX512-NEXT: vpxorq %zmm6, %zmm5, %zmm5 |
| ; AVX512-NEXT: vpsllw $8, %zmm5, %zmm6 |
| ; AVX512-NEXT: vpxorq %zmm6, %zmm5, %zmm5 |
| ; AVX512-NEXT: vpandnq %zmm2, %zmm5, %zmm2 |
| ; AVX512-NEXT: vpaddw %zmm2, %zmm2, %zmm6 |
| ; AVX512-NEXT: vpxorq %zmm6, %zmm2, %zmm2 |
| ; AVX512-NEXT: vpsllw $2, %zmm2, %zmm6 |
| ; AVX512-NEXT: vpxorq %zmm6, %zmm2, %zmm2 |
| ; AVX512-NEXT: vpsllw $4, %zmm2, %zmm6 |
| ; AVX512-NEXT: vpxorq %zmm6, %zmm2, %zmm2 |
| ; AVX512-NEXT: vpsllw $8, %zmm2, %zmm6 |
| ; AVX512-NEXT: vpxorq %zmm6, %zmm2, %zmm2 |
| ; AVX512-NEXT: vpandq %zmm1, %zmm3, %zmm3 |
| ; AVX512-NEXT: vpsrlw $1, %zmm3, %zmm6 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm6 = zmm6 | (zmm1 ^ zmm3) |
| ; AVX512-NEXT: vpandq %zmm6, %zmm4, %zmm4 |
| ; AVX512-NEXT: vpsrlw $2, %zmm4, %zmm7 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm7 = zmm7 | (zmm6 ^ zmm4) |
| ; AVX512-NEXT: vpandq %zmm7, %zmm5, %zmm5 |
| ; AVX512-NEXT: vpxorq %zmm5, %zmm7, %zmm6 |
| ; AVX512-NEXT: vpsrlw $4, %zmm5, %zmm7 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm7 = zmm2 & (zmm7 | zmm6) |
| ; AVX512-NEXT: vpsllw $8, %zmm0, %zmm2 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm0 ^ (zmm7 & (zmm2 ^ zmm0)) |
| ; AVX512-NEXT: vpsllw $4, %zmm2, %zmm0 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm0 = zmm2 ^ (zmm5 & (zmm0 ^ zmm2)) |
| ; AVX512-NEXT: vpsllw $2, %zmm0, %zmm2 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm2 = zmm0 ^ (zmm4 & (zmm2 ^ zmm0)) |
| ; AVX512-NEXT: vpandnq %zmm2, %zmm3, %zmm4 |
| ; AVX512-NEXT: vpaddw %zmm2, %zmm2, %zmm0 |
| ; AVX512-NEXT: vpandq %zmm3, %zmm0, %zmm0 |
| ; AVX512-NEXT: vpternlogq {{.*#+}} zmm0 = zmm1 & (zmm0 | zmm4) |
| ; AVX512-NEXT: retq |
| %res = call <32 x i16> @llvm.pdep.v32i16(<32 x i16> %val, <32 x i16> %mask) |
| ret <32 x i16> %res |
| } |
| |
| define <16 x i32> @pdep_v16i32(<16 x i32> %val, <16 x i32> %mask) nounwind { |
| ; AVX2-FAST-LABEL: pdep_v16i32: |
| ; AVX2-FAST: # %bb.0: |
| ; AVX2-FAST-NEXT: vextracti128 $1, %ymm2, %xmm4 |
| ; AVX2-FAST-NEXT: vpextrd $1, %xmm4, %eax |
| ; AVX2-FAST-NEXT: vextracti128 $1, %ymm0, %xmm5 |
| ; AVX2-FAST-NEXT: vpextrd $1, %xmm5, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vmovd %xmm4, %ecx |
| ; AVX2-FAST-NEXT: vmovd %xmm5, %edx |
| ; AVX2-FAST-NEXT: pdepl %ecx, %edx, %ecx |
| ; AVX2-FAST-NEXT: vmovd %ecx, %xmm6 |
| ; AVX2-FAST-NEXT: vpinsrd $1, %eax, %xmm6, %xmm6 |
| ; AVX2-FAST-NEXT: vpextrd $2, %xmm4, %eax |
| ; AVX2-FAST-NEXT: vpextrd $2, %xmm5, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vpinsrd $2, %eax, %xmm6, %xmm6 |
| ; AVX2-FAST-NEXT: vpextrd $3, %xmm4, %eax |
| ; AVX2-FAST-NEXT: vpextrd $3, %xmm5, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vpinsrd $3, %eax, %xmm6, %xmm4 |
| ; AVX2-FAST-NEXT: vpextrd $1, %xmm2, %eax |
| ; AVX2-FAST-NEXT: vpextrd $1, %xmm0, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vmovd %xmm2, %ecx |
| ; AVX2-FAST-NEXT: vmovd %xmm0, %edx |
| ; AVX2-FAST-NEXT: pdepl %ecx, %edx, %ecx |
| ; AVX2-FAST-NEXT: vmovd %ecx, %xmm5 |
| ; AVX2-FAST-NEXT: vpinsrd $1, %eax, %xmm5, %xmm5 |
| ; AVX2-FAST-NEXT: vpextrd $2, %xmm2, %eax |
| ; AVX2-FAST-NEXT: vpextrd $2, %xmm0, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vpinsrd $2, %eax, %xmm5, %xmm5 |
| ; AVX2-FAST-NEXT: vpextrd $3, %xmm2, %eax |
| ; AVX2-FAST-NEXT: vpextrd $3, %xmm0, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vpinsrd $3, %eax, %xmm5, %xmm0 |
| ; AVX2-FAST-NEXT: vextracti128 $1, %ymm3, %xmm2 |
| ; AVX2-FAST-NEXT: vpextrd $1, %xmm2, %eax |
| ; AVX2-FAST-NEXT: vextracti128 $1, %ymm1, %xmm5 |
| ; AVX2-FAST-NEXT: vpextrd $1, %xmm5, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vmovd %xmm2, %ecx |
| ; AVX2-FAST-NEXT: vmovd %xmm5, %edx |
| ; AVX2-FAST-NEXT: pdepl %ecx, %edx, %ecx |
| ; AVX2-FAST-NEXT: vmovd %ecx, %xmm6 |
| ; AVX2-FAST-NEXT: vpinsrd $1, %eax, %xmm6, %xmm6 |
| ; AVX2-FAST-NEXT: vpextrd $2, %xmm2, %eax |
| ; AVX2-FAST-NEXT: vpextrd $2, %xmm5, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vpinsrd $2, %eax, %xmm6, %xmm6 |
| ; AVX2-FAST-NEXT: vpextrd $3, %xmm2, %eax |
| ; AVX2-FAST-NEXT: vpextrd $3, %xmm5, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vpinsrd $3, %eax, %xmm6, %xmm2 |
| ; AVX2-FAST-NEXT: vpextrd $1, %xmm3, %eax |
| ; AVX2-FAST-NEXT: vpextrd $1, %xmm1, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vmovd %xmm3, %ecx |
| ; AVX2-FAST-NEXT: vmovd %xmm1, %edx |
| ; AVX2-FAST-NEXT: pdepl %ecx, %edx, %ecx |
| ; AVX2-FAST-NEXT: vmovd %ecx, %xmm5 |
| ; AVX2-FAST-NEXT: vpinsrd $1, %eax, %xmm5, %xmm5 |
| ; AVX2-FAST-NEXT: vpextrd $2, %xmm3, %eax |
| ; AVX2-FAST-NEXT: vpextrd $2, %xmm1, %ecx |
| ; AVX2-FAST-NEXT: vinserti128 $1, %xmm4, %ymm0, %ymm0 |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vpinsrd $2, %eax, %xmm5, %xmm4 |
| ; AVX2-FAST-NEXT: vpextrd $3, %xmm3, %eax |
| ; AVX2-FAST-NEXT: vpextrd $3, %xmm1, %ecx |
| ; AVX2-FAST-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX2-FAST-NEXT: vpinsrd $3, %eax, %xmm4, %xmm1 |
| ; AVX2-FAST-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1 |
| ; AVX2-FAST-NEXT: retq |
| ; |
| ; AVX2-SLOW-LABEL: pdep_v16i32: |
| ; AVX2-SLOW: # %bb.0: |
| ; AVX2-SLOW-NEXT: vpcmpeqd %ymm5, %ymm5, %ymm5 |
| ; AVX2-SLOW-NEXT: vpxor %ymm5, %ymm2, %ymm4 |
| ; AVX2-SLOW-NEXT: vpaddd %ymm4, %ymm4, %ymm7 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm7, %xmm6 |
| ; AVX2-SLOW-NEXT: movl $4294967295, %eax # imm = 0xFFFFFFFF |
| ; AVX2-SLOW-NEXT: vmovq %rax, %xmm4 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm6, %xmm8 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm9 = xmm6[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm9, %xmm9 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm6, %xmm10 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm8 = xmm8[0],xmm9[0],xmm8[1],xmm9[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm10, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm8, %xmm8 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm6 = xmm6[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm6, %xmm6 |
| ; AVX2-SLOW-NEXT: vmovq %xmm6, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm8, %xmm6 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm7, %xmm8 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm9 = xmm7[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm9, %xmm9 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm8 = xmm8[0],xmm9[0],xmm8[1],xmm9[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm7, %xmm9 |
| ; AVX2-SLOW-NEXT: vmovq %xmm9, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm8, %xmm8 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm9 = xmm7[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm9, %xmm9 |
| ; AVX2-SLOW-NEXT: vmovq %xmm9, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm8, %xmm8 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm6, %ymm8, %ymm6 |
| ; AVX2-SLOW-NEXT: vpandn %ymm7, %ymm6, %ymm8 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm8, %xmm7 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm7, %xmm9 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm10 = xmm7[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm7, %xmm11 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm9 = xmm9[0],xmm10[0],xmm9[1],xmm10[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm11, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm9, %xmm9 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm7 = xmm7[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm7, %xmm7 |
| ; AVX2-SLOW-NEXT: vmovq %xmm7, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm9, %xmm7 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm8, %xmm9 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm10 = xmm8[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm9 = xmm9[0],xmm10[0],xmm9[1],xmm10[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm8, %xmm10 |
| ; AVX2-SLOW-NEXT: vmovq %xmm10, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm9, %xmm9 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm10 = xmm8[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vmovq %xmm10, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm9, %xmm9 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm7, %ymm9, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm8, %ymm7, %ymm9 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm9, %xmm8 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm8, %xmm10 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm11 = xmm8[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm8, %xmm12 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm10 = xmm10[0],xmm11[0],xmm10[1],xmm11[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm12, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm8 = xmm8[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm8, %xmm8 |
| ; AVX2-SLOW-NEXT: vmovq %xmm8, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm10, %xmm8 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm9, %xmm10 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm11 = xmm9[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm10 = xmm10[0],xmm11[0],xmm10[1],xmm11[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm9, %xmm11 |
| ; AVX2-SLOW-NEXT: vmovq %xmm11, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm11 = xmm9[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vmovq %xmm11, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm8, %ymm10, %ymm8 |
| ; AVX2-SLOW-NEXT: vpandn %ymm9, %ymm8, %ymm10 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm10, %xmm9 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm9, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm12 = xmm9[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm9, %xmm13 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm11 = xmm11[0],xmm12[0],xmm11[1],xmm12[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm13, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm9 = xmm9[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm9, %xmm9 |
| ; AVX2-SLOW-NEXT: vmovq %xmm9, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm11, %xmm9 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm12 = xmm10[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm11 = xmm11[0],xmm12[0],xmm11[1],xmm12[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm10, %xmm12 |
| ; AVX2-SLOW-NEXT: vmovq %xmm12, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm12 = xmm10[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vmovq %xmm12, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm9, %ymm11, %ymm9 |
| ; AVX2-SLOW-NEXT: vpandn %ymm10, %ymm9, %ymm10 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm10, %xmm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm11, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm13 = xmm11[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm13, %xmm13 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm11, %xmm14 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm12 = xmm12[0],xmm13[0],xmm12[1],xmm13[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm14, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm11 = xmm11[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vmovq %xmm11, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm12, %xmm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm13 = xmm10[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm13, %xmm13 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm10, %xmm14 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm12 = xmm12[0],xmm13[0],xmm12[1],xmm13[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm14, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm10 = xmm10[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vmovq %xmm10, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm12, %xmm10 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm11, %ymm10, %ymm10 |
| ; AVX2-SLOW-NEXT: vpand %ymm2, %ymm6, %ymm6 |
| ; AVX2-SLOW-NEXT: vpxor %ymm6, %ymm2, %ymm11 |
| ; AVX2-SLOW-NEXT: vpsrld $1, %ymm6, %ymm12 |
| ; AVX2-SLOW-NEXT: vpor %ymm12, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm11, %ymm7 |
| ; AVX2-SLOW-NEXT: vpxor %ymm7, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpsrld $2, %ymm7, %ymm12 |
| ; AVX2-SLOW-NEXT: vpor %ymm12, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpand %ymm11, %ymm8, %ymm8 |
| ; AVX2-SLOW-NEXT: vpxor %ymm8, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpsrld $4, %ymm8, %ymm12 |
| ; AVX2-SLOW-NEXT: vpor %ymm12, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpand %ymm11, %ymm9, %ymm9 |
| ; AVX2-SLOW-NEXT: vpxor %ymm9, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpsrld $8, %ymm9, %ymm12 |
| ; AVX2-SLOW-NEXT: vpor %ymm12, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpand %ymm11, %ymm10, %ymm10 |
| ; AVX2-SLOW-NEXT: vpslld $16, %ymm0, %ymm11 |
| ; AVX2-SLOW-NEXT: vpand %ymm10, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpandn %ymm0, %ymm10, %ymm0 |
| ; AVX2-SLOW-NEXT: vpxor %ymm5, %ymm3, %ymm5 |
| ; AVX2-SLOW-NEXT: vpaddd %ymm5, %ymm5, %ymm10 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm10, %xmm5 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm5, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm13 = xmm5[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm13, %xmm13 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm5, %xmm0 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm12 = xmm12[0],xmm13[0],xmm12[1],xmm13[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm0, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm0 = xmm5[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm0, %xmm5 |
| ; AVX2-SLOW-NEXT: vpandn %ymm11, %ymm9, %ymm0 |
| ; AVX2-SLOW-NEXT: vmovq %xmm5, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm12, %xmm5 |
| ; AVX2-SLOW-NEXT: vpslld $8, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm13 = xmm10[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm13, %xmm13 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm12 = xmm12[0],xmm13[0],xmm12[1],xmm13[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm10, %xmm13 |
| ; AVX2-SLOW-NEXT: vmovq %xmm13, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm13 = xmm10[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm13, %xmm13 |
| ; AVX2-SLOW-NEXT: vmovq %xmm13, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm5, %ymm12, %ymm5 |
| ; AVX2-SLOW-NEXT: vpandn %ymm10, %ymm5, %ymm10 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm10, %xmm12 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm13 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm14 = xmm12[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm14, %xmm14 |
| ; AVX2-SLOW-NEXT: vpand %ymm9, %ymm11, %ymm9 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm12, %xmm11 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm13 = xmm13[0],xmm14[0],xmm13[1],xmm14[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm11, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm13, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm12 = xmm12[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm9, %ymm13 |
| ; AVX2-SLOW-NEXT: vmovq %xmm12, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm11, %xmm9 |
| ; AVX2-SLOW-NEXT: vpandn %ymm13, %ymm8, %ymm0 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm12 = xmm10[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm11 = xmm11[0],xmm12[0],xmm11[1],xmm12[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm10, %xmm12 |
| ; AVX2-SLOW-NEXT: vmovq %xmm12, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm12 = xmm10[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vmovq %xmm12, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm9, %ymm11, %ymm9 |
| ; AVX2-SLOW-NEXT: vpandn %ymm10, %ymm9, %ymm10 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm10, %xmm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm11, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm14 = xmm11[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm14, %xmm14 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm12 = xmm12[0],xmm14[0],xmm12[1],xmm14[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm11, %xmm14 |
| ; AVX2-SLOW-NEXT: vpslld $4, %ymm13, %ymm13 |
| ; AVX2-SLOW-NEXT: vmovq %xmm14, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm11 = xmm11[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vpand %ymm8, %ymm13, %ymm8 |
| ; AVX2-SLOW-NEXT: vmovq %xmm11, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm12, %xmm11 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm8, %ymm12 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm0 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm8 = xmm10[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm8, %xmm8 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm0 = xmm0[0],xmm8[0],xmm0[1],xmm8[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm10, %xmm8 |
| ; AVX2-SLOW-NEXT: vmovq %xmm8, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm0, %xmm0 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm8 = xmm10[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm8, %xmm8 |
| ; AVX2-SLOW-NEXT: vmovq %xmm8, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm0, %xmm0 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm11, %ymm0, %ymm8 |
| ; AVX2-SLOW-NEXT: vpandn %ymm10, %ymm8, %ymm0 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm0, %xmm10 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm13 = xmm10[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm13, %xmm13 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm11 = xmm11[0],xmm13[0],xmm11[1],xmm13[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm10, %xmm13 |
| ; AVX2-SLOW-NEXT: vpandn %ymm12, %ymm7, %ymm14 |
| ; AVX2-SLOW-NEXT: vmovq %xmm13, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm11, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm10 = xmm10[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vpslld $2, %ymm12, %ymm12 |
| ; AVX2-SLOW-NEXT: vmovq %xmm10, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm11, %xmm10 |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm12, %ymm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm0, %xmm7 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm12 = xmm0[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm7 = xmm7[0],xmm12[0],xmm7[1],xmm12[1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm0, %xmm12 |
| ; AVX2-SLOW-NEXT: vmovq %xmm12, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm7, %xmm7 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm12 = xmm0[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vmovq %xmm12, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm7, %xmm7 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm10, %ymm7, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm0, %ymm7, %ymm0 |
| ; AVX2-SLOW-NEXT: vextracti128 $1, %ymm0, %xmm10 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm13 = xmm10[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm13, %xmm13 |
| ; AVX2-SLOW-NEXT: vpor %ymm11, %ymm14, %ymm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm10, %xmm14 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm12 = xmm12[0],xmm13[0],xmm12[1],xmm13[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm14, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm12, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm10 = xmm10[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm10, %xmm10 |
| ; AVX2-SLOW-NEXT: vpandn %ymm11, %ymm6, %ymm13 |
| ; AVX2-SLOW-NEXT: vmovq %xmm10, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm12, %xmm10 |
| ; AVX2-SLOW-NEXT: vpaddd %ymm11, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm0, %xmm12 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm14 = xmm0[1,1,1,1] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm14, %xmm14 |
| ; AVX2-SLOW-NEXT: vpand %ymm6, %ymm11, %ymm6 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %xmm4, %xmm0, %xmm11 |
| ; AVX2-SLOW-NEXT: vpunpckldq {{.*#+}} xmm12 = xmm12[0],xmm14[0],xmm12[1],xmm14[1] |
| ; AVX2-SLOW-NEXT: vmovq %xmm11, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $2, %eax, %xmm12, %xmm11 |
| ; AVX2-SLOW-NEXT: vpshufd {{.*#+}} xmm0 = xmm0[3,3,3,3] |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %xmm4, %xmm0, %xmm0 |
| ; AVX2-SLOW-NEXT: vpor %ymm6, %ymm13, %ymm4 |
| ; AVX2-SLOW-NEXT: vmovq %xmm0, %rax |
| ; AVX2-SLOW-NEXT: vpinsrd $3, %eax, %xmm11, %xmm6 |
| ; AVX2-SLOW-NEXT: vpand %ymm2, %ymm4, %ymm0 |
| ; AVX2-SLOW-NEXT: vinserti128 $1, %xmm10, %ymm6, %ymm4 |
| ; AVX2-SLOW-NEXT: vpand %ymm3, %ymm5, %ymm2 |
| ; AVX2-SLOW-NEXT: vpxor %ymm2, %ymm3, %ymm5 |
| ; AVX2-SLOW-NEXT: vpsrld $1, %ymm2, %ymm6 |
| ; AVX2-SLOW-NEXT: vpor %ymm6, %ymm5, %ymm5 |
| ; AVX2-SLOW-NEXT: vpand %ymm5, %ymm9, %ymm6 |
| ; AVX2-SLOW-NEXT: vpxor %ymm6, %ymm5, %ymm5 |
| ; AVX2-SLOW-NEXT: vpsrld $2, %ymm6, %ymm9 |
| ; AVX2-SLOW-NEXT: vpor %ymm5, %ymm9, %ymm5 |
| ; AVX2-SLOW-NEXT: vpand %ymm5, %ymm8, %ymm8 |
| ; AVX2-SLOW-NEXT: vpxor %ymm5, %ymm8, %ymm5 |
| ; AVX2-SLOW-NEXT: vpsrld $4, %ymm8, %ymm9 |
| ; AVX2-SLOW-NEXT: vpor %ymm5, %ymm9, %ymm5 |
| ; AVX2-SLOW-NEXT: vpand %ymm5, %ymm7, %ymm7 |
| ; AVX2-SLOW-NEXT: vpxor %ymm7, %ymm5, %ymm5 |
| ; AVX2-SLOW-NEXT: vpsrld $8, %ymm7, %ymm9 |
| ; AVX2-SLOW-NEXT: vpor %ymm5, %ymm9, %ymm5 |
| ; AVX2-SLOW-NEXT: vpand %ymm5, %ymm4, %ymm4 |
| ; AVX2-SLOW-NEXT: vpslld $16, %ymm1, %ymm5 |
| ; AVX2-SLOW-NEXT: vpand %ymm4, %ymm5, %ymm5 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm5, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm7, %ymm4 |
| ; AVX2-SLOW-NEXT: vpslld $8, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm8, %ymm4 |
| ; AVX2-SLOW-NEXT: vpslld $4, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm1, %ymm8, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm6, %ymm4 |
| ; AVX2-SLOW-NEXT: vpslld $2, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm6, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm2, %ymm4 |
| ; AVX2-SLOW-NEXT: vpaddd %ymm1, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm2, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm3, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: retq |
| ; |
| ; AVX512-LABEL: pdep_v16i32: |
| ; AVX512: # %bb.0: |
| ; AVX512-NEXT: vextracti32x4 $3, %zmm1, %xmm2 |
| ; AVX512-NEXT: vpextrd $1, %xmm2, %eax |
| ; AVX512-NEXT: vextracti32x4 $3, %zmm0, %xmm3 |
| ; AVX512-NEXT: vpextrd $1, %xmm3, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vmovd %xmm2, %ecx |
| ; AVX512-NEXT: vmovd %xmm3, %edx |
| ; AVX512-NEXT: pdepl %ecx, %edx, %ecx |
| ; AVX512-NEXT: vmovd %ecx, %xmm4 |
| ; AVX512-NEXT: vpinsrd $1, %eax, %xmm4, %xmm4 |
| ; AVX512-NEXT: vpextrd $2, %xmm2, %eax |
| ; AVX512-NEXT: vpextrd $2, %xmm3, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4 |
| ; AVX512-NEXT: vpextrd $3, %xmm2, %eax |
| ; AVX512-NEXT: vpextrd $3, %xmm3, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vpinsrd $3, %eax, %xmm4, %xmm2 |
| ; AVX512-NEXT: vextracti32x4 $2, %zmm1, %xmm3 |
| ; AVX512-NEXT: vpextrd $1, %xmm3, %eax |
| ; AVX512-NEXT: vextracti32x4 $2, %zmm0, %xmm4 |
| ; AVX512-NEXT: vpextrd $1, %xmm4, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vmovd %xmm3, %ecx |
| ; AVX512-NEXT: vmovd %xmm4, %edx |
| ; AVX512-NEXT: pdepl %ecx, %edx, %ecx |
| ; AVX512-NEXT: vmovd %ecx, %xmm5 |
| ; AVX512-NEXT: vpinsrd $1, %eax, %xmm5, %xmm5 |
| ; AVX512-NEXT: vpextrd $2, %xmm3, %eax |
| ; AVX512-NEXT: vpextrd $2, %xmm4, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vpinsrd $2, %eax, %xmm5, %xmm5 |
| ; AVX512-NEXT: vpextrd $3, %xmm3, %eax |
| ; AVX512-NEXT: vpextrd $3, %xmm4, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vpinsrd $3, %eax, %xmm5, %xmm3 |
| ; AVX512-NEXT: vextracti128 $1, %ymm1, %xmm4 |
| ; AVX512-NEXT: vpextrd $1, %xmm4, %eax |
| ; AVX512-NEXT: vextracti128 $1, %ymm0, %xmm5 |
| ; AVX512-NEXT: vpextrd $1, %xmm5, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vmovd %xmm4, %ecx |
| ; AVX512-NEXT: vmovd %xmm5, %edx |
| ; AVX512-NEXT: vpextrd $2, %xmm4, %esi |
| ; AVX512-NEXT: pdepl %ecx, %edx, %ecx |
| ; AVX512-NEXT: vpextrd $3, %xmm4, %edx |
| ; AVX512-NEXT: vmovd %ecx, %xmm4 |
| ; AVX512-NEXT: vpinsrd $1, %eax, %xmm4, %xmm4 |
| ; AVX512-NEXT: vpextrd $2, %xmm5, %eax |
| ; AVX512-NEXT: pdepl %esi, %eax, %eax |
| ; AVX512-NEXT: vpinsrd $2, %eax, %xmm4, %xmm4 |
| ; AVX512-NEXT: vpextrd $3, %xmm5, %eax |
| ; AVX512-NEXT: pdepl %edx, %eax, %eax |
| ; AVX512-NEXT: vpinsrd $3, %eax, %xmm4, %xmm4 |
| ; AVX512-NEXT: vpextrd $1, %xmm1, %eax |
| ; AVX512-NEXT: vpextrd $1, %xmm0, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vmovd %xmm1, %ecx |
| ; AVX512-NEXT: vmovd %xmm0, %edx |
| ; AVX512-NEXT: pdepl %ecx, %edx, %ecx |
| ; AVX512-NEXT: vmovd %ecx, %xmm5 |
| ; AVX512-NEXT: vpinsrd $1, %eax, %xmm5, %xmm5 |
| ; AVX512-NEXT: vpextrd $2, %xmm1, %eax |
| ; AVX512-NEXT: vpextrd $2, %xmm0, %ecx |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vpinsrd $2, %eax, %xmm5, %xmm5 |
| ; AVX512-NEXT: vpextrd $3, %xmm1, %eax |
| ; AVX512-NEXT: vpextrd $3, %xmm0, %ecx |
| ; AVX512-NEXT: vinserti128 $1, %xmm2, %ymm3, %ymm0 |
| ; AVX512-NEXT: pdepl %eax, %ecx, %eax |
| ; AVX512-NEXT: vpinsrd $3, %eax, %xmm5, %xmm1 |
| ; AVX512-NEXT: vinserti128 $1, %xmm4, %ymm1, %ymm1 |
| ; AVX512-NEXT: vinserti64x4 $1, %ymm0, %zmm1, %zmm0 |
| ; AVX512-NEXT: retq |
| %res = call <16 x i32> @llvm.pdep.v16i32(<16 x i32> %val, <16 x i32> %mask) |
| ret <16 x i32> %res |
| } |
| |
| define <8 x i64> @pdep_v8i64(<8 x i64> %val, <8 x i64> %mask) nounwind { |
| ; AVX2-FAST-LABEL: pdep_v8i64: |
| ; AVX2-FAST: # %bb.0: |
| ; AVX2-FAST-NEXT: vextracti128 $1, %ymm2, %xmm4 |
| ; AVX2-FAST-NEXT: vpextrq $1, %xmm4, %rax |
| ; AVX2-FAST-NEXT: vextracti128 $1, %ymm0, %xmm5 |
| ; AVX2-FAST-NEXT: vpextrq $1, %xmm5, %rcx |
| ; AVX2-FAST-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX2-FAST-NEXT: vmovq %rax, %xmm6 |
| ; AVX2-FAST-NEXT: vmovq %xmm4, %rax |
| ; AVX2-FAST-NEXT: vmovq %xmm5, %rcx |
| ; AVX2-FAST-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX2-FAST-NEXT: vmovq %rax, %xmm4 |
| ; AVX2-FAST-NEXT: vpextrq $1, %xmm2, %rax |
| ; AVX2-FAST-NEXT: vpunpcklqdq {{.*#+}} xmm4 = xmm4[0],xmm6[0] |
| ; AVX2-FAST-NEXT: vpextrq $1, %xmm0, %rcx |
| ; AVX2-FAST-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX2-FAST-NEXT: vmovq %rax, %xmm5 |
| ; AVX2-FAST-NEXT: vmovq %xmm2, %rax |
| ; AVX2-FAST-NEXT: vmovq %xmm0, %rcx |
| ; AVX2-FAST-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX2-FAST-NEXT: vmovq %rax, %xmm0 |
| ; AVX2-FAST-NEXT: vextracti128 $1, %ymm3, %xmm2 |
| ; AVX2-FAST-NEXT: vpextrq $1, %xmm2, %rax |
| ; AVX2-FAST-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm5[0] |
| ; AVX2-FAST-NEXT: vextracti128 $1, %ymm1, %xmm5 |
| ; AVX2-FAST-NEXT: vpextrq $1, %xmm5, %rcx |
| ; AVX2-FAST-NEXT: vinserti128 $1, %xmm4, %ymm0, %ymm0 |
| ; AVX2-FAST-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX2-FAST-NEXT: vmovq %rax, %xmm4 |
| ; AVX2-FAST-NEXT: vmovq %xmm2, %rax |
| ; AVX2-FAST-NEXT: vmovq %xmm5, %rcx |
| ; AVX2-FAST-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX2-FAST-NEXT: vmovq %rax, %xmm2 |
| ; AVX2-FAST-NEXT: vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm4[0] |
| ; AVX2-FAST-NEXT: vpextrq $1, %xmm3, %rax |
| ; AVX2-FAST-NEXT: vpextrq $1, %xmm1, %rcx |
| ; AVX2-FAST-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX2-FAST-NEXT: vmovq %rax, %xmm4 |
| ; AVX2-FAST-NEXT: vmovq %xmm3, %rax |
| ; AVX2-FAST-NEXT: vmovq %xmm1, %rcx |
| ; AVX2-FAST-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX2-FAST-NEXT: vmovq %rax, %xmm1 |
| ; AVX2-FAST-NEXT: vpunpcklqdq {{.*#+}} xmm1 = xmm1[0],xmm4[0] |
| ; AVX2-FAST-NEXT: vinserti128 $1, %xmm2, %ymm1, %ymm1 |
| ; AVX2-FAST-NEXT: retq |
| ; |
| ; AVX2-SLOW-LABEL: pdep_v8i64: |
| ; AVX2-SLOW: # %bb.0: |
| ; AVX2-SLOW-NEXT: vpcmpeqd %ymm5, %ymm5, %ymm5 |
| ; AVX2-SLOW-NEXT: vpxor %ymm5, %ymm2, %ymm4 |
| ; AVX2-SLOW-NEXT: vpaddq %ymm4, %ymm4, %ymm7 |
| ; AVX2-SLOW-NEXT: movq $-1, %rax |
| ; AVX2-SLOW-NEXT: vmovq %rax, %xmm4 |
| ; AVX2-SLOW-NEXT: vpbroadcastq %xmm4, %ymm4 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm7, %ymm6 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm7, %ymm8 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm8 = ymm8[0],ymm6[0],ymm8[2],ymm6[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm2, %ymm8, %ymm6 |
| ; AVX2-SLOW-NEXT: vpandn %ymm7, %ymm8, %ymm8 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm8, %ymm7 |
| ; AVX2-SLOW-NEXT: vpxor %ymm6, %ymm2, %ymm9 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm8, %ymm10 |
| ; AVX2-SLOW-NEXT: vpsrlq $1, %ymm6, %ymm11 |
| ; AVX2-SLOW-NEXT: vpor %ymm11, %ymm9, %ymm9 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm10 = ymm10[0],ymm7[0],ymm10[2],ymm7[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm9, %ymm10, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm8, %ymm10, %ymm10 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm10, %ymm8 |
| ; AVX2-SLOW-NEXT: vpxor %ymm7, %ymm9, %ymm9 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm10, %ymm11 |
| ; AVX2-SLOW-NEXT: vpsrlq $2, %ymm7, %ymm12 |
| ; AVX2-SLOW-NEXT: vpor %ymm12, %ymm9, %ymm9 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm11 = ymm11[0],ymm8[0],ymm11[2],ymm8[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm9, %ymm11, %ymm8 |
| ; AVX2-SLOW-NEXT: vpandn %ymm10, %ymm11, %ymm10 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm10, %ymm11 |
| ; AVX2-SLOW-NEXT: vpxor %ymm8, %ymm9, %ymm9 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm10, %ymm12 |
| ; AVX2-SLOW-NEXT: vpsrlq $4, %ymm8, %ymm13 |
| ; AVX2-SLOW-NEXT: vpor %ymm13, %ymm9, %ymm13 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm11 = ymm12[0],ymm11[0],ymm12[2],ymm11[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm13, %ymm11, %ymm9 |
| ; AVX2-SLOW-NEXT: vpandn %ymm10, %ymm11, %ymm10 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm10, %ymm11 |
| ; AVX2-SLOW-NEXT: vpxor %ymm9, %ymm13, %ymm12 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm10, %ymm13 |
| ; AVX2-SLOW-NEXT: vpsrlq $8, %ymm9, %ymm14 |
| ; AVX2-SLOW-NEXT: vpor %ymm14, %ymm12, %ymm12 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm11 = ymm13[0],ymm11[0],ymm13[2],ymm11[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm12, %ymm11, %ymm13 |
| ; AVX2-SLOW-NEXT: vpandn %ymm10, %ymm11, %ymm10 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm10, %ymm11 |
| ; AVX2-SLOW-NEXT: vpxor %ymm13, %ymm12, %ymm12 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm10, %ymm10 |
| ; AVX2-SLOW-NEXT: vpsrlq $16, %ymm13, %ymm14 |
| ; AVX2-SLOW-NEXT: vpor %ymm14, %ymm12, %ymm12 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm10 = ymm10[0],ymm11[0],ymm10[2],ymm11[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm12, %ymm10, %ymm10 |
| ; AVX2-SLOW-NEXT: vpsllq $32, %ymm0, %ymm11 |
| ; AVX2-SLOW-NEXT: vpand %ymm10, %ymm11, %ymm11 |
| ; AVX2-SLOW-NEXT: vpandn %ymm0, %ymm10, %ymm0 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm11, %ymm0 |
| ; AVX2-SLOW-NEXT: vpandn %ymm0, %ymm13, %ymm10 |
| ; AVX2-SLOW-NEXT: vpsllq $16, %ymm0, %ymm0 |
| ; AVX2-SLOW-NEXT: vpand %ymm0, %ymm13, %ymm0 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm10, %ymm0 |
| ; AVX2-SLOW-NEXT: vpandn %ymm0, %ymm9, %ymm10 |
| ; AVX2-SLOW-NEXT: vpsllq $8, %ymm0, %ymm0 |
| ; AVX2-SLOW-NEXT: vpand %ymm0, %ymm9, %ymm0 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm10, %ymm0 |
| ; AVX2-SLOW-NEXT: vpandn %ymm0, %ymm8, %ymm9 |
| ; AVX2-SLOW-NEXT: vpsllq $4, %ymm0, %ymm0 |
| ; AVX2-SLOW-NEXT: vpand %ymm0, %ymm8, %ymm0 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm9, %ymm0 |
| ; AVX2-SLOW-NEXT: vpandn %ymm0, %ymm7, %ymm8 |
| ; AVX2-SLOW-NEXT: vpsllq $2, %ymm0, %ymm0 |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm0, %ymm0 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm8, %ymm0 |
| ; AVX2-SLOW-NEXT: vpandn %ymm0, %ymm6, %ymm7 |
| ; AVX2-SLOW-NEXT: vpaddq %ymm0, %ymm0, %ymm0 |
| ; AVX2-SLOW-NEXT: vpand %ymm6, %ymm0, %ymm0 |
| ; AVX2-SLOW-NEXT: vpxor %ymm5, %ymm3, %ymm5 |
| ; AVX2-SLOW-NEXT: vpaddq %ymm5, %ymm5, %ymm5 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm5, %ymm6 |
| ; AVX2-SLOW-NEXT: vpor %ymm0, %ymm7, %ymm0 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm5, %ymm7 |
| ; AVX2-SLOW-NEXT: vpand %ymm2, %ymm0, %ymm0 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm6 = ymm7[0],ymm6[0],ymm7[2],ymm6[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm3, %ymm6, %ymm2 |
| ; AVX2-SLOW-NEXT: vpxor %ymm2, %ymm3, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm5, %ymm6, %ymm6 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm6, %ymm5 |
| ; AVX2-SLOW-NEXT: vpsrlq $1, %ymm2, %ymm8 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm6, %ymm9 |
| ; AVX2-SLOW-NEXT: vpor %ymm7, %ymm8, %ymm7 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm8 = ymm9[0],ymm5[0],ymm9[2],ymm5[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm8, %ymm5 |
| ; AVX2-SLOW-NEXT: vpxor %ymm5, %ymm7, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm6, %ymm8, %ymm8 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm8, %ymm6 |
| ; AVX2-SLOW-NEXT: vpsrlq $2, %ymm5, %ymm9 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm8, %ymm10 |
| ; AVX2-SLOW-NEXT: vpor %ymm7, %ymm9, %ymm7 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm9 = ymm10[0],ymm6[0],ymm10[2],ymm6[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm9, %ymm6 |
| ; AVX2-SLOW-NEXT: vpxor %ymm6, %ymm7, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm8, %ymm9, %ymm8 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm8, %ymm9 |
| ; AVX2-SLOW-NEXT: vpsrlq $4, %ymm6, %ymm10 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm8, %ymm11 |
| ; AVX2-SLOW-NEXT: vpor %ymm7, %ymm10, %ymm7 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm9 = ymm11[0],ymm9[0],ymm11[2],ymm9[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm9, %ymm10 |
| ; AVX2-SLOW-NEXT: vpxor %ymm7, %ymm10, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm8, %ymm9, %ymm8 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm8, %ymm9 |
| ; AVX2-SLOW-NEXT: vpsrlq $8, %ymm10, %ymm11 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm8, %ymm12 |
| ; AVX2-SLOW-NEXT: vpor %ymm7, %ymm11, %ymm7 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm9 = ymm12[0],ymm9[0],ymm12[2],ymm9[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm9, %ymm11 |
| ; AVX2-SLOW-NEXT: vpxor %ymm7, %ymm11, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm8, %ymm9, %ymm8 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $1, %ymm4, %ymm8, %ymm9 |
| ; AVX2-SLOW-NEXT: vpsrlq $16, %ymm11, %ymm12 |
| ; AVX2-SLOW-NEXT: vpclmulqdq $0, %ymm4, %ymm8, %ymm4 |
| ; AVX2-SLOW-NEXT: vpor %ymm7, %ymm12, %ymm7 |
| ; AVX2-SLOW-NEXT: vpunpcklqdq {{.*#+}} ymm4 = ymm4[0],ymm9[0],ymm4[2],ymm9[2] |
| ; AVX2-SLOW-NEXT: vpand %ymm7, %ymm4, %ymm4 |
| ; AVX2-SLOW-NEXT: vpsllq $32, %ymm1, %ymm7 |
| ; AVX2-SLOW-NEXT: vpand %ymm4, %ymm7, %ymm7 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm7, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm11, %ymm4 |
| ; AVX2-SLOW-NEXT: vpsllq $16, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm1, %ymm11, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm10, %ymm4 |
| ; AVX2-SLOW-NEXT: vpsllq $8, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm1, %ymm10, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm6, %ymm4 |
| ; AVX2-SLOW-NEXT: vpsllq $4, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm6, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm5, %ymm4 |
| ; AVX2-SLOW-NEXT: vpsllq $2, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm5, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpandn %ymm1, %ymm2, %ymm4 |
| ; AVX2-SLOW-NEXT: vpaddq %ymm1, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm2, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: vpor %ymm1, %ymm4, %ymm1 |
| ; AVX2-SLOW-NEXT: vpand %ymm3, %ymm1, %ymm1 |
| ; AVX2-SLOW-NEXT: retq |
| ; |
| ; AVX512-LABEL: pdep_v8i64: |
| ; AVX512: # %bb.0: |
| ; AVX512-NEXT: vextracti32x4 $3, %zmm1, %xmm2 |
| ; AVX512-NEXT: vpextrq $1, %xmm2, %rax |
| ; AVX512-NEXT: vextracti32x4 $3, %zmm0, %xmm3 |
| ; AVX512-NEXT: vpextrq $1, %xmm3, %rcx |
| ; AVX512-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX512-NEXT: vmovq %rax, %xmm4 |
| ; AVX512-NEXT: vmovq %xmm2, %rax |
| ; AVX512-NEXT: vmovq %xmm3, %rcx |
| ; AVX512-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX512-NEXT: vmovq %rax, %xmm2 |
| ; AVX512-NEXT: vpunpcklqdq {{.*#+}} xmm2 = xmm2[0],xmm4[0] |
| ; AVX512-NEXT: vextracti32x4 $2, %zmm1, %xmm3 |
| ; AVX512-NEXT: vpextrq $1, %xmm3, %rax |
| ; AVX512-NEXT: vextracti32x4 $2, %zmm0, %xmm4 |
| ; AVX512-NEXT: vpextrq $1, %xmm4, %rcx |
| ; AVX512-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX512-NEXT: vmovq %rax, %xmm5 |
| ; AVX512-NEXT: vmovq %xmm3, %rax |
| ; AVX512-NEXT: vmovq %xmm4, %rcx |
| ; AVX512-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX512-NEXT: vmovq %rax, %xmm3 |
| ; AVX512-NEXT: vpunpcklqdq {{.*#+}} xmm3 = xmm3[0],xmm5[0] |
| ; AVX512-NEXT: vextracti128 $1, %ymm1, %xmm4 |
| ; AVX512-NEXT: vpextrq $1, %xmm4, %rax |
| ; AVX512-NEXT: vinserti128 $1, %xmm2, %ymm3, %ymm2 |
| ; AVX512-NEXT: vextracti128 $1, %ymm0, %xmm3 |
| ; AVX512-NEXT: vpextrq $1, %xmm3, %rcx |
| ; AVX512-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX512-NEXT: vmovq %rax, %xmm5 |
| ; AVX512-NEXT: vmovq %xmm4, %rax |
| ; AVX512-NEXT: vmovq %xmm3, %rcx |
| ; AVX512-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX512-NEXT: vmovq %rax, %xmm3 |
| ; AVX512-NEXT: vpextrq $1, %xmm1, %rax |
| ; AVX512-NEXT: vpunpcklqdq {{.*#+}} xmm3 = xmm3[0],xmm5[0] |
| ; AVX512-NEXT: vpextrq $1, %xmm0, %rcx |
| ; AVX512-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX512-NEXT: vmovq %rax, %xmm4 |
| ; AVX512-NEXT: vmovq %xmm1, %rax |
| ; AVX512-NEXT: vmovq %xmm0, %rcx |
| ; AVX512-NEXT: pdepq %rax, %rcx, %rax |
| ; AVX512-NEXT: vmovq %rax, %xmm0 |
| ; AVX512-NEXT: vpunpcklqdq {{.*#+}} xmm0 = xmm0[0],xmm4[0] |
| ; AVX512-NEXT: vinserti128 $1, %xmm3, %ymm0, %ymm0 |
| ; AVX512-NEXT: vinserti64x4 $1, %ymm2, %zmm0, %zmm0 |
| ; AVX512-NEXT: retq |
| %res = call <8 x i64> @llvm.pdep.v8i64(<8 x i64> %val, <8 x i64> %mask) |
| ret <8 x i64> %res |
| } |
| |
