| ; NOTE: Assertions have been autogenerated by utils/update_llc_test_checks.py UTC_ARGS: --version 6 |
| ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v2 | FileCheck %s --check-prefixes=CHECK,SSE |
| ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v3 | FileCheck %s --check-prefixes=CHECK,AVX2 |
| ; RUN: llc < %s -mtriple=x86_64-- -mcpu=knl | FileCheck %s --check-prefixes=AVX512,AVX512F |
| ; RUN: llc < %s -mtriple=x86_64-- -mcpu=x86-64-v4 | FileCheck %s --check-prefixes=AVX512,AVX512VL |
| |
| define i512 @test_add_i512_reg_reg(i512 %a0, i512 %a1) nounwind { |
| ; SSE-LABEL: test_add_i512_reg_reg: |
| ; SSE: # %bb.0: |
| ; SSE-NEXT: addq {{[0-9]+}}(%rsp), %rsi |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %rdx |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %rcx |
| ; SSE-NEXT: movq %rdi, %rax |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %r8 |
| ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %rdi |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %r9 |
| ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %r10 |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %r10 |
| ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %r11 |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %rdi |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %r11 |
| ; SSE-NEXT: movq %rcx, 16(%rax) |
| ; SSE-NEXT: movq %rdx, 8(%rax) |
| ; SSE-NEXT: movq %rsi, (%rax) |
| ; SSE-NEXT: movq %r8, 24(%rax) |
| ; SSE-NEXT: movq %r9, 32(%rax) |
| ; SSE-NEXT: movq %r10, 40(%rax) |
| ; SSE-NEXT: movq %rdi, 48(%rax) |
| ; SSE-NEXT: movq %r11, 56(%rax) |
| ; SSE-NEXT: retq |
| ; |
| ; AVX2-LABEL: test_add_i512_reg_reg: |
| ; AVX2: # %bb.0: |
| ; AVX2-NEXT: addq {{[0-9]+}}(%rsp), %rsi |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %rdx |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %rcx |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %r8 |
| ; AVX2-NEXT: movq %rdi, %rax |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %r9 |
| ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %rdi |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %rdi |
| ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %r10 |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %r10 |
| ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %r11 |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %r11 |
| ; AVX2-NEXT: movq %rcx, 16(%rax) |
| ; AVX2-NEXT: movq %rdx, 8(%rax) |
| ; AVX2-NEXT: movq %rsi, (%rax) |
| ; AVX2-NEXT: movq %r8, 24(%rax) |
| ; AVX2-NEXT: movq %r9, 32(%rax) |
| ; AVX2-NEXT: movq %rdi, 40(%rax) |
| ; AVX2-NEXT: movq %r10, 48(%rax) |
| ; AVX2-NEXT: movq %r11, 56(%rax) |
| ; AVX2-NEXT: retq |
| ; |
| ; AVX512F-LABEL: test_add_i512_reg_reg: |
| ; AVX512F: # %bb.0: |
| ; AVX512F-NEXT: addq {{[0-9]+}}(%rsp), %rsi |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %rdx |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %rcx |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %r8 |
| ; AVX512F-NEXT: movq %rdi, %rax |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %r9 |
| ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %rdi |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %rdi |
| ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %r10 |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %r10 |
| ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %r11 |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %r11 |
| ; AVX512F-NEXT: movq %rcx, 16(%rax) |
| ; AVX512F-NEXT: movq %rdx, 8(%rax) |
| ; AVX512F-NEXT: movq %rsi, (%rax) |
| ; AVX512F-NEXT: movq %r8, 24(%rax) |
| ; AVX512F-NEXT: movq %r9, 32(%rax) |
| ; AVX512F-NEXT: movq %rdi, 40(%rax) |
| ; AVX512F-NEXT: movq %r10, 48(%rax) |
| ; AVX512F-NEXT: movq %r11, 56(%rax) |
| ; AVX512F-NEXT: retq |
| ; |
| ; AVX512VL-LABEL: test_add_i512_reg_reg: |
| ; AVX512VL: # %bb.0: |
| ; AVX512VL-NEXT: movq %rdi, %rax |
| ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %rdi |
| ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %r10 |
| ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %r11 |
| ; AVX512VL-NEXT: addq {{[0-9]+}}(%rsp), %rsi |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %rdx |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %rcx |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %r8 |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %r9 |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %r11 |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %rdi |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %r10 |
| ; AVX512VL-NEXT: movq %rcx, 16(%rax) |
| ; AVX512VL-NEXT: movq %rdx, 8(%rax) |
| ; AVX512VL-NEXT: movq %rsi, (%rax) |
| ; AVX512VL-NEXT: movq %r8, 24(%rax) |
| ; AVX512VL-NEXT: movq %r9, 32(%rax) |
| ; AVX512VL-NEXT: movq %r11, 40(%rax) |
| ; AVX512VL-NEXT: movq %rdi, 48(%rax) |
| ; AVX512VL-NEXT: movq %r10, 56(%rax) |
| ; AVX512VL-NEXT: retq |
| %r = add i512 %a0, %a1 |
| ret i512 %r |
| } |
| |
| define i512 @test_add_i512_reg_mem(i512 %a0, ptr %p1) nounwind { |
| ; SSE-LABEL: test_add_i512_reg_mem: |
| ; SSE: # %bb.0: |
| ; SSE-NEXT: pushq %rbx |
| ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %r10 |
| ; SSE-NEXT: addq (%r10), %rsi |
| ; SSE-NEXT: adcq 8(%r10), %rdx |
| ; SSE-NEXT: adcq 16(%r10), %rcx |
| ; SSE-NEXT: movq %rdi, %rax |
| ; SSE-NEXT: adcq 24(%r10), %r8 |
| ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %rdi |
| ; SSE-NEXT: adcq 32(%r10), %r9 |
| ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %r11 |
| ; SSE-NEXT: adcq 40(%r10), %r11 |
| ; SSE-NEXT: movq {{[0-9]+}}(%rsp), %rbx |
| ; SSE-NEXT: adcq 48(%r10), %rdi |
| ; SSE-NEXT: adcq 56(%r10), %rbx |
| ; SSE-NEXT: movq %rsi, (%rax) |
| ; SSE-NEXT: movq %rdx, 8(%rax) |
| ; SSE-NEXT: movq %rcx, 16(%rax) |
| ; SSE-NEXT: movq %r8, 24(%rax) |
| ; SSE-NEXT: movq %r9, 32(%rax) |
| ; SSE-NEXT: movq %r11, 40(%rax) |
| ; SSE-NEXT: movq %rdi, 48(%rax) |
| ; SSE-NEXT: movq %rbx, 56(%rax) |
| ; SSE-NEXT: popq %rbx |
| ; SSE-NEXT: retq |
| ; |
| ; AVX2-LABEL: test_add_i512_reg_mem: |
| ; AVX2: # %bb.0: |
| ; AVX2-NEXT: pushq %rbx |
| ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %r10 |
| ; AVX2-NEXT: addq (%r10), %rsi |
| ; AVX2-NEXT: adcq 8(%r10), %rdx |
| ; AVX2-NEXT: adcq 16(%r10), %rcx |
| ; AVX2-NEXT: adcq 24(%r10), %r8 |
| ; AVX2-NEXT: movq %rdi, %rax |
| ; AVX2-NEXT: adcq 32(%r10), %r9 |
| ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %rdi |
| ; AVX2-NEXT: adcq 40(%r10), %rdi |
| ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %r11 |
| ; AVX2-NEXT: adcq 48(%r10), %r11 |
| ; AVX2-NEXT: movq {{[0-9]+}}(%rsp), %rbx |
| ; AVX2-NEXT: adcq 56(%r10), %rbx |
| ; AVX2-NEXT: movq %rsi, (%rax) |
| ; AVX2-NEXT: movq %rdx, 8(%rax) |
| ; AVX2-NEXT: movq %rcx, 16(%rax) |
| ; AVX2-NEXT: movq %r8, 24(%rax) |
| ; AVX2-NEXT: movq %r9, 32(%rax) |
| ; AVX2-NEXT: movq %rdi, 40(%rax) |
| ; AVX2-NEXT: movq %r11, 48(%rax) |
| ; AVX2-NEXT: movq %rbx, 56(%rax) |
| ; AVX2-NEXT: popq %rbx |
| ; AVX2-NEXT: retq |
| ; |
| ; AVX512F-LABEL: test_add_i512_reg_mem: |
| ; AVX512F: # %bb.0: |
| ; AVX512F-NEXT: pushq %rbx |
| ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %r10 |
| ; AVX512F-NEXT: addq (%r10), %rsi |
| ; AVX512F-NEXT: adcq 8(%r10), %rdx |
| ; AVX512F-NEXT: adcq 16(%r10), %rcx |
| ; AVX512F-NEXT: adcq 24(%r10), %r8 |
| ; AVX512F-NEXT: movq %rdi, %rax |
| ; AVX512F-NEXT: adcq 32(%r10), %r9 |
| ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %rdi |
| ; AVX512F-NEXT: adcq 40(%r10), %rdi |
| ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %r11 |
| ; AVX512F-NEXT: adcq 48(%r10), %r11 |
| ; AVX512F-NEXT: movq {{[0-9]+}}(%rsp), %rbx |
| ; AVX512F-NEXT: adcq 56(%r10), %rbx |
| ; AVX512F-NEXT: movq %rsi, (%rax) |
| ; AVX512F-NEXT: movq %rdx, 8(%rax) |
| ; AVX512F-NEXT: movq %rcx, 16(%rax) |
| ; AVX512F-NEXT: movq %r8, 24(%rax) |
| ; AVX512F-NEXT: movq %r9, 32(%rax) |
| ; AVX512F-NEXT: movq %rdi, 40(%rax) |
| ; AVX512F-NEXT: movq %r11, 48(%rax) |
| ; AVX512F-NEXT: movq %rbx, 56(%rax) |
| ; AVX512F-NEXT: popq %rbx |
| ; AVX512F-NEXT: retq |
| ; |
| ; AVX512VL-LABEL: test_add_i512_reg_mem: |
| ; AVX512VL: # %bb.0: |
| ; AVX512VL-NEXT: pushq %rbx |
| ; AVX512VL-NEXT: movq %rdi, %rax |
| ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %rdi |
| ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %r10 |
| ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %r11 |
| ; AVX512VL-NEXT: movq {{[0-9]+}}(%rsp), %rbx |
| ; AVX512VL-NEXT: addq (%rbx), %rsi |
| ; AVX512VL-NEXT: adcq 8(%rbx), %rdx |
| ; AVX512VL-NEXT: adcq 16(%rbx), %rcx |
| ; AVX512VL-NEXT: adcq 24(%rbx), %r8 |
| ; AVX512VL-NEXT: adcq 32(%rbx), %r9 |
| ; AVX512VL-NEXT: adcq 40(%rbx), %r11 |
| ; AVX512VL-NEXT: adcq 48(%rbx), %rdi |
| ; AVX512VL-NEXT: adcq 56(%rbx), %r10 |
| ; AVX512VL-NEXT: movq %rsi, (%rax) |
| ; AVX512VL-NEXT: movq %rdx, 8(%rax) |
| ; AVX512VL-NEXT: movq %rcx, 16(%rax) |
| ; AVX512VL-NEXT: movq %r8, 24(%rax) |
| ; AVX512VL-NEXT: movq %r9, 32(%rax) |
| ; AVX512VL-NEXT: movq %r11, 40(%rax) |
| ; AVX512VL-NEXT: movq %rdi, 48(%rax) |
| ; AVX512VL-NEXT: movq %r10, 56(%rax) |
| ; AVX512VL-NEXT: popq %rbx |
| ; AVX512VL-NEXT: retq |
| %a1 = load i512, ptr %p1 |
| %r = add i512 %a0, %a1 |
| ret i512 %r |
| } |
| |
| define i512 @test_add_i512_mem_reg(ptr %p0, i512 %a1) nounwind { |
| ; SSE-LABEL: test_add_i512_mem_reg: |
| ; SSE: # %bb.0: |
| ; SSE-NEXT: addq (%rsi), %rdx |
| ; SSE-NEXT: adcq 8(%rsi), %rcx |
| ; SSE-NEXT: movq %rdi, %rax |
| ; SSE-NEXT: adcq 16(%rsi), %r8 |
| ; SSE-NEXT: movq 56(%rsi), %rdi |
| ; SSE-NEXT: adcq 24(%rsi), %r9 |
| ; SSE-NEXT: movq 32(%rsi), %r10 |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %r10 |
| ; SSE-NEXT: movq 40(%rsi), %r11 |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %r11 |
| ; SSE-NEXT: movq 48(%rsi), %rsi |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %rsi |
| ; SSE-NEXT: adcq {{[0-9]+}}(%rsp), %rdi |
| ; SSE-NEXT: movq %rdx, (%rax) |
| ; SSE-NEXT: movq %rcx, 8(%rax) |
| ; SSE-NEXT: movq %r8, 16(%rax) |
| ; SSE-NEXT: movq %r9, 24(%rax) |
| ; SSE-NEXT: movq %r10, 32(%rax) |
| ; SSE-NEXT: movq %r11, 40(%rax) |
| ; SSE-NEXT: movq %rsi, 48(%rax) |
| ; SSE-NEXT: movq %rdi, 56(%rax) |
| ; SSE-NEXT: retq |
| ; |
| ; AVX2-LABEL: test_add_i512_mem_reg: |
| ; AVX2: # %bb.0: |
| ; AVX2-NEXT: addq (%rsi), %rdx |
| ; AVX2-NEXT: adcq 8(%rsi), %rcx |
| ; AVX2-NEXT: adcq 16(%rsi), %r8 |
| ; AVX2-NEXT: movq %rdi, %rax |
| ; AVX2-NEXT: adcq 24(%rsi), %r9 |
| ; AVX2-NEXT: movq 32(%rsi), %rdi |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %rdi |
| ; AVX2-NEXT: movq 40(%rsi), %r10 |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %r10 |
| ; AVX2-NEXT: movq 48(%rsi), %r11 |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %r11 |
| ; AVX2-NEXT: movq 56(%rsi), %rsi |
| ; AVX2-NEXT: adcq {{[0-9]+}}(%rsp), %rsi |
| ; AVX2-NEXT: movq %rdx, (%rax) |
| ; AVX2-NEXT: movq %rcx, 8(%rax) |
| ; AVX2-NEXT: movq %r8, 16(%rax) |
| ; AVX2-NEXT: movq %r9, 24(%rax) |
| ; AVX2-NEXT: movq %rdi, 32(%rax) |
| ; AVX2-NEXT: movq %r10, 40(%rax) |
| ; AVX2-NEXT: movq %r11, 48(%rax) |
| ; AVX2-NEXT: movq %rsi, 56(%rax) |
| ; AVX2-NEXT: retq |
| ; |
| ; AVX512F-LABEL: test_add_i512_mem_reg: |
| ; AVX512F: # %bb.0: |
| ; AVX512F-NEXT: addq (%rsi), %rdx |
| ; AVX512F-NEXT: adcq 8(%rsi), %rcx |
| ; AVX512F-NEXT: adcq 16(%rsi), %r8 |
| ; AVX512F-NEXT: movq %rdi, %rax |
| ; AVX512F-NEXT: adcq 24(%rsi), %r9 |
| ; AVX512F-NEXT: movq 32(%rsi), %rdi |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %rdi |
| ; AVX512F-NEXT: movq 40(%rsi), %r10 |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %r10 |
| ; AVX512F-NEXT: movq 48(%rsi), %r11 |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %r11 |
| ; AVX512F-NEXT: movq 56(%rsi), %rsi |
| ; AVX512F-NEXT: adcq {{[0-9]+}}(%rsp), %rsi |
| ; AVX512F-NEXT: movq %rdx, (%rax) |
| ; AVX512F-NEXT: movq %rcx, 8(%rax) |
| ; AVX512F-NEXT: movq %r8, 16(%rax) |
| ; AVX512F-NEXT: movq %r9, 24(%rax) |
| ; AVX512F-NEXT: movq %rdi, 32(%rax) |
| ; AVX512F-NEXT: movq %r10, 40(%rax) |
| ; AVX512F-NEXT: movq %r11, 48(%rax) |
| ; AVX512F-NEXT: movq %rsi, 56(%rax) |
| ; AVX512F-NEXT: retq |
| ; |
| ; AVX512VL-LABEL: test_add_i512_mem_reg: |
| ; AVX512VL: # %bb.0: |
| ; AVX512VL-NEXT: pushq %rbx |
| ; AVX512VL-NEXT: movq %rdi, %rax |
| ; AVX512VL-NEXT: movq 56(%rsi), %rdi |
| ; AVX512VL-NEXT: movq 48(%rsi), %r10 |
| ; AVX512VL-NEXT: movq 32(%rsi), %r11 |
| ; AVX512VL-NEXT: movq 40(%rsi), %rbx |
| ; AVX512VL-NEXT: addq (%rsi), %rdx |
| ; AVX512VL-NEXT: adcq 8(%rsi), %rcx |
| ; AVX512VL-NEXT: adcq 16(%rsi), %r8 |
| ; AVX512VL-NEXT: adcq 24(%rsi), %r9 |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %r11 |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %rbx |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %r10 |
| ; AVX512VL-NEXT: adcq {{[0-9]+}}(%rsp), %rdi |
| ; AVX512VL-NEXT: movq %rdx, (%rax) |
| ; AVX512VL-NEXT: movq %rcx, 8(%rax) |
| ; AVX512VL-NEXT: movq %r8, 16(%rax) |
| ; AVX512VL-NEXT: movq %r9, 24(%rax) |
| ; AVX512VL-NEXT: movq %r11, 32(%rax) |
| ; AVX512VL-NEXT: movq %rbx, 40(%rax) |
| ; AVX512VL-NEXT: movq %r10, 48(%rax) |
| ; AVX512VL-NEXT: movq %rdi, 56(%rax) |
| ; AVX512VL-NEXT: popq %rbx |
| ; AVX512VL-NEXT: retq |
| %a0 = load i512, ptr %p0 |
| %r = add i512 %a0, %a1 |
| ret i512 %r |
| } |
| |
| define i512 @test_inc_i512_mem(ptr %p0) nounwind { |
| ; SSE-LABEL: test_inc_i512_mem: |
| ; SSE: # %bb.0: |
| ; SSE-NEXT: movq %rdi, %rax |
| ; SSE-NEXT: movq 48(%rsi), %rcx |
| ; SSE-NEXT: movq 40(%rsi), %rdx |
| ; SSE-NEXT: movq 32(%rsi), %rdi |
| ; SSE-NEXT: movq 24(%rsi), %r8 |
| ; SSE-NEXT: movq 16(%rsi), %r9 |
| ; SSE-NEXT: movq (%rsi), %r10 |
| ; SSE-NEXT: movq 8(%rsi), %r11 |
| ; SSE-NEXT: addq $1, %r10 |
| ; SSE-NEXT: adcq $0, %r11 |
| ; SSE-NEXT: adcq $0, %r9 |
| ; SSE-NEXT: adcq $0, %r8 |
| ; SSE-NEXT: adcq $0, %rdi |
| ; SSE-NEXT: adcq $0, %rdx |
| ; SSE-NEXT: adcq $0, %rcx |
| ; SSE-NEXT: movq 56(%rsi), %rsi |
| ; SSE-NEXT: adcq $0, %rsi |
| ; SSE-NEXT: movq %r10, (%rax) |
| ; SSE-NEXT: movq %r11, 8(%rax) |
| ; SSE-NEXT: movq %r9, 16(%rax) |
| ; SSE-NEXT: movq %r8, 24(%rax) |
| ; SSE-NEXT: movq %rdi, 32(%rax) |
| ; SSE-NEXT: movq %rdx, 40(%rax) |
| ; SSE-NEXT: movq %rcx, 48(%rax) |
| ; SSE-NEXT: movq %rsi, 56(%rax) |
| ; SSE-NEXT: retq |
| ; |
| ; AVX2-LABEL: test_inc_i512_mem: |
| ; AVX2: # %bb.0: |
| ; AVX2-NEXT: movq %rdi, %rax |
| ; AVX2-NEXT: movq 56(%rsi), %rcx |
| ; AVX2-NEXT: movq 48(%rsi), %rdx |
| ; AVX2-NEXT: movq 40(%rsi), %rdi |
| ; AVX2-NEXT: movq 32(%rsi), %r8 |
| ; AVX2-NEXT: movq 24(%rsi), %r9 |
| ; AVX2-NEXT: movq 16(%rsi), %r10 |
| ; AVX2-NEXT: movq (%rsi), %r11 |
| ; AVX2-NEXT: movq 8(%rsi), %rsi |
| ; AVX2-NEXT: addq $1, %r11 |
| ; AVX2-NEXT: adcq $0, %rsi |
| ; AVX2-NEXT: adcq $0, %r10 |
| ; AVX2-NEXT: adcq $0, %r9 |
| ; AVX2-NEXT: adcq $0, %r8 |
| ; AVX2-NEXT: adcq $0, %rdi |
| ; AVX2-NEXT: adcq $0, %rdx |
| ; AVX2-NEXT: adcq $0, %rcx |
| ; AVX2-NEXT: movq %r11, (%rax) |
| ; AVX2-NEXT: movq %rsi, 8(%rax) |
| ; AVX2-NEXT: movq %r10, 16(%rax) |
| ; AVX2-NEXT: movq %r9, 24(%rax) |
| ; AVX2-NEXT: movq %r8, 32(%rax) |
| ; AVX2-NEXT: movq %rdi, 40(%rax) |
| ; AVX2-NEXT: movq %rdx, 48(%rax) |
| ; AVX2-NEXT: movq %rcx, 56(%rax) |
| ; AVX2-NEXT: retq |
| ; |
| ; AVX512F-LABEL: test_inc_i512_mem: |
| ; AVX512F: # %bb.0: |
| ; AVX512F-NEXT: movq %rdi, %rax |
| ; AVX512F-NEXT: vmovdqu64 (%rsi), %zmm0 |
| ; AVX512F-NEXT: vpternlogd {{.*#+}} zmm1 = -1 |
| ; AVX512F-NEXT: vpsubq %zmm1, %zmm0, %zmm1 |
| ; AVX512F-NEXT: vpcmpnleuq %zmm0, %zmm1, %k0 |
| ; AVX512F-NEXT: kmovw %k0, %ecx |
| ; AVX512F-NEXT: vptestnmq %zmm1, %zmm1, %k0 |
| ; AVX512F-NEXT: kmovw %k0, %edx |
| ; AVX512F-NEXT: movzbl %dl, %edx |
| ; AVX512F-NEXT: leal (%rdx,%rcx,2), %ecx |
| ; AVX512F-NEXT: xorl %edx, %ecx |
| ; AVX512F-NEXT: kmovw %ecx, %k1 |
| ; AVX512F-NEXT: vmovdqa64 %zmm0, %zmm1 {%k1} |
| ; AVX512F-NEXT: vmovdqu64 %zmm1, (%rdi) |
| ; AVX512F-NEXT: retq |
| ; |
| ; AVX512VL-LABEL: test_inc_i512_mem: |
| ; AVX512VL: # %bb.0: |
| ; AVX512VL-NEXT: movq %rdi, %rax |
| ; AVX512VL-NEXT: vmovdqu64 (%rsi), %zmm0 |
| ; AVX512VL-NEXT: vpternlogd {{.*#+}} zmm1 = -1 |
| ; AVX512VL-NEXT: vpsubq %zmm1, %zmm0, %zmm1 |
| ; AVX512VL-NEXT: vpcmpnleuq %zmm0, %zmm1, %k0 |
| ; AVX512VL-NEXT: kmovd %k0, %ecx |
| ; AVX512VL-NEXT: vptestnmq %zmm1, %zmm1, %k0 |
| ; AVX512VL-NEXT: kmovb %k0, %edx |
| ; AVX512VL-NEXT: leal (%rdx,%rcx,2), %ecx |
| ; AVX512VL-NEXT: xorl %edx, %ecx |
| ; AVX512VL-NEXT: kmovd %ecx, %k1 |
| ; AVX512VL-NEXT: vmovdqa64 %zmm0, %zmm1 {%k1} |
| ; AVX512VL-NEXT: vmovdqu64 %zmm1, (%rdi) |
| ; AVX512VL-NEXT: vzeroupper |
| ; AVX512VL-NEXT: retq |
| %a0 = load i512, ptr %p0 |
| %r = add i512 %a0, 1 |
| ret i512 %r |
| } |
| |
| define i512 @test_add_i512_mem_mem(ptr %p0, ptr %p1) nounwind { |
| ; SSE-LABEL: test_add_i512_mem_mem: |
| ; SSE: # %bb.0: |
| ; SSE-NEXT: pushq %rbx |
| ; SSE-NEXT: movq %rdi, %rax |
| ; SSE-NEXT: movq 56(%rsi), %rcx |
| ; SSE-NEXT: movq (%rsi), %rdi |
| ; SSE-NEXT: addq (%rdx), %rdi |
| ; SSE-NEXT: movq 8(%rsi), %r8 |
| ; SSE-NEXT: adcq 8(%rdx), %r8 |
| ; SSE-NEXT: movq 16(%rsi), %r9 |
| ; SSE-NEXT: adcq 16(%rdx), %r9 |
| ; SSE-NEXT: movq 24(%rsi), %r10 |
| ; SSE-NEXT: adcq 24(%rdx), %r10 |
| ; SSE-NEXT: movq 32(%rsi), %r11 |
| ; SSE-NEXT: adcq 32(%rdx), %r11 |
| ; SSE-NEXT: movq 40(%rsi), %rbx |
| ; SSE-NEXT: adcq 40(%rdx), %rbx |
| ; SSE-NEXT: movq 48(%rsi), %rsi |
| ; SSE-NEXT: adcq 48(%rdx), %rsi |
| ; SSE-NEXT: adcq 56(%rdx), %rcx |
| ; SSE-NEXT: movq %rdi, (%rax) |
| ; SSE-NEXT: movq %r8, 8(%rax) |
| ; SSE-NEXT: movq %r9, 16(%rax) |
| ; SSE-NEXT: movq %r10, 24(%rax) |
| ; SSE-NEXT: movq %r11, 32(%rax) |
| ; SSE-NEXT: movq %rbx, 40(%rax) |
| ; SSE-NEXT: movq %rsi, 48(%rax) |
| ; SSE-NEXT: movq %rcx, 56(%rax) |
| ; SSE-NEXT: popq %rbx |
| ; SSE-NEXT: retq |
| ; |
| ; AVX2-LABEL: test_add_i512_mem_mem: |
| ; AVX2: # %bb.0: |
| ; AVX2-NEXT: pushq %rbx |
| ; AVX2-NEXT: movq %rdi, %rax |
| ; AVX2-NEXT: movq (%rsi), %rcx |
| ; AVX2-NEXT: addq (%rdx), %rcx |
| ; AVX2-NEXT: movq 8(%rsi), %rdi |
| ; AVX2-NEXT: adcq 8(%rdx), %rdi |
| ; AVX2-NEXT: movq 16(%rsi), %r8 |
| ; AVX2-NEXT: adcq 16(%rdx), %r8 |
| ; AVX2-NEXT: movq 24(%rsi), %r9 |
| ; AVX2-NEXT: adcq 24(%rdx), %r9 |
| ; AVX2-NEXT: movq 32(%rsi), %r10 |
| ; AVX2-NEXT: adcq 32(%rdx), %r10 |
| ; AVX2-NEXT: movq 40(%rsi), %r11 |
| ; AVX2-NEXT: adcq 40(%rdx), %r11 |
| ; AVX2-NEXT: movq 48(%rsi), %rbx |
| ; AVX2-NEXT: adcq 48(%rdx), %rbx |
| ; AVX2-NEXT: movq 56(%rsi), %rsi |
| ; AVX2-NEXT: adcq 56(%rdx), %rsi |
| ; AVX2-NEXT: movq %rcx, (%rax) |
| ; AVX2-NEXT: movq %rdi, 8(%rax) |
| ; AVX2-NEXT: movq %r8, 16(%rax) |
| ; AVX2-NEXT: movq %r9, 24(%rax) |
| ; AVX2-NEXT: movq %r10, 32(%rax) |
| ; AVX2-NEXT: movq %r11, 40(%rax) |
| ; AVX2-NEXT: movq %rbx, 48(%rax) |
| ; AVX2-NEXT: movq %rsi, 56(%rax) |
| ; AVX2-NEXT: popq %rbx |
| ; AVX2-NEXT: retq |
| ; |
| ; AVX512F-LABEL: test_add_i512_mem_mem: |
| ; AVX512F: # %bb.0: |
| ; AVX512F-NEXT: movq %rdi, %rax |
| ; AVX512F-NEXT: vmovdqu64 (%rsi), %zmm0 |
| ; AVX512F-NEXT: vpaddq (%rdx), %zmm0, %zmm1 |
| ; AVX512F-NEXT: vpcmpltuq %zmm0, %zmm1, %k0 |
| ; AVX512F-NEXT: kmovw %k0, %ecx |
| ; AVX512F-NEXT: vpternlogd {{.*#+}} zmm0 = -1 |
| ; AVX512F-NEXT: vpcmpeqq %zmm0, %zmm1, %k0 |
| ; AVX512F-NEXT: kmovw %k0, %edx |
| ; AVX512F-NEXT: movzbl %dl, %edx |
| ; AVX512F-NEXT: leal (%rdx,%rcx,2), %ecx |
| ; AVX512F-NEXT: xorl %edx, %ecx |
| ; AVX512F-NEXT: kmovw %ecx, %k1 |
| ; AVX512F-NEXT: vpsubq %zmm0, %zmm1, %zmm1 {%k1} |
| ; AVX512F-NEXT: vmovdqu64 %zmm1, (%rdi) |
| ; AVX512F-NEXT: retq |
| ; |
| ; AVX512VL-LABEL: test_add_i512_mem_mem: |
| ; AVX512VL: # %bb.0: |
| ; AVX512VL-NEXT: vmovdqu64 (%rsi), %zmm0 |
| ; AVX512VL-NEXT: movq %rdi, %rax |
| ; AVX512VL-NEXT: vpaddq (%rdx), %zmm0, %zmm1 |
| ; AVX512VL-NEXT: vpcmpltuq %zmm0, %zmm1, %k0 |
| ; AVX512VL-NEXT: kmovd %k0, %ecx |
| ; AVX512VL-NEXT: vpternlogd {{.*#+}} zmm0 = -1 |
| ; AVX512VL-NEXT: vpcmpeqq %zmm0, %zmm1, %k0 |
| ; AVX512VL-NEXT: kmovb %k0, %edx |
| ; AVX512VL-NEXT: leal (%rdx,%rcx,2), %ecx |
| ; AVX512VL-NEXT: xorl %edx, %ecx |
| ; AVX512VL-NEXT: kmovd %ecx, %k1 |
| ; AVX512VL-NEXT: vpsubq %zmm0, %zmm1, %zmm1 {%k1} |
| ; AVX512VL-NEXT: vmovdqu64 %zmm1, (%rdi) |
| ; AVX512VL-NEXT: vzeroupper |
| ; AVX512VL-NEXT: retq |
| %a0 = load i512, ptr %p0 |
| %a1 = load i512, ptr %p1 |
| %r = add i512 %a0, %a1 |
| ret i512 %r |
| } |
| |
| define void @test_inc_i512_rmw(ptr %p0) nounwind { |
| ; CHECK-LABEL: test_inc_i512_rmw: |
| ; CHECK: # %bb.0: |
| ; CHECK-NEXT: addq $1, (%rdi) |
| ; CHECK-NEXT: adcq $0, 8(%rdi) |
| ; CHECK-NEXT: adcq $0, 16(%rdi) |
| ; CHECK-NEXT: adcq $0, 24(%rdi) |
| ; CHECK-NEXT: adcq $0, 32(%rdi) |
| ; CHECK-NEXT: adcq $0, 40(%rdi) |
| ; CHECK-NEXT: adcq $0, 48(%rdi) |
| ; CHECK-NEXT: adcq $0, 56(%rdi) |
| ; CHECK-NEXT: retq |
| ; |
| ; AVX512F-LABEL: test_inc_i512_rmw: |
| ; AVX512F: # %bb.0: |
| ; AVX512F-NEXT: vmovdqu64 (%rdi), %zmm0 |
| ; AVX512F-NEXT: vpternlogd {{.*#+}} zmm1 = -1 |
| ; AVX512F-NEXT: vpsubq %zmm1, %zmm0, %zmm1 |
| ; AVX512F-NEXT: vpcmpnleuq %zmm0, %zmm1, %k0 |
| ; AVX512F-NEXT: kmovw %k0, %eax |
| ; AVX512F-NEXT: vptestnmq %zmm1, %zmm1, %k0 |
| ; AVX512F-NEXT: kmovw %k0, %ecx |
| ; AVX512F-NEXT: movzbl %cl, %ecx |
| ; AVX512F-NEXT: leal (%rcx,%rax,2), %eax |
| ; AVX512F-NEXT: xorl %ecx, %eax |
| ; AVX512F-NEXT: kmovw %eax, %k0 |
| ; AVX512F-NEXT: knotw %k0, %k1 |
| ; AVX512F-NEXT: vmovdqu64 %zmm1, (%rdi) {%k1} |
| ; AVX512F-NEXT: retq |
| ; |
| ; AVX512VL-LABEL: test_inc_i512_rmw: |
| ; AVX512VL: # %bb.0: |
| ; AVX512VL-NEXT: vmovdqu64 (%rdi), %zmm0 |
| ; AVX512VL-NEXT: vpternlogd {{.*#+}} zmm1 = -1 |
| ; AVX512VL-NEXT: vpsubq %zmm1, %zmm0, %zmm1 |
| ; AVX512VL-NEXT: vpcmpnleuq %zmm0, %zmm1, %k0 |
| ; AVX512VL-NEXT: kmovd %k0, %eax |
| ; AVX512VL-NEXT: vptestnmq %zmm1, %zmm1, %k0 |
| ; AVX512VL-NEXT: kmovb %k0, %ecx |
| ; AVX512VL-NEXT: leal (%rcx,%rax,2), %eax |
| ; AVX512VL-NEXT: xorl %ecx, %eax |
| ; AVX512VL-NEXT: kmovd %eax, %k0 |
| ; AVX512VL-NEXT: knotb %k0, %k1 |
| ; AVX512VL-NEXT: vmovdqu64 %zmm1, (%rdi) {%k1} |
| ; AVX512VL-NEXT: vzeroupper |
| ; AVX512VL-NEXT: retq |
| %a0 = load i512, ptr %p0 |
| %r = add i512 %a0, 1 |
| store i512 %r, ptr %p0 |
| ret void |
| } |
| |
| define void @test_add_i512_rmw(ptr %p0) nounwind { |
| ; CHECK-LABEL: test_add_i512_rmw: |
| ; CHECK: # %bb.0: |
| ; CHECK-NEXT: addq $9, (%rdi) |
| ; CHECK-NEXT: adcq $0, 8(%rdi) |
| ; CHECK-NEXT: adcq $0, 16(%rdi) |
| ; CHECK-NEXT: adcq $0, 24(%rdi) |
| ; CHECK-NEXT: adcq $0, 32(%rdi) |
| ; CHECK-NEXT: adcq $0, 40(%rdi) |
| ; CHECK-NEXT: adcq $0, 48(%rdi) |
| ; CHECK-NEXT: adcq $0, 56(%rdi) |
| ; CHECK-NEXT: retq |
| ; |
| ; AVX512F-LABEL: test_add_i512_rmw: |
| ; AVX512F: # %bb.0: |
| ; AVX512F-NEXT: vmovdqu64 (%rdi), %zmm0 |
| ; AVX512F-NEXT: vmovd {{.*#+}} xmm1 = [9,0,0,0] |
| ; AVX512F-NEXT: vpaddq %zmm1, %zmm0, %zmm1 |
| ; AVX512F-NEXT: vpcmpltuq %zmm0, %zmm1, %k0 |
| ; AVX512F-NEXT: kmovw %k0, %eax |
| ; AVX512F-NEXT: vpternlogd {{.*#+}} zmm2 = -1 |
| ; AVX512F-NEXT: vpcmpeqq %zmm2, %zmm1, %k0 |
| ; AVX512F-NEXT: kmovw %k0, %ecx |
| ; AVX512F-NEXT: movzbl %cl, %ecx |
| ; AVX512F-NEXT: leal (%rcx,%rax,2), %eax |
| ; AVX512F-NEXT: xorl %ecx, %eax |
| ; AVX512F-NEXT: kmovw %eax, %k1 |
| ; AVX512F-NEXT: vpaddq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %zmm0, %zmm1 {%k1} |
| ; AVX512F-NEXT: vmovdqu64 %zmm1, (%rdi) |
| ; AVX512F-NEXT: retq |
| ; |
| ; AVX512VL-LABEL: test_add_i512_rmw: |
| ; AVX512VL: # %bb.0: |
| ; AVX512VL-NEXT: vmovdqu64 (%rdi), %zmm0 |
| ; AVX512VL-NEXT: vmovd {{.*#+}} xmm1 = [9,0,0,0] |
| ; AVX512VL-NEXT: vpaddq %zmm1, %zmm0, %zmm1 |
| ; AVX512VL-NEXT: vpcmpltuq %zmm0, %zmm1, %k0 |
| ; AVX512VL-NEXT: kmovd %k0, %eax |
| ; AVX512VL-NEXT: vpternlogd {{.*#+}} zmm2 = -1 |
| ; AVX512VL-NEXT: vpcmpeqq %zmm2, %zmm1, %k0 |
| ; AVX512VL-NEXT: kmovb %k0, %ecx |
| ; AVX512VL-NEXT: leal (%rcx,%rax,2), %eax |
| ; AVX512VL-NEXT: xorl %ecx, %eax |
| ; AVX512VL-NEXT: kmovd %eax, %k1 |
| ; AVX512VL-NEXT: vpaddq {{\.?LCPI[0-9]+_[0-9]+}}(%rip), %zmm0, %zmm1 {%k1} |
| ; AVX512VL-NEXT: vmovdqu64 %zmm1, (%rdi) |
| ; AVX512VL-NEXT: vzeroupper |
| ; AVX512VL-NEXT: retq |
| %a0 = load i512, ptr %p0 |
| %r = add i512 %a0, 9 |
| store i512 %r, ptr %p0 |
| ret void |
| } |
| ;; NOTE: These prefixes are unused and the list is autogenerated. Do not add tests below this line: |
| ; AVX512: {{.*}} |
