| ; RUN: opt -passes=lower-expect -S -o - < %s | FileCheck %s |
| ; RUN: opt -S -passes='function(lower-expect)' < %s | FileCheck %s |
| |
| ; The C case |
| ; if (__builtin_expect((x > goo() && y > hoo() && z > too()), 1)) |
| ; For the above case, all 3 branches should be annotated. |
| ; |
| ; if (__builtin_expect((x > goo() && y > hoo() && z > too()), 0)) |
| ; For the above case, we don't have enough information, so |
| ; only the last branch is annotated. |
| |
| define void @foo(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) { |
| ; CHECK-LABEL: void @foo |
| bb: |
| %tmp8 = call i32 @goo() |
| %tmp9 = icmp sgt i32 %tmp8, %arg |
| br i1 %tmp9, label %bb10, label %bb18 |
| ; CHECK: !prof [[WEIGHT:![0-9]+]] |
| |
| bb10: ; preds = %bb |
| %tmp12 = call i32 @hoo() |
| %tmp13 = icmp sgt i32 %arg1, %tmp12 |
| br i1 %tmp13, label %bb14, label %bb18 |
| ; CHECK: br i1 %tmp13, {{.*}}!prof [[WEIGHT]] |
| |
| bb14: ; preds = %bb10 |
| %tmp16 = call i32 @too() |
| %tmp17 = icmp sgt i32 %arg2, %tmp16 |
| br label %bb18 |
| |
| bb18: ; preds = %bb14, %bb10, %bb |
| %tmp19 = phi i1 [ false, %bb10 ], [ false, %bb ], [ %tmp17, %bb14 ] |
| %tmp20 = xor i1 %tmp19, true |
| %tmp21 = xor i1 %tmp20, true |
| %tmp22 = zext i1 %tmp21 to i32 |
| %tmp23 = sext i32 %tmp22 to i64 |
| %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 1) |
| %tmp25 = icmp ne i64 %tmp24, 0 |
| br i1 %tmp25, label %bb26, label %bb28 |
| ; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]] |
| |
| bb26: ; preds = %bb18 |
| %tmp27 = call i32 @goo() |
| br label %bb30 |
| |
| bb28: ; preds = %bb18 |
| %tmp29 = call i32 @hoo() |
| br label %bb30 |
| |
| bb30: ; preds = %bb28, %bb26 |
| ret void |
| } |
| |
| define void @foo2(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) { |
| ; CHECK-LABEL: void @foo2 |
| bb: |
| %tmp8 = call i32 @goo() |
| %tmp9 = icmp sgt i32 %tmp8, %arg |
| br i1 %tmp9, label %bb10, label %bb18 |
| ; CHECK: br i1 %tmp9 |
| ; CHECK-NOT: !prof |
| |
| bb10: ; preds = %bb |
| %tmp12 = call i32 @hoo() |
| %tmp13 = icmp sgt i32 %arg1, %tmp12 |
| br i1 %tmp13, label %bb14, label %bb18 |
| ; CHECK: br i1 %tmp13 |
| ; CHECK-NOT: !prof |
| |
| bb14: ; preds = %bb10 |
| %tmp16 = call i32 @too() |
| %tmp17 = icmp sgt i32 %arg2, %tmp16 |
| br label %bb18 |
| |
| bb18: ; preds = %bb14, %bb10, %bb |
| %tmp19 = phi i1 [ false, %bb10 ], [ false, %bb ], [ %tmp17, %bb14 ] |
| %tmp20 = xor i1 %tmp19, true |
| %tmp21 = xor i1 %tmp20, true |
| %tmp22 = zext i1 %tmp21 to i32 |
| %tmp23 = sext i32 %tmp22 to i64 |
| %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 0) |
| %tmp25 = icmp ne i64 %tmp24, 0 |
| br i1 %tmp25, label %bb26, label %bb28 |
| ; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT2:![0-9]+]] |
| |
| bb26: ; preds = %bb18 |
| %tmp27 = call i32 @goo() |
| br label %bb30 |
| |
| bb28: ; preds = %bb18 |
| %tmp29 = call i32 @hoo() |
| br label %bb30 |
| |
| bb30: ; preds = %bb28, %bb26 |
| ret void |
| } |
| |
| define void @foo_i32(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) { |
| ; CHECK-LABEL: void @foo_i32 |
| bb: |
| %tmp8 = call i32 @goo() |
| %tmp9 = icmp sgt i32 %tmp8, %arg |
| br i1 %tmp9, label %bb10, label %bb18 |
| ; CHECK: !prof [[WEIGHT]] |
| |
| bb10: ; preds = %bb |
| %tmp12 = call i32 @hoo() |
| %tmp13 = icmp sgt i32 %arg1, %tmp12 |
| br i1 %tmp13, label %bb14, label %bb18 |
| ; CHECK: br i1 %tmp13, {{.*}}!prof [[WEIGHT]] |
| |
| bb14: ; preds = %bb10 |
| %tmp16 = call i32 @too() |
| %tmp17 = icmp sgt i32 %arg2, %tmp16 |
| br label %bb18 |
| |
| bb18: ; preds = %bb14, %bb10, %bb |
| %tmp19 = phi i32 [ 5, %bb10 ], [ 5, %bb ], [ %tmp16, %bb14 ] |
| %tmp23 = sext i32 %tmp19 to i64 |
| %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4) |
| %tmp25 = icmp ne i64 %tmp24, 0 |
| br i1 %tmp25, label %bb26, label %bb28 |
| ; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]] |
| |
| bb26: ; preds = %bb18 |
| %tmp27 = call i32 @goo() |
| br label %bb30 |
| |
| bb28: ; preds = %bb18 |
| %tmp29 = call i32 @hoo() |
| br label %bb30 |
| |
| bb30: ; preds = %bb28, %bb26 |
| ret void |
| } |
| |
| |
| define void @foo_i32_not_unlikely(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) { |
| ; CHECK-LABEL: void @foo_i32_not_unlikely |
| bb: |
| %tmp8 = call i32 @goo() |
| %tmp9 = icmp sgt i32 %tmp8, %arg |
| br i1 %tmp9, label %bb10, label %bb18 |
| ; CHECK: br i1 %tmp9 |
| ; CHECK-NOT: !prof |
| |
| bb10: ; preds = %bb |
| %tmp12 = call i32 @hoo() |
| %tmp13 = icmp sgt i32 %arg1, %tmp12 |
| br i1 %tmp13, label %bb14, label %bb18 |
| ; CHECK: br i1 %tmp13 |
| ; CHECK-NOT: !prof |
| |
| bb14: ; preds = %bb10 |
| %tmp16 = call i32 @too() |
| %tmp17 = icmp sgt i32 %arg2, %tmp16 |
| br label %bb18 |
| |
| bb18: ; preds = %bb14, %bb10, %bb |
| %tmp19 = phi i32 [ 4, %bb10 ], [ 4, %bb ], [ %tmp16, %bb14 ] |
| %tmp23 = sext i32 %tmp19 to i64 |
| %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4) |
| %tmp25 = icmp ne i64 %tmp24, 0 |
| br i1 %tmp25, label %bb26, label %bb28 |
| ; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]] |
| |
| bb26: ; preds = %bb18 |
| %tmp27 = call i32 @goo() |
| br label %bb30 |
| |
| bb28: ; preds = %bb18 |
| %tmp29 = call i32 @hoo() |
| br label %bb30 |
| |
| bb30: ; preds = %bb28, %bb26 |
| ret void |
| } |
| |
| define void @foo_i32_xor(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) { |
| ; CHECK-LABEL: void @foo_i32_xor |
| bb: |
| %tmp8 = call i32 @goo() |
| %tmp9 = icmp sgt i32 %tmp8, %arg |
| br i1 %tmp9, label %bb10, label %bb18 |
| ; CHECK: br i1 %tmp9,{{.*}}!prof [[WEIGHT]] |
| |
| bb10: ; preds = %bb |
| %tmp12 = call i32 @hoo() |
| %tmp13 = icmp sgt i32 %arg1, %tmp12 |
| br i1 %tmp13, label %bb14, label %bb18 |
| ; CHECK: br i1 %tmp13,{{.*}}!prof [[WEIGHT]] |
| |
| bb14: ; preds = %bb10 |
| %tmp16 = call i32 @too() |
| %tmp17 = icmp sgt i32 %arg2, %tmp16 |
| br label %bb18 |
| |
| bb18: ; preds = %bb14, %bb10, %bb |
| %tmp19 = phi i32 [ 6, %bb10 ], [ 6, %bb ], [ %tmp16, %bb14 ] |
| %tmp20 = xor i32 %tmp19, 3 |
| %tmp23 = sext i32 %tmp20 to i64 |
| %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4) |
| %tmp25 = icmp ne i64 %tmp24, 0 |
| br i1 %tmp25, label %bb26, label %bb28 |
| ; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]] |
| |
| bb26: ; preds = %bb18 |
| %tmp27 = call i32 @goo() |
| br label %bb30 |
| |
| bb28: ; preds = %bb18 |
| %tmp29 = call i32 @hoo() |
| br label %bb30 |
| bb30: ; preds = %bb28, %bb26 |
| ret void |
| } |
| |
| define void @foo_i8_sext(i32 %arg, i32 %arg1, i8 %arg2, i32 %arg3) { |
| ; CHECK-LABEL: void @foo_i8_sext |
| bb: |
| %tmp8 = call i32 @goo() |
| %tmp9 = icmp sgt i32 %tmp8, %arg |
| br i1 %tmp9, label %bb10, label %bb18 |
| ; CHECK: br i1 %tmp9,{{.*}}!prof [[WEIGHT]] |
| |
| bb10: ; preds = %bb |
| %tmp12 = call i32 @hoo() |
| %tmp13 = icmp sgt i32 %arg1, %tmp12 |
| br i1 %tmp13, label %bb14, label %bb18 |
| ; CHECK: br i1 %tmp13,{{.*}}!prof [[WEIGHT]] |
| |
| bb14: ; preds = %bb10 |
| %tmp16 = call i8 @too8() |
| %tmp17 = icmp sgt i8 %arg2, %tmp16 |
| br label %bb18 |
| |
| bb18: ; preds = %bb14, %bb10, %bb |
| %tmp19 = phi i8 [ 255, %bb10 ], [ 255, %bb ], [ %tmp16, %bb14 ] |
| %tmp23 = sext i8 %tmp19 to i64 |
| ; after sign extension, the operand value becomes -1 which does not match 255 |
| %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 255) |
| %tmp25 = icmp ne i64 %tmp24, 0 |
| br i1 %tmp25, label %bb26, label %bb28 |
| ; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]] |
| |
| bb26: ; preds = %bb18 |
| %tmp27 = call i32 @goo() |
| br label %bb30 |
| |
| bb28: ; preds = %bb18 |
| %tmp29 = call i32 @hoo() |
| br label %bb30 |
| bb30: ; preds = %bb28, %bb26 |
| ret void |
| } |
| |
| define void @foo_i8_sext_not_unlikely(i32 %arg, i32 %arg1, i8 %arg2, i32 %arg3) { |
| ; CHECK-LABEL: void @foo_i8_sext_not_unlikely |
| bb: |
| %tmp8 = call i32 @goo() |
| %tmp9 = icmp sgt i32 %tmp8, %arg |
| br i1 %tmp9, label %bb10, label %bb18 |
| ; CHECK: br i1 %tmp9 |
| ; CHECK-NOT: !prof |
| |
| bb10: ; preds = %bb |
| %tmp12 = call i32 @hoo() |
| %tmp13 = icmp sgt i32 %arg1, %tmp12 |
| br i1 %tmp13, label %bb14, label %bb18 |
| ; CHECK: br i1 %tmp13 |
| ; CHECK-NOT: !prof |
| |
| bb14: ; preds = %bb10 |
| %tmp16 = call i8 @too8() |
| %tmp17 = icmp sgt i8 %arg2, %tmp16 |
| br label %bb18 |
| |
| bb18: ; preds = %bb14, %bb10, %bb |
| %tmp19 = phi i8 [ 255, %bb10 ], [ 255, %bb ], [ %tmp16, %bb14 ] |
| %tmp23 = sext i8 %tmp19 to i64 |
| ; after sign extension, the operand value becomes -1 which matches -1 |
| %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 -1) |
| %tmp25 = icmp ne i64 %tmp24, 0 |
| br i1 %tmp25, label %bb26, label %bb28 |
| ; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]] |
| |
| bb26: ; preds = %bb18 |
| %tmp27 = call i32 @goo() |
| br label %bb30 |
| |
| bb28: ; preds = %bb18 |
| %tmp29 = call i32 @hoo() |
| br label %bb30 |
| bb30: ; preds = %bb28, %bb26 |
| ret void |
| } |
| |
| |
| define void @foo_i32_xor_not_unlikely(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) { |
| ; CHECK-LABEL: void @foo_i32_xor_not_unlikely |
| bb: |
| %tmp8 = call i32 @goo() |
| %tmp9 = icmp sgt i32 %tmp8, %arg |
| br i1 %tmp9, label %bb10, label %bb18 |
| ; CHECK: br i1 %tmp9 |
| ; CHECK-NOT: !prof |
| |
| bb10: ; preds = %bb |
| %tmp12 = call i32 @hoo() |
| %tmp13 = icmp sgt i32 %arg1, %tmp12 |
| br i1 %tmp13, label %bb14, label %bb18 |
| ; CHECK: br i1 %tmp13 |
| ; CHECK-NOT: !prof |
| |
| bb14: ; preds = %bb10 |
| %tmp16 = call i32 @too() |
| %tmp17 = icmp sgt i32 %arg2, %tmp16 |
| br label %bb18 |
| |
| bb18: ; preds = %bb14, %bb10, %bb |
| %tmp19 = phi i32 [ 6, %bb10 ], [ 6, %bb ], [ %tmp16, %bb14 ] |
| %tmp20 = xor i32 %tmp19, 2 |
| %tmp23 = sext i32 %tmp20 to i64 |
| %tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4) |
| %tmp25 = icmp ne i64 %tmp24, 0 |
| br i1 %tmp25, label %bb26, label %bb28 |
| ; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]] |
| |
| bb26: ; preds = %bb18 |
| %tmp27 = call i32 @goo() |
| br label %bb30 |
| |
| bb28: ; preds = %bb18 |
| %tmp29 = call i32 @hoo() |
| br label %bb30 |
| |
| bb30: ; preds = %bb28, %bb26 |
| ret void |
| } |
| |
| declare i32 @goo() |
| |
| declare i32 @hoo() |
| |
| declare i32 @too() |
| |
| declare i8 @too8() |
| |
| ; Function Attrs: nounwind readnone |
| declare i64 @llvm.expect.i64(i64, i64) |
| |
| !llvm.ident = !{!0} |
| |
| !0 = !{!"clang version 5.0.0 (trunk 302965)"} |
| ; CHECK: [[WEIGHT]] = !{!"branch_weights", i32 2000, i32 1} |
| ; CHECK: [[WEIGHT2]] = !{!"branch_weights", i32 1, i32 2000} |