; RUN: opt -lower-expect -S -o - < %s | FileCheck %s
; RUN: opt -S -passes='function(lower-expect)' < %s | FileCheck %s
; The C case
; if (__builtin_expect((x > goo() && y > hoo() && z > too()), 1))
; For the above case, all 3 branches should be annotated.
;
; if (__builtin_expect((x > goo() && y > hoo() && z > too()), 0))
; For the above case, we don't have enough information, so
; only the last branch is annotated.
define void @foo(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
; CHECK-LABEL: void @foo
bb:
%tmp8 = call i32 @goo()
%tmp9 = icmp sgt i32 %tmp8, %arg
br i1 %tmp9, label %bb10, label %bb18
; CHECK: !prof [[WEIGHT:![0-9]+]]
bb10: ; preds = %bb
%tmp12 = call i32 @hoo()
%tmp13 = icmp sgt i32 %arg1, %tmp12
br i1 %tmp13, label %bb14, label %bb18
; CHECK: br i1 %tmp13, {{.*}}!prof [[WEIGHT]]
bb14: ; preds = %bb10
%tmp16 = call i32 @too()
%tmp17 = icmp sgt i32 %arg2, %tmp16
br label %bb18
bb18: ; preds = %bb14, %bb10, %bb
%tmp19 = phi i1 [ false, %bb10 ], [ false, %bb ], [ %tmp17, %bb14 ]
%tmp20 = xor i1 %tmp19, true
%tmp21 = xor i1 %tmp20, true
%tmp22 = zext i1 %tmp21 to i32
%tmp23 = sext i32 %tmp22 to i64
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 1)
%tmp25 = icmp ne i64 %tmp24, 0
br i1 %tmp25, label %bb26, label %bb28
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
bb26: ; preds = %bb18
%tmp27 = call i32 @goo()
br label %bb30
bb28: ; preds = %bb18
%tmp29 = call i32 @hoo()
br label %bb30
bb30: ; preds = %bb28, %bb26
ret void
}
define void @foo2(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
; CHECK-LABEL: void @foo2
bb:
%tmp8 = call i32 @goo()
%tmp9 = icmp sgt i32 %tmp8, %arg
br i1 %tmp9, label %bb10, label %bb18
; CHECK: br i1 %tmp9
; CHECK-NOT: !prof
bb10: ; preds = %bb
%tmp12 = call i32 @hoo()
%tmp13 = icmp sgt i32 %arg1, %tmp12
br i1 %tmp13, label %bb14, label %bb18
; CHECK: br i1 %tmp13
; CHECK-NOT: !prof
bb14: ; preds = %bb10
%tmp16 = call i32 @too()
%tmp17 = icmp sgt i32 %arg2, %tmp16
br label %bb18
bb18: ; preds = %bb14, %bb10, %bb
%tmp19 = phi i1 [ false, %bb10 ], [ false, %bb ], [ %tmp17, %bb14 ]
%tmp20 = xor i1 %tmp19, true
%tmp21 = xor i1 %tmp20, true
%tmp22 = zext i1 %tmp21 to i32
%tmp23 = sext i32 %tmp22 to i64
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 0)
%tmp25 = icmp ne i64 %tmp24, 0
br i1 %tmp25, label %bb26, label %bb28
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT2:![0-9]+]]
bb26: ; preds = %bb18
%tmp27 = call i32 @goo()
br label %bb30
bb28: ; preds = %bb18
%tmp29 = call i32 @hoo()
br label %bb30
bb30: ; preds = %bb28, %bb26
ret void
}
define void @foo_i32(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
; CHECK-LABEL: void @foo_i32
bb:
%tmp8 = call i32 @goo()
%tmp9 = icmp sgt i32 %tmp8, %arg
br i1 %tmp9, label %bb10, label %bb18
; CHECK: !prof [[WEIGHT]]
bb10: ; preds = %bb
%tmp12 = call i32 @hoo()
%tmp13 = icmp sgt i32 %arg1, %tmp12
br i1 %tmp13, label %bb14, label %bb18
; CHECK: br i1 %tmp13, {{.*}}!prof [[WEIGHT]]
bb14: ; preds = %bb10
%tmp16 = call i32 @too()
%tmp17 = icmp sgt i32 %arg2, %tmp16
br label %bb18
bb18: ; preds = %bb14, %bb10, %bb
%tmp19 = phi i32 [ 5, %bb10 ], [ 5, %bb ], [ %tmp16, %bb14 ]
%tmp23 = sext i32 %tmp19 to i64
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
%tmp25 = icmp ne i64 %tmp24, 0
br i1 %tmp25, label %bb26, label %bb28
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
bb26: ; preds = %bb18
%tmp27 = call i32 @goo()
br label %bb30
bb28: ; preds = %bb18
%tmp29 = call i32 @hoo()
br label %bb30
bb30: ; preds = %bb28, %bb26
ret void
}
define void @foo_i32_not_unlikely(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
; CHECK-LABEL: void @foo_i32_not_unlikely
bb:
%tmp8 = call i32 @goo()
%tmp9 = icmp sgt i32 %tmp8, %arg
br i1 %tmp9, label %bb10, label %bb18
; CHECK: br i1 %tmp9
; CHECK-NOT: !prof
bb10: ; preds = %bb
%tmp12 = call i32 @hoo()
%tmp13 = icmp sgt i32 %arg1, %tmp12
br i1 %tmp13, label %bb14, label %bb18
; CHECK: br i1 %tmp13
; CHECK-NOT: !prof
bb14: ; preds = %bb10
%tmp16 = call i32 @too()
%tmp17 = icmp sgt i32 %arg2, %tmp16
br label %bb18
bb18: ; preds = %bb14, %bb10, %bb
%tmp19 = phi i32 [ 4, %bb10 ], [ 4, %bb ], [ %tmp16, %bb14 ]
%tmp23 = sext i32 %tmp19 to i64
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
%tmp25 = icmp ne i64 %tmp24, 0
br i1 %tmp25, label %bb26, label %bb28
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
bb26: ; preds = %bb18
%tmp27 = call i32 @goo()
br label %bb30
bb28: ; preds = %bb18
%tmp29 = call i32 @hoo()
br label %bb30
bb30: ; preds = %bb28, %bb26
ret void
}
define void @foo_i32_xor(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
; CHECK-LABEL: void @foo_i32_xor
bb:
%tmp8 = call i32 @goo()
%tmp9 = icmp sgt i32 %tmp8, %arg
br i1 %tmp9, label %bb10, label %bb18
; CHECK: br i1 %tmp9,{{.*}}!prof [[WEIGHT]]
bb10: ; preds = %bb
%tmp12 = call i32 @hoo()
%tmp13 = icmp sgt i32 %arg1, %tmp12
br i1 %tmp13, label %bb14, label %bb18
; CHECK: br i1 %tmp13,{{.*}}!prof [[WEIGHT]]
bb14: ; preds = %bb10
%tmp16 = call i32 @too()
%tmp17 = icmp sgt i32 %arg2, %tmp16
br label %bb18
bb18: ; preds = %bb14, %bb10, %bb
%tmp19 = phi i32 [ 6, %bb10 ], [ 6, %bb ], [ %tmp16, %bb14 ]
%tmp20 = xor i32 %tmp19, 3
%tmp23 = sext i32 %tmp20 to i64
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
%tmp25 = icmp ne i64 %tmp24, 0
br i1 %tmp25, label %bb26, label %bb28
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
bb26: ; preds = %bb18
%tmp27 = call i32 @goo()
br label %bb30
bb28: ; preds = %bb18
%tmp29 = call i32 @hoo()
br label %bb30
bb30: ; preds = %bb28, %bb26
ret void
}
define void @foo_i8_sext(i32 %arg, i32 %arg1, i8 %arg2, i32 %arg3) {
; CHECK-LABEL: void @foo_i8_sext
bb:
%tmp8 = call i32 @goo()
%tmp9 = icmp sgt i32 %tmp8, %arg
br i1 %tmp9, label %bb10, label %bb18
; CHECK: br i1 %tmp9,{{.*}}!prof [[WEIGHT]]
bb10: ; preds = %bb
%tmp12 = call i32 @hoo()
%tmp13 = icmp sgt i32 %arg1, %tmp12
br i1 %tmp13, label %bb14, label %bb18
; CHECK: br i1 %tmp13,{{.*}}!prof [[WEIGHT]]
bb14: ; preds = %bb10
%tmp16 = call i8 @too8()
%tmp17 = icmp sgt i8 %arg2, %tmp16
br label %bb18
bb18: ; preds = %bb14, %bb10, %bb
%tmp19 = phi i8 [ 255, %bb10 ], [ 255, %bb ], [ %tmp16, %bb14 ]
%tmp23 = sext i8 %tmp19 to i64
; after sign extension, the operand value becomes -1 which does not match 255
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 255)
%tmp25 = icmp ne i64 %tmp24, 0
br i1 %tmp25, label %bb26, label %bb28
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
bb26: ; preds = %bb18
%tmp27 = call i32 @goo()
br label %bb30
bb28: ; preds = %bb18
%tmp29 = call i32 @hoo()
br label %bb30
bb30: ; preds = %bb28, %bb26
ret void
}
define void @foo_i8_sext_not_unlikely(i32 %arg, i32 %arg1, i8 %arg2, i32 %arg3) {
; CHECK-LABEL: void @foo_i8_sext_not_unlikely
bb:
%tmp8 = call i32 @goo()
%tmp9 = icmp sgt i32 %tmp8, %arg
br i1 %tmp9, label %bb10, label %bb18
; CHECK: br i1 %tmp9
; CHECK-NOT: !prof
bb10: ; preds = %bb
%tmp12 = call i32 @hoo()
%tmp13 = icmp sgt i32 %arg1, %tmp12
br i1 %tmp13, label %bb14, label %bb18
; CHECK: br i1 %tmp13
; CHECK-NOT: !prof
bb14: ; preds = %bb10
%tmp16 = call i8 @too8()
%tmp17 = icmp sgt i8 %arg2, %tmp16
br label %bb18
bb18: ; preds = %bb14, %bb10, %bb
%tmp19 = phi i8 [ 255, %bb10 ], [ 255, %bb ], [ %tmp16, %bb14 ]
%tmp23 = sext i8 %tmp19 to i64
; after sign extension, the operand value becomes -1 which matches -1
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 -1)
%tmp25 = icmp ne i64 %tmp24, 0
br i1 %tmp25, label %bb26, label %bb28
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
bb26: ; preds = %bb18
%tmp27 = call i32 @goo()
br label %bb30
bb28: ; preds = %bb18
%tmp29 = call i32 @hoo()
br label %bb30
bb30: ; preds = %bb28, %bb26
ret void
}
define void @foo_i32_xor_not_unlikely(i32 %arg, i32 %arg1, i32 %arg2, i32 %arg3) {
; CHECK-LABEL: void @foo_i32_xor_not_unlikely
bb:
%tmp8 = call i32 @goo()
%tmp9 = icmp sgt i32 %tmp8, %arg
br i1 %tmp9, label %bb10, label %bb18
; CHECK: br i1 %tmp9
; CHECK-NOT: !prof
bb10: ; preds = %bb
%tmp12 = call i32 @hoo()
%tmp13 = icmp sgt i32 %arg1, %tmp12
br i1 %tmp13, label %bb14, label %bb18
; CHECK: br i1 %tmp13
; CHECK-NOT: !prof
bb14: ; preds = %bb10
%tmp16 = call i32 @too()
%tmp17 = icmp sgt i32 %arg2, %tmp16
br label %bb18
bb18: ; preds = %bb14, %bb10, %bb
%tmp19 = phi i32 [ 6, %bb10 ], [ 6, %bb ], [ %tmp16, %bb14 ]
%tmp20 = xor i32 %tmp19, 2
%tmp23 = sext i32 %tmp20 to i64
%tmp24 = call i64 @llvm.expect.i64(i64 %tmp23, i64 4)
%tmp25 = icmp ne i64 %tmp24, 0
br i1 %tmp25, label %bb26, label %bb28
; CHECK: br i1 %tmp25,{{.*}}!prof [[WEIGHT]]
bb26: ; preds = %bb18
%tmp27 = call i32 @goo()
br label %bb30
bb28: ; preds = %bb18
%tmp29 = call i32 @hoo()
br label %bb30
bb30: ; preds = %bb28, %bb26
ret void
}
declare i32 @goo()
declare i32 @hoo()
declare i32 @too()
declare i8 @too8()
; Function Attrs: nounwind readnone
declare i64 @llvm.expect.i64(i64, i64)
!llvm.ident = !{!0}
!0 = !{!"clang version 5.0.0 (trunk 302965)"}
; CHECK: [[WEIGHT]] = !{!"branch_weights", i32 2000, i32 1}
; CHECK: [[WEIGHT2]] = !{!"branch_weights", i32 1, i32 2000}