Khi Kinh Kha mới đến nước Yên, ông hàng ngày chơi đàn, uống rượu cùng với Cao Tiệm Ly và một người bán thịt chó. Cao Tiệm Ly gảy đàn trúc, Kinh Kha họa theo mà hát, sau đó lại cùng nhau khóc lóc giữa chợ như chỗ không người, ai cũng cho là bọn bợm rượu mà coi thường.
Sau khi Kinh Kha ám sát Tần Thủy Hoàng bất thành, Tần Thủy Hoàng tức giận tăng quân, ráo riết tiêu diệt bằng được nước Yên để báo thù, đồng thời cho lùng bắt Cao Tiệm Ly. Cao Tiệm Ly phải bỏ trốn đến vùng khác, thay tên đổi họ rồi đi làm thuê để sống. Nhưng khi nghe những người khác chơi nhạc, ông vẫn "ngứa nghề" đưa ra bình phẩm, khen chê.
Về sau tài năng bị phát hiện, danh tiếng lan ra nhanh chóng, ông bị Tần Thủy Hoàng gọi vào chầu. Có người nhận ra ông là Cao Tiệm Ly bèn tâu vua Tần đem chém. Tuy nhiên, vua Tần tiếc tài gảy đàn của ông nên đặc cách tha chết, chỉ chọc mù hai mắt của ông để đề phòng ám sát.
Cao Tiệm Ly nuốt hận náu mình, trở thành nhạc công cho Tần Thủy Hoàng, tự biết bản thân sức lực có hạn lại là một phế nhân, ông lén đổ chì độc vào trong ống đàn chờ thời cơ ám sát vua Tần.
Sau đó, Cao Tiệm Ly cố gắng chơi đàn thật hay để làm say đắm Tần Thủy Hoàng, dụ cho Tần Thủy Hoàng ngồi gần lại mình, ông bất ngờ giơ đàn đánh Tần Thủy Hoàng. Tần Thủy Hoàng cả kinh nhưng may mắn sao tránh được, liền gọi võ sĩ lôi ngay Cao Tiệm Ly ra chém, từ đó về sau Tần Thủy Hoàng sợ hãi, suốt đời không gần gũi với người các nước chư hầu cũ nữa.
Mặc dù ám sát bất thành, nhưng Cao Tiệm Ly vẫn được người đời về sau ca tụng và khâm phục tính cách kiên cường của ông. Dù chỉ là nhạc công, lại bị mù cả hai mắt nhưng lòng dũng cảm và sự trung thành của ông không hề thua kém những bậc trung thần, nghĩa sĩ. Nhân vật Cao Tiệm Ly cũng được tái hiện trong bộ phim Tần ca (hay Tần tụng), sản xuất năm 1996 của đạo diễn Chu Hiểu Văn, nói về mối quan hệ giữa Tần Thủy Hoàng và Cao Tiệm Ly.