指挥棍是合唱队和乐队必不可少的工具，在它没有出现之前，合唱队和乐队在表演时的指挥方式可谓五花八门。

17世纪时，在希腊，有的乐队指挥者用足蹬地的方法指挥乐队演奏，有的用摇头的方法指挥演奏，还有的用挥动手绢、敲击铁板，甚至用手杖撞地等方法来指挥演奏。

据说，法国著名的音乐理论家卢利曾挥动一支铁棒来指挥乐队演奏，不小心，铁棒一下子砸在自己的脚背上，卢利后因感染溃烂不治而送了性命。

18世纪初，德国作曲家哈赛与人合作，在德累斯顿用大提琴指挥演奏，收到意料之外的效果。此后，有人觉得用大提琴不方便，也太笨重，就用谱纸卷成棍棒状用来指挥乐队，非常成功。

1820年，德国小提琴家史博在英国伦敦演出时，第一次精心制作了一根小棍作为乐队指挥的工具，得到了德国著名的作曲家们德尔松和韦伯等人的肯定和提倡。从此，用小棍作乐队指挥的工具很快风靡世界乐坛。