Canny-sur-Thérain nous est connu dès l'année 1140 à travers le nom d'Osmondus de Calneis puis, nous retrouverons ce toponyme en 1145 grâce à une charte de l'Abbaye de Beaupré avec latin Caniacum puis Canneium en 1159. Une charte de Gerberoy nous présente un Calaneium puis l'An de Grâce 1221 un Caigneium ; ceci pour ne citer que quelques formes anciennes.
Ce toponyme dériverait d'un anthroponyme gallo-romain bien connu, Canius dont un poète de langue latine bien connu. Nous sommes, dans une première approche, très certainement en présence d'un domaine gallo-romain dont le propriétaire, un certain Canius, a laissé son nom à ces lieux.
Une autre hypothèse laisserait ce toponyme dériver du mot latin Canna - roseau mais les roselières devant être nombreuses le long de la Thérain, nous doutons de cette hypothèse.
La révolution de 1789, en 1794, renomma la commune en Canny-Montagne.