Janvier 1864, l'opposition devant l'adresse — Louis Calemard de La Fayette