言偃在孔子的门下学习极为勤奋，遇到难题时常向孔子请教；孔子视言偃为心仪的弟子之一，在多次对话中向他阐述了理想社会的蓝图。有一次，他们共同参与腊祭后，步出宗庙，一座高耸的建筑物旁，孔子深情地叹息。言偃好奇询问，其实是由于对未能亲历大道之行与三代英主治国时代的一种向往。随后，他详细描述了一个和谐社会：谋求闭关而不兴起盗贼乱世、外人不需关闭城门的大同境界。这一景象在言偃心中留下了深刻印记。他后来担任鲁国武城宰相期间，以礼乐教化百姓取得了一定的成效。一天，当孔子访问武城时，听到四处回荡着弦歌之声，便微笑着对迎接他的言偃说：“割鸡焉用牛刀？”意指治理这片土地是否需要过度严苛，以礼乐教育人民？言偃恭敬地回答说：“老师曾教导我，只要做官的人学习就会有仁爱之心，而老百姓学习便容易听从指挥，这样教育总是有效。”此答语让孔子满意。

接着，孔子转而询问言偃在这里学到了什么人才没有得到。在这个问题上，言偃举例说明有位名叫澹台灭明的人，此人行止端正，不经公务即不踏足其屋内，是一个值得重用的人才。这表明虽然当上了官，但他并非只喜闻乐见奉承之辞。