我觉得有两层意思，第一层说“阶层通病”，第二层说“君子无论贫富都应具备的特质”。

1、贫富不同阶层的人往往会有其阶层的通病：穷人日子不好过，心情肯定也不会太好，所以往往缺乏“快乐、健康的心理”；富裕的人在社会上处于强势地位，容易产生摆谱、横蛮的做派。前者“无乐”、后者“失礼”。（往细了说还能扯到快乐、礼节对一个人的重要性，否则孔老爷子也不会对此发什么感慨~~~）

2、君子的品行不会因为贫富有所差别，其表现为：贫穷的时候不悲观、不丧气，保持快乐的心情和积极的生活态度；富贵的时候遵守礼节不横行霸道、不颐指气使目中无人。

如果要用四个字来概括这句话的中心意思的话，我认为应该是“守道不移”。