此诗共二章，每章九句。前后两章共用了四个比喻，语言也相似，只是押韵不同。
朱熹在分析第一章时，将诗中四个比喻，概括为四种思想：即诚、理、爱、憎。并认为从这四者引申出去，可以作为“天下之理”——即普遍真理。他的说法看起来很辩证，都是用发展的变化的观点分析问题，而且兼顾一个问题的两个方面；然而他却是用程朱理学来说诗，这一点从他对第二章的解释中看得更加清楚。
《诗集传》释第二章结句引程子（程颐）曰：“玉之温润，天下之至美也。石之粗厉，天下之至恶也。然两玉相磨，不可以成器，以石磨之，然后玉之为器，得以成焉。犹君子之与小人处也，横逆侵加，然后修省畏避，动心忍性，增益预防，而义理生焉，道理成焉。”程子说诗与朱子说诗，如出一辙，皆为引申之词。“他山之石，可以攻玉”，就字面而言，就是另一座山上的石头，可以用来磨制玉器，今人也常常引以为喻。然而是否为诗的本义呢，并不能完全确定。
今人程俊英在《诗经译注》中说：“诗中以鹤比隐居的贤人。”“诗人以鱼在渊在渚，比贤人隐居或出仕。”“园，花园。隐喻国家。”“树檀，檀树，比贤人。”“萚，枯落的枝叶，比小人。”“它山之石，指别国的贤人。”“毛传：‘榖，恶木也。’喻小人。”她从“招隐诗”这一主题出发，将诗中所有比喻都一一与人事挂钩，虽不无牵强附会，倒也自成一说。
其实，就诗论诗，不妨认为这是一首即景抒情小诗。在广袤的荒野里，诗人听到鹤鸣之声，震动四野，高入云霄；然后看到游鱼一会儿潜入深渊，一会儿又跃上滩头。再向前看，只见一座园林，长着高大的檀树，檀树之下，堆着一层枯枝败叶。园林近旁，又有一座怪石嶙峋的山峰，诗人因而想到这山上的石头，可以取作磨砺玉器的工具。诗中从听觉写到视觉，写到心中所感所思，一条意脉贯串全篇，结构十分完整，从而形成一幅远古诗人漫游荒野的图画。这幅图画中有色有声，有情有景，因而也充满了诗意，诱发读者产生思古之幽情。