《西京杂记》有重要的文学价值可供挖掘、研究和欣赏。鲁迅《中国小说史略》评论《西京杂记》说：“若论文学，则此在古小说中，固亦意绪秀异，文笔可观者也。”书中生动形象的语汇和典故、有趣的逸闻逸事等，都为文学艺术创作提供了丰富的题材和艺术想象空间。《四库全书总目提要》曰：“其中所述，虽多为小说家言，而摭采繁富，取材不竭。李善注《文选》，徐坚作《初学记》，已引其文。杜甫诗用事谨严，亦多采其语。词人沿用数百年，久成故实，固有不可遽废者焉。”

《西京杂记》杂取趣闻传说，不少叙事多为片段、片言，但也有若干篇目叙事完整清晰、描写精妙、人物形象突出，具有强烈的文学气息。《画工弃市》关于王昭君的故事便是典型一例。“元帝后宫既多，不得常见，乃使画工图形，案图召幸之。诸宫人皆赂画工，多者十万，少者亦不减五万，独王嫱不肯，遂不得见。匈奴入朝，求美人为阏氏，于是上案图，以昭君行。及去，召见，貌为后宫第一，善应对，举止闲雅。帝悔之，而名籍已定。帝重信于外国，故不复更人。乃穷案其事，画工皆弃市，籍其家，资皆巨万。画工有杜陵毛延寿，为人形，丑好老少，必得其真。安陵陈敞，新丰刘白、龚宽，并工为牛马飞鸟众势，人形好丑，不逮延寿。下杜阳望，亦善画，尤善布色。樊育亦善布色。同日弃市。京师画工，于是差稀。”画师受贿丑化致昭君被选中出塞和亲的情节自《西京杂记》始。这个故事有起因、有结果，过程完整，有曲折情节、有矛盾冲突，有人物描写，也有心理刻画，几乎完美地展现了文学写作的所有要素。王昭君的形象尤其传神，她虽身居后宫，但不愿像其他宫女一样贿赂画工，因而被画得很丑，无缘得案图“召幸”的皇帝恩宠。当她被选中出塞和亲时，皇帝才发现，昭君“貌为后宫第一”，并且“善应对，举止闲雅”。昭君的美貌、高尚的人品令人赞叹。美貌与智慧并举的昭君埋没于后宫，被欺骗的皇帝案图误选昭君出塞和亲，罪魁祸首的画工事后被弃市，昭君与贪婪的画工、后悔不已的元帝之间的矛盾冲突鲜明突出，极具传奇色彩。

《西京杂记》丰沛的历史感触、平实的记人叙事和片段琐事式的故事线索，给了后代文学家以无尽的想象和创作灵感。远山眉、芙蓉面的精彩比喻出自《相如死渴》。杜甫《秋兴》八首之七曰：“昆明池水汉时功，武帝旌旗在眼中。织女机丝虚夜月，石鲸鳞甲动秋风。……”唐温庭筠《昆明池水战词》中的诗句“石鲸眼裂蟠蛟死”，其诗景皆取材于书中对昆明池的描述。贾岛《剑客》诗“十年磨一剑，霜刃未曾试”，化用了《高祖斩蛇剑》中“十二年一加磨莹，刃上常若霜雪”一句。司马相如与卓文君的故事与传说、凿壁偷光、秋胡戏妻、鸡犬识新丰等典故、故事，都被后人引为典实，成为文人墨客进行诗文和戏剧创作的极佳素材，流传千年不衰。

从《西京杂记》的写人记事中，可以充分欣赏到各种文学描写手法。如细腻的外貌描写：“文君姣好，眉色如望远山，脸际常若芙蓉，肌肤柔滑如脂。”（《相如死渴》）鲜明的对比手法：“枚皋文章敏疾，长卿制作淹迟，皆尽一时之誉。而长卿首尾温丽，枚皋时有累句，故知疾行无善迹矣。扬子云曰：‘军旅之际，戎马之间，飞书驰檄，用枚皋；廊庙之下，朝廷之中，高文典册，用相如。’”（《文章迟速》）精致的细节刻画：“复猎于冥山之阳，又见卧虎，射之，没矢饮羽。进而视之，乃石也，其形类虎。退而更射，镞破竿折而石不伤。”（《金石感偏》）精彩的行动与对话描写：“衡邑人有言《诗》者，衡从之，与语质疑，邑人挫服，倒屣而去。衡追之，曰：‘先生留听，更理前论。’邑人曰：‘穷矣。’遂去不返。”（《闻〈诗〉解颐》）以及传神的性格描写：“敬曰：‘敬本衣帛，则衣帛见。敬本衣旃，则衣旃见。今舍旃褐，假鲜华，是矫常也。’不敢脱羊裘，而衣旃衣以见高祖。”（《娄敬不易旃衣》）饱含文学色彩的描写，令《西京杂记》充满了浓厚的文学魅力。