关于《西京杂记》的作者，历来众说纷纭。作者先后有西汉刘歆、东晋葛洪、南朝吴均、萧贲以及无名氏之说。各种说法各论其理，争议颇多，至今难以定论。

吴均说赞同者不多。唐段成式《酉阳杂俎·语资》曰：“庾信作诗用《西京杂记》事，旋自追改曰：‘此吴均语，恐不足用也。’”因此后人有吴均说，如南宋晁公武《郡斋读书志》卷二曰：“江左人或以为吴均依托为之。”但此说赞成者实寥，主要依据在于，与吴均“仕同朝”的殷芸所撰《小说》，其中已引用了《西京杂记》十数条。如果确为吴均所作，殷芸不太可能不知情。鲁迅《中国小说史略》亦说：“所谓吴均语者，恐指文句而言，非谓《西京杂记》也。梁武帝敕殷芸撰《小说》，皆钞撮故书，已引《西京杂记》甚多，则梁初已流行世间，固以葛洪所造为近是。”

萧贲说也无足够说服力。据《南史·齐武诸子传》载，萧贲曾作《西京杂记》，该记多达六十卷。宋王应麟《困学纪闻》卷十二曰：“今按《南史》，萧贲著《西京杂记》六十卷，然则依托为书，不止吴均也。”故一般认为此记非彼记，萧贲之著应只是同名之作而已。因为两书的卷数差异太大。

无名氏说亦无甚支持者。最早著录《西京杂记》的《隋书·经籍志》于史部旧事类著录为“《西京杂记》二卷”，未署撰者名。但支持此说的似未再见。只有唐代颜师古在《汉书·匡张孔马传·匡衡传》中注曰：“今有《西京杂记》者，其书浅俗，出于里巷，多有妄说。”并未提及作者何人。

以上三说附和者寡，争议主要集中于刘歆说和葛洪说。

刘歆说起于葛洪，其《西京杂记》跋曰：“洪家世有刘子骏《汉书》一百卷，无首尾题目，但以甲乙丙丁纪其卷数。先父传之。歆欲撰《汉书》，编录汉事，未得缔构而亡，故书无宗本，止杂记而已，失前后之次，无事类之辨。后好事者以意次第之，始甲终癸为十帙，帙十卷，合为百卷。洪家具有其书，试以此记考校班固所作，殆是全取刘书，有小异同耳。并固所不取，不过二万许言。今抄出为二卷，名曰《西京杂记》，以裨《汉书》之阙。”此段意为，刘歆写作了《汉书》，但未完稿而亡故，后有好事者编辑其书而成百卷，葛洪家藏有此书。对照班固的《汉书》，葛洪发现其书皆取之于刘歆《汉书》，仅有二万余字未采用。故葛洪将这二万余字抄录成书，取名《西京杂记》。也就是说，《西京杂记》的作者是刘歆，葛洪只是抄录、编集者，并且取了个书名而已。

葛洪的刘歆说获得诸多认同。宋黄伯思《东观余论·跋〈西京杂记〉后》曰：“此书中事，皆刘歆所记，葛稚川采之，以补班史之阙耳。其称‘余’者，皆歆本语。”清卢文弨《抱经堂丛书·西京杂记》卷首《新雕西京杂记缘起》曰：“今此书之果出于歆，别无可考，即当以葛洪之言为据。洪非不能自著书者，何必假名于歆？……洪以为本之刘歆，则吾亦从而刘歆之耳，又何疑焉。”另外，清姚振宗《隋书经籍志考证》及向新阳、刘克任《西京杂记校注》皆支持刘歆说。

葛洪说最早起于后晋。后晋刘昫在《旧唐书·经籍志》中，将《西京杂记》一卷列在史部杂传类，作者著录为晋葛洪撰。《新唐书·艺文志》将其二卷列在史部故事类和地理类，作者亦署名“葛洪”。唐代认同葛洪著《西京杂记》之说者颇多，亦有不少人在否定刘歆说的同时认定该书为葛洪托名之作。唐刘知幾《史通·杂述》曰：“国史之任，记事记言，视听不该，必有遗逸。于是好奇之士，补其所亡，若和峤《汲冢纪年》、葛洪《西京杂记》……此之谓逸事者也。”唐徐坚《初学记》卷二十“赏赐”目下注明引文出自“葛洪《西京杂记》”。唐段成式《酉阳杂俎·广动植一》曰“葛稚川尝就上林令鱼泉得朝臣所上草木名”、张彦远《历代名画记》引“画工弃市”条皆认为是葛洪所作。

宋代及以后，依旧有人赞同葛洪说。宋晁公武《郡斋读书志》卷二上史部杂史类曰：“《西京杂记》二卷，右晋葛洪撰。”宋程大昌《演繁露·墓石志》引《西京杂记》“杜子夏生作葬文”条曰：“《西京杂记》所记制度，多班固书所无，又其文气妩媚，不能古劲，疑即葛洪为之。”宋陈振孙《直斋书录解题·传记类》曰：“《西京杂记》六卷，晋句漏令丹阳葛洪稚川撰。”《太平御览》所引《西京杂记》亦署名“葛洪”，宋王钦若《册府元龟》卷五五五曰：“葛洪选为散骑常侍，领大著作，固辞不就。撰《神仙传》十卷，《西京杂记》一卷。”余嘉锡《四库提要辨证·西京杂记辨证》说：“宋晁伯宇《续谈助》卷一《洞冥记》后引张柬之之言云：‘昔葛洪造《汉武内传》《西京杂记》……’柬之此文，专为辨伪而作，而确信为葛洪所造。”并举例《册府元龟》卷五五五认为：“《元龟》之例，止采经史诸子及历代类书，不取异端小说。其言葛洪撰《西京杂记》，必别有本，可补本传之阙矣。”

刘歆说与葛洪说的主要争议点，在于是否认可葛洪跋文。

自唐起，即有怀疑和否认刘歆说。主要是结合刘歆生平经历，对葛洪跋文的说法表示怀疑，并质疑《西京杂记》的有关内容，进而否定刘歆说。如陈振孙《直斋书录解题·传记类》释《西京杂记》曰：“按洪博闻深学，江左绝伦，所著书几五百卷，本传具载其目，不闻有此书，而向、歆父子亦不闻尝作史传于世，使班固有所因述，亦不应全没不著也。殆有可疑者，岂惟非向、歆所传，亦未必洪之作也。”

清代以来，有学者认为《西京杂记》是葛洪杂抄汉魏百家短书并托名刘歆所作。《钦定四库全书》虽然依葛洪原跋将六卷《西京杂记》署名为“汉刘歆撰，晋葛洪辑”，但《四库全书总目提要》指出《西京杂记》的叙事内容与《史记》《汉书》矛盾之处，认为刘歆不可能犯如此错误，以此为证据否认刘歆说。提要曰：“今考《晋书·葛洪传》，载洪所著有《抱朴子》，神仙、良吏、集异等传，《金匮要方》《肘后备急方》并诸杂文，共五百余卷。并无《西京杂记》之名。则作洪撰者，自属舛误。特是向、歆父子作《汉书》，史无明文。而以此书所纪，与班书参校，又往往错互不合。如《汉书》载文帝以代王即位，而此书乃云文帝为太子。《汉书》载广陵王胥、淮南王安并谋逆自杀，而此书乃云胥格猛兽，陷脰死，安与方士俱去。《汉书·杨王孙传》，即以王孙为名，而此书乃云名贵，似是故谬其事，以就洪《跋》中小有异同之文。又歆始终臣莽，而此书载吴章被诛事，乃云章后为王莽所杀，尤不类歆语。又《汉书·匡张孔马传·匡衡传》‘匡鼎来’句，服虔训‘鼎’为‘当’，应劭训‘鼎’为‘方’。此书亦载是语，而以‘鼎’为匡衡小名。使歆先有此说，服虔、应劭皆后汉人，不容不见，至葛洪乃传，是以陈振孙等，皆深以为疑。”

余嘉锡《四库提要辨证·西京杂记辨证》也论定班固“《汉书》之采自刘氏父子者，仅《新序》《说苑》《七略》中之汉事者而已”，认为葛洪“所言刘歆《汉书》之事，必不可信，盖依托古人以自取重耳”，进而否定刘歆著《西京杂记》说。

概括起来，反对刘歆说的理由主要有：其一，刘歆并没有写过百卷《汉书》。因为正史或野史都未提及刘歆父子曾著此书，相反，他们用了二十余年时间整理汉代官藏典籍，撰写了《七略》。加之官务缠身，哪还有余暇撰写百卷《汉书》。且其续汉史之作也仅有数篇。其二，书中并不避刘歆之父向之名讳。其三，书中内容杂入了晋制。其四，《西京杂记》的内容与《史记》《汉书》等屡有矛盾之处，刘歆不可能犯如此错误。

而支持刘歆说者则坚称：其一，刘歆修史并非无中生有，前人对此屡有记述。班固《汉书》采自刘向父子所作实多，只是班固并未提及。其二，司马迁在《史记》中亦未避其父司马谈之名讳，但不能因此否认司马迁为《史记》作者，《西京杂记》亦同理。其三，古时书籍的传播靠的是传抄翻刻，历代传抄时增删更改亦不少见，故杂入晋制可以理解。其四，《史记》等正史未必穷尽所有资讯，而《西京杂记》原本便是杂取趣闻传说，与正史有分歧实属正常。而且，看似与正史不合的内容并非皆为凭空杜撰，其实可以从其他典籍中得到印证。如“书太史公事”与“汉帝葬用珠襦玉匣”等见于《汉旧仪》中，“昆明池养鱼”亦载于《三辅故事》。争议双方各执己见，既无法完全说服对方，双方各自理据亦并非无懈可击。如葛洪家传的刘歆《汉书》百卷因史无记载亦未见流传后世，故支持者无法确凿其说，而反对说对避名讳与杂入后代内容的理据同样无法自圆。

主张刘歆说与认同葛洪说者争执不休，好似一桩无解的“悬案”。其实，迄今为止，在激烈的争议中仍然有些问题难以得到有力的、具有足够说服力的澄清。如葛洪并非无名无才之辈，为什么非要托刘歆之名？葛洪跋中的“好事者”究竟何人？“刘安与方士俱去”“司马迁下狱死”等说法如果刘歆不会犯错是否葛洪一定会犯？这些都有待更多更深入的探讨。

不管坚持刘歆说还是执着于葛洪说，都绕不开葛洪。因此，当今的版本，关于该书的作者仍然有两种署名法：“刘歆撰，葛洪集”，“葛洪撰（集）”。如上所言，刘歆说与葛洪说皆有可取之处，但也存在无法确切自圆之处，故本书将作者确定为“葛洪辑”，即葛洪辑录、抄撮前人之作编集而成，其中必有传抄自刘歆所著之作。

葛洪（约262或283—343或363）是东晋文学家、道教理论家。丹阳句容（今属江苏）人，字稚川，自号抱朴子。葛洪为东吴世臣后裔，其祖父是三国时吴国大鸿胪，其父入晋后做过邵陵太守。葛洪少年时家道中落，但“好学，家贫，躬自伐薪以贸纸笔，夜辄写书诵习，遂以儒学知名”（《晋书·葛洪传》）。他不惜代价寻书问义，故遍读经史百家之书，究览世间典籍，尤好神仙道养之法。晋惠帝太安二年（303），西晋八王之乱时，葛洪被征召为将兵都尉。得胜后葛洪无意功赏，“径至洛阳，欲搜求异书以广其学”（《晋书·葛洪传》）。后返归故里埋头著述十余载，完成了道教名著《抱朴子》。此后先后辞任司徒掾、谘议参军等官职，隐居广东罗浮山炼丹采药、著书立说。葛洪一心向学，为人木讷，性情寡淡，不喜交游，不慕名利。一生著述甚多，计约六百卷。除《抱朴子》外，据《晋书 ·葛洪传》曰：“其余所著碑诔诗赋百卷，移檄表章三十卷，神仙、良吏、隐逸、集异等传各十卷，又抄《五经》《史》《汉》、百家之言、方技杂事三百一十卷，《金匮药方》一百卷，《肘后备急方》四卷。”而《西京杂记》或属于“隐逸”传、“百家之言、方技杂事”之列。