出乎意料的是，卡特对史密斯的系统战适应不良，上场时间急遽下降，更惨的是，高中时代名气不如他的贾米森、奥古拉加却有越打越好的趋势。史密斯对此的表示是“当时每个人，包括卡特自己，都对他有着过度、不切实际的期待，这也是一般高中明星球员的通病。其实我觉得他打得还好，慢慢的看得见进步幅度，但是每个人却都想知道他出了什么差错，造成他更大的压力。”
卡特自己也说:“有时我想知道自己到底怎么了，有时我则想把这个问题抛到九霄云外，不去管它。我要求自己接受逐渐减少的上场时间，现在回顾起来，这件事让我的心智更加坚强。”很显然，那是令人失望的一年，卡特以平均7.5分、3.8个篮板结束了大一赛季，比起高中时候的辉煌，此时的卡特很平庸。
96年的大一暑假，卡特决定不让过去一年的挫折再度发生，他每天由场上各个不同的地点投篮至少500次以上，也偶尔打打斗牛，巩固球技，并极力弥补自己的弱点。他不希望自己是球队中的负面力量，必须能发挥正面贡献才行，也不希望自己在场上得过且过混日子。他发誓:无论球赛还剩20分钟或是只剩20秒，我都要聚精会神力拼到底。
卡特为此付出了极大的努力，各种磨炼让他变得坚强，自然上天会对他有回报。可是他没考虑到一点受伤。大二赛季刚一开始，卡特果然有大幅的成长，前10场球平均13.8分、4.7个篮板，北卡则交出9胜1负的战绩。不过他在ACC赛季开幕战对威克森林大学一役臀部受伤退场，北卡大败收场，接下来又连续输给马里兰和弗吉尼亚，写下史密斯接掌北卡35年以来，首度在ACC赛季开局三连败的羞耻纪录，一时之间全美哗然。
如果卡特健康，他无疑是一个相当恐怖的球员，你可以看到，他的成绩并非完全出类拔萃，但是他就是能让球队赢球，可是一旦他受伤，球队围绕他建立起来的战术体系将颠覆无存，球队输成什么样子都有可能。卡特的伤病真是前科累累，和艾弗森的伤处众多不同，卡特只集中在几处，然后反复受伤，典型的就是他的右臂、臀部、膝盖和脚踝，每个地方都至少完蛋过两次，有的甚至还是挨了两刀。
所以说，别看卡特重新回到全明星得票老大的位置上，他能不能参加仍然未知，毕竟离全明星赛开始还有近一个月，什么事都有可能发生。
卡特虽然总是避人不见，伤病太多，又很严重，所以不光出场时间少，连带根本不到客场观战，有很多球迷一个赛季想见卡特一面都难，但是并不代表他的人气有问题，刚好相反神秘的卡特有越来越狠的势头，甚至压过了带伤出阵的艾弗森，成为球衣销量之王，单周销量近30000件，仅次于新一代状元秀詹姆斯创造的纪录，但总销量上詹姆斯想要追上卡特，还得有一些时日。
说起卡特选择15号球衣，还有一件趣事。在卡特的初中时代，乔丹已经是家喻户晓的风云人物，自然而然的，每个球员都想穿上球队中的23号球衣，卡特也不例外，虽然他知道自己可能抢不到这个背号。此时，老妈的一句话改变了他的想法。米切尔告诉他:“如果你选择另一个背号，让它成为大家以后抢著要的号码，会让我更以你为荣。”就这样，卡特选了15号。时至今日，米切尔回想起来，竟然在卡特的15号中找到一个巧合。她说“1加5等于6，罗马数字的6是VI，难怪后来有许多人叫文斯为VI Vince的简称。”
本赛季开始之后，卡特还没有任何大的状况，但是自从训练师露出耸听之言之后，种种对卡特不利的预言也出炉，不同于之前挑他过去的伤病史，连迷信也搬上了台面。原来在03赛季之前，卡特荣幸成为EA-款游戏的代言人，就是大名鼎鼎的《NBALive2004》。
《NBA Live 2004》在游戏界可谓风云之作，每年发售都会引起轰动，热潮可以历经一年不衰，但是04年的EA系列产品却不太受球星们欢迎，尤其是做封面代言的球星。因为在《NBA Live 2004》没圈定代言之前，EA的其它游戏都有了封面代言，结果《NFL2004》的封面人物、亚特兰大猎鹰队的四分卫维克在季前赛中断腿至今未出场;《NHL 2004》的封面球星是亚特兰大长尾鲛队的希特利，他驾驶的法拉利撞到墙上，同车的队友斯奈德不幸身亡。
不过卡特对有关游戏封面人物走背运的迷信说法不屑一顾，“那是他们运气不好罢了，我成为代言人物之后，好运会伴着我率领猛龙队一直杀到季后赛的。”卡特笑嘻嘻的说。其实EA一直有请NBA大牌球星代言Live系列的习惯，去年是基德，今年是卡特。近五年来，EA 似乎对NBA中的光头球员情有独钟五年中一共请了四位光头球员。
不过光头倒不是关键，关键是EA只找最热门的球星，02赛季的基德是处在01赛季MVP第二的位置上，而卡特则是有伤在身，赛季很快报废，这次EA选中了卡特，自然是对他的促销能力十分看重。EA的NBA系列游戏已经畅销了十年，是全世界最成功的篮球游戏，在过去十年中，这个系列的游戏总共销出了1800万套。在《NBA Live 2004》中，卡特的形象将出现在游戏的包装和宣传广告中。
在一份声明中，卡特表示能为该游戏代言是“一项无上的光荣，也是我篮球生涯中完美的一幕”。卡特称自己是一个铁杆游戏迷在此之前他还曾为微软开发的《NBA InsideDrive2002》》游戏做过形象代言人，而那款游戏恰好是为了与EA的NBALive系列游戏对抗而开发的。相比起来，卡特似乎更害怕为微软开发的《NBAInsideDrive 2002》代言，因为在为微软的游戏代言后他就霉运不断，03年4月更是因受伤而休养了好长一段时间。