在linux系统创建部署scrapy爬虫项目

我的主机最近一直出问题,所有的python环境全在物理机上面,现在装新的第三方库总是容易出问题,所以我决定把环境放到虚拟机的环境中,然后存个快照,我的编译器是pycharm,scrapy不像django一样能够直接创建,所以在创建项目的时候不能在本地创建,遇到了问题,不过现在已经解决,如果你也有这种问题,可以根据我的步骤继续操作。

随意创建一个python的项目,但是注意选择好项目名字,最重要的是选择好远程linux上面的python环境,然后点击创建。

           

 

在linux系统上面创建项目:python3 -m scrapy startproject ScrapySpider                                                                                      (注:因为我有两个python环境,所以我写的python3  -m,如果你有一个环境,就直接用python)

在右侧选择RemoteHost,然后找到你创建文件的文件夹,在上图中可以看到,然后右键,选择从这里下载,然后就可以同步到本地啦。

打开目录,就可以看到你的scrapy项目啦。这种方法非常适合个人使用,我比较推荐。

                                                            

全部评论

相关推荐

#简历#先说一说我自己的想法,很多人都很排斥苍穹外卖,认为没什么技术点和含金量,但实际上我觉得恰恰相反,苍穹外卖虽然代码本身并不是你自身能力的证明,但是是作为一个新人学习时很好的跳板和原始框架,在这个框架上进行的改进可以很好的辐射到你自己的个人成果上,并作为你和面试官聊天的筹码大多数人的苍穹外卖只写增删改查,千篇一律,吸引不了面试官,所以这才让大家误以为只要是苍穹外卖就不要写进简历里这种误区,但实际上如果你在原有的层面上进行改进,并作为你的项目亮点和面试官介绍,告诉他你的苍穹外卖和别人的有什么不同,增加了哪些技术难点,这才显得你是完全自己理解了这个项目,并且有自己动手实践项目的能力,而不是就看了个课程就以为自己会了,就当成自己的了,如此一来,这反而成为你的加分项苍穹外卖为什么看的人最多,说明它好啊,如果它不好,为什么看的人还这么多,想清楚这个逻辑,我觉得要做的最重要的事,就是如何在原有框架上进行改进提效,比起听其他人的话重新搞一个项目性价比高得多,而且我亲测项目并没有成为我找到工作的阻碍,我投的大厂一大半都给我面试了,而且很多不止一个部门,退一万步说,当你手头没有其他项目的时候,有苍穹外卖总比什么都没有的好很多,不需要因为苍穹外卖有任何心理负担关于简历的任何部分都欢迎大家提意见,十分感谢大家,祝大家找实习+秋招顺利上岸,offer拿到手软#简历中的项目经历要怎么写##我的上岸简历长这样##最后再改一次简历##简历##简历被挂麻了,求建议#
点赞 评论 收藏
转发
点赞 评论 收藏
转发
点赞 1 评论
分享
牛客网
牛客企业服务