Spark編程環境Spark可以獨立安裝使用,也可以和Hadoop一起安裝使用。在安裝Spark之前,首先確保你的電腦上已經安裝了Java8或者更高的版本。Spark安裝訪問Spark下載頁面,并選擇最新版本的Spark直接下載,當前的最新版本是2.4.2。下載好之后需要解壓縮到安裝文件夾中,看自己的喜好,我們是安裝到了/opt目錄下。tar-xzfspark-2.4.2-bin-hadoop2.7.tgzmvspark-2.4.2-bin-hadoop2
系統 2019-09-27 17:52:49 1757
作者:HelloGitHub-ProdesireHelloGitHub的《講解開源項目》系列,項目地址:https://github.com/HelloGitHub-Team/Article前言在前面三篇介紹argparse的文章中,我們全面了解了argparse的能力,相信不少小伙伴們都已經摩拳擦掌,想要打造一個屬于自己的命令行工具。本文將以我們日常工作中最常見的git命令為例,講解如何使用argparse庫來實現一個真正可用的命令行程序。本系列文章默認
系統 2019-09-27 17:52:35 1757
最近學習了python基礎,寫一下3大排序練練手:復制代碼代碼如下:'''Createdon2013-8-23@author:codegeek'''//冒泡排序defbubble_sort(seq):foriinrange(len(seq)):forjinrange(i,len(seq)):ifseq[j]
系統 2019-09-27 17:52:28 1757
簡單使用最開始,我們用最短的代碼體驗一下logging的基本功能。importlogginglogger=logging.getLogger()logging.basicConfig()logger.setLevel('DEBUG')logger.debug('logsomething')#輸出out>>DEBG:root:logsomething第一步,通過logging.getLogger函數,獲取一個loger對象,但這個對象暫時是無法使用的。第二步
系統 2019-09-27 17:52:26 1757
簡介今天宏哥在這里首先給小伙伴們和童鞋們分享一個有關曇花的小典故:話說曇花原是一位花神,她每天都開花,四季都燦爛。她還愛上了每天給她澆水除草的年輕人。后來,此事給玉帝得知。于是,玉帝大發雷霆,要拆散鴛鴦。他將花神抓了起來,把她貶為每年只能開一瞬間的曇花,不讓她再和情郎相見,還把那年輕人送去靈鷲山出家,賜名韋陀,讓他忘記前塵,忘記花神。多年過去了,韋陀果真忘了花神,潛心習佛,漸有所成。而花神卻怎么也忘不了那個曾經照顧她的小伙子。她知道每年暮春時分,韋陀總要下
系統 2019-09-27 17:52:23 1757
yield的功能類似于return,但是不同之處在于它返回的是生成器。生成器生成器是通過一個或多個yield表達式構成的函數,每一個生成器都是一個迭代器(但是迭代器不一定是生成器)。如果一個函數包含yield關鍵字,這個函數就會變為一個生成器。生成器并不會一次返回所有結果,而是每次遇到yield關鍵字后返回相應結果,并保留函數當前的運行狀態,等待下一次的調用。由于生成器也是一個迭代器,那么它就應該支持next方法來獲取下一個值。基本操作#通過`yield`
系統 2019-09-27 17:52:18 1757
我們首先來看下python的全部代碼,大家可以直接復制后測試:#-*-encoding:utf-8-*-importloggingimportwmiimportosimporttimefromConfigParserimportConfigParserimportsmtplibfromemail.mime.textimportMIMETextimportsocketfromdatetimeimportdatetimeimportreimportsysimp
系統 2019-09-27 17:52:12 1757
Python中的列表基于PyListObject實現,列表支持元素的插入、刪除、更新操作,因此PyListObject是一個變長對象(列表的長度隨著元素的增加和刪除而變長和變短),同時它還是一個可變對象(列表中的元素根據列表的操作而發生變化,內存大小動態的變化),PyListObject的定義:typedefstruct{#列表對象引用計數intob_refcnt;#列表類型對象struct_typeobject*ob_type;#列表元素的長度intob
系統 2019-09-27 17:52:11 1757
點擊上方“碼農突圍”,馬上關注,每天早上8:50準時推送真愛,請置頂或星標摘要:分享個Python神工具。長時間使用瀏覽器會積累大量瀏覽器歷史記錄,這些是很隱私的數據,里面甚至可能有一些不可描述的網站或者搜索記錄不想讓別人知道。不過,我們自己可能會感興趣,天天都在上網,想知道長期下來是都在摸魚還是有認真工作。其次,了解下自己每天打開多少次網頁、哪些網站上的最多、常搜哪些關鍵詞,這些也很有趣。下面就來給大家介紹一款Python編寫的神工具,可以一鍵分析你的上
系統 2019-09-27 17:51:41 1757
通過純Python完成股票回測框架的搭建。什么是回測框架?無論是傳統股票交易還是量化交易,無法避免的一個問題是我們需要檢驗自己的交易策略是否可行,而最簡單的方式就是利用歷史數據檢驗交易策略,而回測框架就是提供這樣的一個平臺讓交易策略在歷史數據中不斷交易,最終生成最終結果,通過查看結果的策略收益,年化收益,最大回測等用以評估交易策略的可行性。代碼地址在最后。本項目并不是一個已完善的項目,還在不斷的完善。回測框架回測框架應該至少包含兩個部分,回測類,交易類.回
系統 2019-09-27 17:51:37 1757