因工作上需要一個小型的測試網站,很直覺地在現有的機器上使用Django來開發,只花了一個晚上就搞定了。
不過,最終是要拿到公司的環境中run的。
因為我們目前系統可以虛擬化的都虛擬化了,虛擬化平台也運做得滿穩定的,
最簡單的方式就是在自己電腦上的VMware workstation架好環境,開發完、測試沒問題後直接掛到公司上的VM run就好了~
這邊簡單做個小筆記(也很久沒更新blog了QQ):
因工作上需要一個小型的測試網站,很直覺地在現有的機器上使用Django來開發,只花了一個晚上就搞定了。
不過,最終是要拿到公司的環境中run的。
因為我們目前系統可以虛擬化的都虛擬化了,虛擬化平台也運做得滿穩定的,
最簡單的方式就是在自己電腦上的VMware workstation架好環境,開發完、測試沒問題後直接掛到公司上的VM run就好了~
這邊簡單做個小筆記(也很久沒更新blog了QQ):
明明我的hadoop cluster 有三個node,但為什麼每次跑MapReduce時都只有跑1個或2個map?
(Map階段是將job分散給node的最重要階段,reduce做map處理完後的總合,依撰寫的程式而異,reduce甚至只做輸出的動作)
如下圖所示:
參考hadoop設定檔的預設值:
<property>
<name>mapred.map.tasks</name>
<value>2</value>
<description> define mapred.map tasks to be number of slave hosts </description>
</property>
以及說明
若要改掉預設值請編輯HADOOP_HOME/conf/mapred-site.xml
將
<property>
<name>mapred.map.tasks</name>
<value>3</value>
<description> define mapred.map tasks to be number of slave hosts </description>
</property>
加到
<configuration></configuration>
標籤中就OK了,範例中的3是因為我有3個node,當然我也可以設定成6或是9 這些3的倍數
之後我的job就會分成3個map去跑
分成三個map
而三個map又分別在三個node上run
目前網路上以及hadoop網站範例安裝大部分都在ubuntu上
今天熊熊心血來潮把我們家實驗室的新pc裝上了openSUSE 11.2
想說hadoop既然是java寫的,換成不一樣的distro應該不會有問題才對
想不到一開始就遇到問題了
之前裝過的hadoop版本為0.18 0.19
想不到0.20設定檔做了微微地調整
原本只需要設定hadoop-site.xml這支就好
現在變成要將HDFS jobtracker以及HDFS設定分開寫入core-site.xml, mapred-site.xml, hdfs-site.xml
如何在linux下更改網卡卡號其實不難,這邊教大家如何將設定寫到設定檔中,這樣就算重開機也不用重新設定了
搜尋如何改mac出現的都是對岸的教學 (汗)
而且還是使用ifconfig指令的方式 (狂汗)
我的老師教過,要寫文章就要有貢獻,人家有寫過的就不要寫啦
所以這邊整理:
debian/ubuntu
fedora/centOS
openSUSE
改網卡的方法,大家就參考參考吧
mailq 查看mail佇列
postqueue -f 強制將mailq中的信件寄出
postsuper -d ALL 刪除所有mailq中的信件
原本系上有一台mail server,但由於系統當初規劃不是很完善,且很長一段時間沒有妥善的更新,甚至連作業系統也在很早之前停止支援。以至於現在這台充斥著木馬、病毒...等許多惱人問題。
同一時間,本來我們的domain -->mis.xxxx.edu.tw,由於主任搶搭全台資管系正名的熱潮必須改為im.xxxx.edu.tw
可憐的小弟我碰上這份工作也是莫可奈何阿~
這次要介紹一下ext3grep這套在linux下救資料的軟體,其原始碼放在google code上面,可以自行下載編譯安裝
http://code.google.com/p/ext3grep/
不過ext3grep這套軟體要上手並不容易,並不是只有單純敲敲指令資料就會回來了
還要清楚了解block, inode等知識
google code上面也有詳細的說明文件(有點複雜到是真的)
看完文件後相信會對linux上的檔案系統運作更加了解
今天試了半天一直無法順利編譯安裝
幸好網路上已經有打包好的版本,雖然是debian的套件庫但ubuntu也可以使用喔
http://packages.debian.org/zh-cn/sid/ext3grep
下載完後若相依性沒有問題就可以直接安裝
$ dpkg -i ext3grep_0.10.1-1_amd64.deb
等到有空的時候再來寫教學文章吧(其實只有翻譯文件而已啦)
我們常常會聽到Bruteforce Attack,或是稱為暴力破解法這東東
那它又是怎麼一回事呢?
其實概念非常簡單:
也就是利用程式不斷地去嘗試所有密碼的組合
儘管密碼長度夠,只要時間充足還是會有被破解的一天
這次我要介紹的是john the ripper這套在unix上稱霸已久的密碼破解軟體
說破解好像有點違反道德規範,正確來說應該是稽核
原諒在下小弟我偷懶,拿上次報告簡報放個網址連結讓各位下載來看吧!!!
哀~每次要啟動第二個X桌面都會忘記要怎麼下參數...
ntop安裝筆記
多啦A夢2008/12/03 amon0626@gmail.com
install distro:ubuntu8.04 server LTS
ntop介紹:
ntop是一套流傳已久知名的網路監測分析軟體,以下對它的概念進行簡單的介紹
chpasswd安裝筆記
多啦A夢2008/12/03 amon0626@gmail.com
在過去有開放系統服務ex. proxy, http等的Linux平台上有做驗證管理的相信大家都有一個相同的困擾,就是沒有辦法讓使用者自由地修改密碼。每當需要換密碼時總是要請user帶著證明文件來找系統管理者很蠢地passwd username, 輸入完一次以後又再問你一次,就算人家user不煩總有一天身為管理者的你也會被user煩到往生…那該怎麼做哩?...