目前分類:Linux (13)

瀏覽方式: 標題列表 簡短摘要

因工作上需要一個小型的測試網站,很直覺地在現有的機器上使用Django來開發,只花了一個晚上就搞定了。

不過,最終是要拿到公司的環境中run的。

因為我們目前系統可以虛擬化的都虛擬化了,虛擬化平台也運做得滿穩定的,

最簡單的方式就是在自己電腦上的VMware workstation架好環境,開發完、測試沒問題後直接掛到公司上的VM run就好了~

這邊簡單做個小筆記(也很久沒更新blog了QQ):

amon0626 發表在 痞客邦 留言(0) 人氣()

明明我的hadoop cluster 有三個node,但為什麼每次跑MapReduce時都只有跑1個或2個map?

(Map階段是將job分散給node的最重要階段,reduce做map處理完後的總合,依撰寫的程式而異,reduce甚至只做輸出的動作)

如下圖所示:

hadoop2.JPG

 

hadoop1.JPG

參考hadoop設定檔的預設值:

<property>
  <name>mapred.map.tasks</name>
  <value>2</value>
  <description> define mapred.map tasks to be number of slave hosts   </description>
</property>

以及說明

The default number of map tasks per job. Typically set
to a prime several times greater than number of available hosts.
Ignored when mapred.job.tracker is "local".
一般會設定結點的倍數,若jobtracker是設定成localhost的話,則是會忽略掉mapred.map.tasks的設定值,平常不做設定則是2

若要改掉預設值請編輯HADOOP_HOME/conf/mapred-site.xml

<property>
  <name>mapred.map.tasks</name>
  <value>3</value>
  <description> define mapred.map tasks to be number of slave hosts   </description>
</property>

加到

<configuration></configuration>

標籤中就OK了,範例中的3是因為我有3個node,當然我也可以設定成6或是9 這些3的倍數

 

之後我的job就會分成3個map去跑

hadoop3.JPG

分成三個map

hadoop4.JPG

而三個map又分別在三個node上run

hadoop5.JPG hadoop6.JPG hadoop7.JPG

 

amon0626 發表在 痞客邦 留言(1) 人氣()

Gnump3d,一套影音串流伺服器

我們可以藉此打造自己的mp3 server,除了可以線上以串流的方式收聽外,還能直接下載下來

甚至動態產生隨機的play list

amon0626 發表在 痞客邦 留言(0) 人氣()

目前網路上以及hadoop網站範例安裝大部分都在ubuntu上

今天熊熊心血來潮把我們家實驗室的新pc裝上了openSUSE 11.2

想說hadoop既然是java寫的,換成不一樣的distro應該不會有問題才對

想不到一開始就遇到問題了

之前裝過的hadoop版本為0.18 0.19

想不到0.20設定檔做了微微地調整

原本只需要設定hadoop-site.xml這支就好

現在變成要將HDFS jobtracker以及HDFS設定分開寫入core-site.xml, mapred-site.xml, hdfs-site.xml

amon0626 發表在 痞客邦 留言(0) 人氣()

如何在linux下更改網卡卡號其實不難,這邊教大家如何將設定寫到設定檔中,這樣就算重開機也不用重新設定了

搜尋如何改mac出現的都是對岸的教學 (汗)

而且還是使用ifconfig指令的方式 (狂汗)

我的老師教過,要寫文章就要有貢獻,人家有寫過的就不要寫啦

所以這邊整理:

debian/ubuntu

fedora/centOS

openSUSE

改網卡的方法,大家就參考參考吧

amon0626 發表在 痞客邦 留言(0) 人氣()

在組織當中老闆監看員工MNS訊息是常常聽到的

姑且不論其正當或合法性,但在某些情況而言是必要的

例如:保護公司機密(通常是直接不給你MSN用啦)、追蹤犯罪事件等...

amon0626 發表在 痞客邦 留言(1) 人氣()

mailq 查看mail佇列

postqueue -f 強制將mailq中的信件寄出

postsuper -d ALL 刪除所有mailq中的信件

amon0626 發表在 痞客邦 留言(0) 人氣()

原本系上有一台mail server,但由於系統當初規劃不是很完善,且很長一段時間沒有妥善的更新,甚至連作業系統也在很早之前停止支援。以至於現在這台充斥著木馬、病毒...等許多惱人問題。

同一時間,本來我們的domain -->mis.xxxx.edu.tw,由於主任搶搭全台資管系正名的熱潮必須改為im.xxxx.edu.tw

可憐的小弟我碰上這份工作也是莫可奈何阿~

amon0626 發表在 痞客邦 留言(0) 人氣()

這次要介紹一下ext3grep這套在linux下救資料的軟體,其原始碼放在google code上面,可以自行下載編譯安裝

http://code.google.com/p/ext3grep/

不過ext3grep這套軟體要上手並不容易,並不是只有單純敲敲指令資料就會回來了

還要清楚了解block, inode等知識

google code上面也有詳細的說明文件(有點複雜到是真的)

看完文件後相信會對linux上的檔案系統運作更加了解

今天試了半天一直無法順利編譯安裝

幸好網路上已經有打包好的版本,雖然是debian的套件庫但ubuntu也可以使用喔

http://packages.debian.org/zh-cn/sid/ext3grep

下載完後若相依性沒有問題就可以直接安裝

$ dpkg -i ext3grep_0.10.1-1_amd64.deb

等到有空的時候再來寫教學文章吧(其實只有翻譯文件而已啦)

amon0626 發表在 痞客邦 留言(0) 人氣()

我們常常會聽到Bruteforce Attack,或是稱為暴力破解法這東東

那它又是怎麼一回事呢?

其實概念非常簡單:

也就是利用程式不斷地去嘗試所有密碼的組合

儘管密碼長度夠,只要時間充足還是會有被破解的一天

這次我要介紹的是john the ripper這套在unix上稱霸已久的密碼破解軟體

說破解好像有點違反道德規範,正確來說應該是稽核

原諒在下小弟我偷懶,拿上次報告簡報放個網址連結讓各位下載來看吧!!!

amon0626 發表在 痞客邦 留言(0) 人氣()

哀~每次要啟動第二個X桌面都會忘記要怎麼下參數...

amon0626 發表在 痞客邦 留言(0) 人氣()

ntop安裝筆記

                                                多啦A2008/12/03             amon0626@gmail.com

install distroubuntu8.04 server LTS

 

ntop介紹:

ntop是一套流傳已久知名的網路監測分析軟體,以下對它的概念進行簡單的介紹

amon0626 發表在 痞客邦 留言(0) 人氣()

 

 chpasswd安裝筆記

                                                多啦A2008/12/03             amon0626@gmail.com

        在過去有開放系統服務ex. proxy, http等的Linux平台上有做驗證管理的相信大家都有一個相同的困擾,就是沒有辦法讓使用者自由地修改密碼。每當需要換密碼時總是要請user帶著證明文件來找系統管理者很蠢地passwd username, 輸入完一次以後又再問你一次,就算人家user不煩總有一天身為管理者的你也會被user煩到往生那該怎麼做哩?...

amon0626 發表在 痞客邦 留言(0) 人氣()