Tag Archives: Linux

Intel 小型べアボーン NUC6i3SYK レビュー

今までべアボーンはZOTAC製のものばかり使ってきた。いずれもLinux用途でHaswellのCI520やAMDのAD11など。しかし、最近はデスクトップに拡張カードを使うシーンが増えてきて、小型べアボーンはお払い箱に。今回、改めて小型べアボーンを検討したのは、メインサーバ2台に加えてQUORUMを必要とするミドルウェアを使う際に、3台目のサーバとして使ってみたいから。ついでにメインサーバ上で行われているQSVによるエンコード処理を、小型べアボーン側に引き取るのもいいかなと。... 続きを読む

CentOS7 GPUマイニング Monacoin編

CentOS7にてZCashとEthereumのマイニングに成功したので、次はMonacoinに挑戦してみる。著名なアルトコインに比べれば時価総額は低めだが、2ちゃんねる文化に馴染みのある人なら少なからず興味を持つはず。時価総額が低いコインの方が成長過程と捉える見方もあるしね。それらはともかくとして、アルゴリズム的にgtx1080系との相性がいいので、それらのGPUを持っているなら一度は試してみておきたい。gtx1080と1070の価格差を埋めるような性能差がないと、1080を買った意味がなくなっちゃうからね。... 続きを読む

CentOS7 GPUマイニング QSV + GeForce 共存編 (録画サーバ兼用)

前回、初めてのマイニングリグを構築してみた。録画サーバで使うQSV機能に実績のあるZ170チップのマザーボードを選択したので、早速kickstartでCentOS7をインストールしてみる。kickstartの中で、自動でQSVパッチ済みのkernel4.4がインストールされる形になる。Z270チップのマザーボードだとkernel選択画面のあと、何の表示もないまま動作を停止してしまうという事態に陥った。こんな状態なので切り分けもほぼ出来ていないんだけど、他に思い当たるところもなく当たって砕けろ。... 続きを読む

CentOS7 GPUマイニング リグ構築編 (録画サーバ兼用)

前回、ethereum掘ってみてGeForceもGTX1080だけではダメだとわかった。プロセス回してるだけで儲かることも充分わかったので、GPUを一気に水平拡張してみる。標準的なマザーボードの場合、PCIeポートは多くても7個なので、GPU6台まで増やしてみる。残りの1個はチューナーボードに使うからねw そして現在使っている電源ユニットはCorsairのRM1000xなので、全てGTX1080で動かすほどの電源容量はない。既に稼働中のZotac GTX1080 2台と合わせても余裕が出るよう、残りはGTX1070にする。既存の検証機でも2GPUは動かせるのでGTX1070を6台調達する。... 続きを読む

CentOS7 GPUマイニング Ethereum編

前回、CentOSにてZCashのマイニングに成功した。ネット上にはわりとUbuntu系を中心とした情報が多かったので、とりあえずCentOSでの実績が出来て一安心。転がってるバイナリをダウンロードしてキックすればいいだけだったので手間でも何でもなかったし。この調子でディストリビューションの違いに苦労しないといいけど。次に試してみたかったのが、アルトコインの代表格であるethereum。ウォレットは開設済みのcoincheckがあるし、マイニングプールもZCashと同じnanopoolを使えばよいので、ZCashを試した後であれば敷居は低い。... 続きを読む

CentOS7 GPUマイニング ZCash編

GPUによるエンコードやコンテナ間共有など、調べてみたかったことが一通り片付いたので、そろそろ本題の1つであるマイニングを始めてみる。現時点でGPUマイニングするなら、ビットコインではなくアルトコインが対象となる。手持ちのZotac GTX 1080でどのコインを掘るかなんだけど、事前に読んだASCIIの記事だと、アルトコインの筆頭であるethereumは効率が芳しくない。それよりCUDA数が効率に影響するZCashの方がGTX 1080のスペックを生かすことが出来る。とりあえず最初はZCashを掘ってみよう。... 続きを読む

LXD による GPU 共有 CentOSコンテナ編

前回、Ubuntuホスト上でLXDで構築したコンテナとのGPU共有に成功した。今回はUbuntuホスト上にLXDでCentOSコンテナを作成し、そのコンテナとGPU共有を試みる。うまくいけばUbuntuホスト、Ubuntuコンテナ、CentOSコンテナの3者で自由にGPUを利用することができる。これがうまくいけばGPUを利用するソフトウェアをrpmパッケージだろうが、debパッケージだろうが利用可能ということになる。ソースからコンパイルすれば、どちらのディストリビューションでも使えるんだけど、構成管理を考えるとパッケージ使えた方が楽だからね。... 続きを読む

ASUS ROG STRIX Z270F GAMING レビュー

ファイルサーバ、録画サーバ、GPUサーバと全部入りのサーバを作ろうとした時に、最も悩んだのはマザーボードの選択だった。少なくともファイルサーバとしてSATAディスクを4台搭載したい。それとは別にOS領域のSSDとしてM.2スロットが少なくとも1つは欲しい。そしてGPUサーバとしてマイニング用のGPUが6台は乗るもの。これに加えて、録画サーバ用にPCIeのチューナーボードを刺せると尚嬉しい。最後にCPUは第6世代のSkylakeが使えるもの。LinuxのQSVドライバが、Skylakeまでしかサポートしていないため(これもはまった。。。)... 続きを読む

LXD による GPU 共有 Ubuntuコンテナ編

何がしたいかというとホストOSが持つGPUをコンテナと共有するということ。この任意のリソースを共有できるというのが、コンテナの素晴らしいところ。KVMだと排他的にリソースを管理してしまうため、同じGPUをUbuntuとCentOSで共有なんて事は出来ないのだが、コンテナであれば同じリソースをホストOSと複数のコンテナで共有できてしまう。現在のホストOSはUbuntuなんだけど、Ubuntuコンテナは言うまでもなく、おそらくCentOSコンテナとも共有できる可能性がある。コンテナの特徴を生かすべく両OSでのGPU共有を成功させたい。... 続きを読む

openldap サーバの nginx 連携

じわじわと適用範囲を広げてきたopenldapも今回のnginxで最後。もちろん、その他のツールでも使えるところは使っていきたいんだけどね。mariadbとかも最近はLDAP化できるのかな。ともあれ、webも場合は、ちょっとアクセス制御したいときによく使うBASIC認証にLDAPを使いたい。基本はIP制限等なので、あくまで例外的に穴を開けたいときにくらいにしか使わないけど。だからこそ、いちいちパスワード用意したりするのが面倒だから、いつも使っているアカウントの認証でログインできてしまいたい。... 続きを読む

録画サーバ構築 NVENCエンコード Ubuntu 16.04 編

ひっさびさのNVENC検証。ブログを見返すと、1年以上も前に調べて以来。以前はハードウェアエンコードくらいにしかGPUを使う用途がなかったので、エンコード品質がお粗末なことがわかった時点で処分してしまった。GTX750 tiでの検証だった。今回は機械学習やマイニングでも使ってみるつもりなので、GPUにかける予算は奮発するつもり。筐体の大きさもGPUのサイズにあわすので、その点における制約もない。他の用途での利用も考慮してGTX1080にする予定。中でも評判のよさそうなZotac GeForce GTX 1080 AMP Editionに決定した。... 続きを読む

録画サーバ構築 QSVエンコード Ubuntu 16.04 失敗編

構築中のホストはGPUサーバとして使う予定なんだけど、自宅用のサーバで専用ホストなんて立てる余裕はないから、今までCentOSが担ってきた録画サーバとしての機能も移植する予定。録画サーバで問題になるのがハードウェアエンコード。特にQSVエンコードの設定が一番厄介。GPUサーバなんで当然ビデオカードは刺すつもりだから、QSVエンコードでなくてNVENCを使うという手もある。はっきり言ってNVENCの方が設定そのものは楽だし、最新のIntel Media Server Studio 2017 R3でもGeneric Installの対象はubuntu 14.04のままだし。... 続きを読む

openldap サーバの samba 連携

現在、ローカルの認証とsshの認証をLDAPに切り替えた。続いて統合したい認証はsamba。統合しないと独自でパスワード用のDBを持つことになるため、他の認証と比してダブルマスター感が非常に強く、何としても統合しておきたい対象の1つ。一方で認証不能の障害時にsambaが悪いのか、ldapが悪いのか、切り分けがしづらいので、いざとなったら通常認証に戻して切り分け出来るようにしておくのがベター。sshだったら、ldap認証でないユーザーもいるだろうから切り分けしやすいんだけどね。... 続きを読む

ubuntu 16.04 LTS インストール

録画サーバ兼ファイルサーバとなっている自宅サーバに、さらにGPU機能を追加しようという計画。これを機に数年間使ってきた単純なLXC運用をLXD、もしくはopenstackに切り替えてみたいという願望もある。その場合、開発が先行しているubuntuをホストOSとする選択肢もありうる。何十年も使い続けてきたredhat系のCentOSに対してdebian系のubuntuは仕事でちょっと触ったことがある程度。それぞれ一長一短あるんだけど、よい機会なのでubuntuを触ってみる。... 続きを読む

Ubuntu 移行 & GPU サーバ化 検討

前々からGPUも使ってみたいというニーズがあり、今のサーバ構成の中でどのように実現するか悩んでいた。GPUの用途としては機械学習とマイニングを考えているので、出来れば高スペックなグラボを数枚用意したい。久々にNVENCの評価もできるし。現在は省スペースキューブPCのShuttle Sh170R8にM.2 SSDとSATA4本にチューナーボードまで刺しているので、タワー内は窮屈な状態。更にGPUを乗せるとなると1スロット幅のものに限られてしまう。元はと言えば、デスク脇に置くのを前提に小さい筐体を使ってきたが、今やウォークイン・クローゼット内の下部スペースに置いているので、そこまで小ささにこだわる必要もないか。... 続きを読む

openldap サーバの openssh 連携

前回、レプリケーションさせたopenldapサーバを2台のサーバで起動させた。マルチマスター構成なので、どちらかさえ生きていればよいという冗長化がなされた状態だ。あとはクライアント側の設定をすればldapによる認証を利用できるようになる。何はともあれ、sshくらいはldap認証に切り替えないと恩恵が薄いので、まずはlocalでのsu認証とssh認証をldapに切り替えてみる。ssh用の公開鍵情報を登録できるように以下のような設定を追加する。どちらかのldapサーバで実行する前提。... 続きを読む

CentOS 7.4 インストール

遂にCentOS 7.4がリリースされました。待ちに待ってたという訳でもないんだけど、チューナーやQSV関連のOS Specificな課題を解決して、いつでもOSを入れ替えられるようになった嬉しさと、ちょうどOS領域であるSSD128GBのsdaが8割を超えてしまい、256GBのSSDと換装しようとしていた時期でもあったので、この期に早速CentOS7.4をインストールしてみた。ただし、kernelについては現行のCentOS7.3でも使用しているkernel4.4を使い続けることになる。... 続きを読む

openldap サーバの冗長化 @ CentOS 7.3

以前から幾つかのコンポーネントで認証を統一したいなあという希望はあった。まっさきに思い浮かぶのは当然LDAPの導入なんだけど、若かりし頃にすべてのストレージエンジンをmysqlに任せたいなんて思う頃があって、openldap+mysql環境を作ってしまってどハマリした経験がある。それ以来、構造が複雑化しがちなLDAPの導入を避けてきたんだけど、最近は扱うミドルウェア数も増えてきて、認証の統一だけでなく、単純にノードを超えたアカウント管理が欲しくなってきた。... 続きを読む

GlusterFS snapshot 機能の検証

GlusterFSで管理しているファイル群は、撮影した写真や動画とチューナーによる録画ファイルが中心。録画ファイルはTSファイルとMP4ファイルを録画時に同時生成するので、見終わった録画のTSファイルは手動で削除するみたいな運用を何となく続けていた。しかし、遂にミスオペをしてしまい、誤ってTSファイルだけでなくMP4ファイルまで消してしまった。Linuxのターミナル上で作業していたので、ゴミ箱に移るということもなく、完全に消えてしまったのだ。... 続きを読む

録画サーバ構築 QSVエンコード CentOS7.3編

幾つかのハードウェアエンコードを試してきたんだけど、やはりIntelのQSVエンコードが比較にならないくらい美しい。VAAPIを使ってOSの自由度を上げることも考えたんだけど、品質を犠牲にするのは忍びない。最新のIntel Media Server StudioがCentOS7.2をGold OSとしているため、OSの選択が硬直化してしまうことがデメリット。一応、Generic Installという手順もあり、それを使えばOSの選択肢は自由になるはずなので、今回はこのGeneric Install手順を確立したい。... 続きを読む