2017年10月2日月曜日

深層学習フレームワーク

TensorFlow

Googleが提供する数値計算を含む、深層学習ライブラリ。

GPUに対応

Python,C,C++

 

Caffe

深層学習プラットフォーム。CNNライブラリとして多く使われている。C++で実装。

GPUに対応

Python,MATLAB

 

Chainer

日本企業(Preferred Networks)が提供しているオープンソースの深層学習プラットフォーム。日本語により情報豊富。

Python

 

Theano

Pythonのライブラリとして提供されている深層学習プラットフォーム。

GPUに対応

Python

 

MXNet

深層学習ライブラリ。

Python,C,C++,R,JavaScript,Julia

 

Keras

TensorFlowまたはCNTK,Theano上で実行可能な高水準のニューラルネットワークライブラリ。ラッパー。

Python

 

2017年4月17日月曜日

Midori 落ちまくる

UbuntuをベースにしているBasixに軽量と言われているMidoriというブラウザをインストールしてみたが、落ちるページが多すぎて使い物にならない。

表示はできるがスクロールしていると落ちたり…開き直してスクロールするとまた落ちる。

dmesgコマンドで見てみると以下のようなエラーが出ていた。。

[28932.082070] midori[2843]: segfault at 0 ip b4339b60 sp bfb5a8d0 error 4 in libjavascriptcoregtk-1.0.so.0.16.19[b401c000+66b000]
[29131.568617] midori[5371]: segfault at 0 ip b4346b60 sp bf989f60 error 4 in libjavascriptcoregtk-1.0.so.0.16.19[b4029000+66b000]
[29234.024016] midori[5558]: segfault at 0 ip b43ecef0 sp bf9e3210 error 4 in libjavascriptcoregtk-1.0.so.0.16.19[b4097000+66b000]
[29346.114573] midori[5736]: segfault at 0 ip b4308b60 sp bfb6e350 error 4 in libjavascriptcoregtk-1.0.so.0.16.19[b3feb000+66b000]

libjavascriptcoregtkってことは、スクロールの動きをJavascriptを使って小細工している時に落ちてるのかな。

他のページで落ちる時にもJavascriptが絡んでたような気もする。

SourceForgeでダウンロードする時にも落ちまくってダウンロードできず。SourceForgeのダウンロードページもJavascriptを使って小細工しているねえ。

もうMidoriを使うのはやめよう。何か良いブラウザないかな?

2017年4月16日日曜日

How to enable ppapi-flash for iron

UbuntuをベースにしているBasix(Linux)上にインストールしたGoogleChromeブラウザからプライバシーとセキュリティの問題を取り除いたIronというブラウザで、PPAPI-Flashを動くようにする方法。

 

SRWare Iron Supportの下記ページに記述があった。

https://www.srware.net/forum/viewtopic.php?t=8295

 

Ubuntuの場合は、以下の通り。Ubuntuではないが、UbuntuをベースにしているBasix(Linux)なのでこれでいいはず。この記載の通りにやってみる。

sudo add-apt-repository "deb http://archive.canonical.com/ubuntu $(lsb_release -sc) partner" 
sudo apt-get update
sudo apt-get install adobe-flashplugin

 

インストールの記録は以下の通り。

$ sudo add-apt-repository "deb http://archive.canonical.com/ubuntu $(lsb_release -sc) partner" 


$ sudo apt-get update
ヒット:1 http://jp.archive.ubuntu.com/ubuntu xenial InRelease
取得:2 http://jp.archive.ubuntu.com/ubuntu xenial-updates InRelease [102 kB]   
取得:3 http://security.ubuntu.com/ubuntu xenial-security InRelease [102 kB]    
取得:4 http://archive.canonical.com/ubuntu xenial InRelease [11.5 kB]          
取得:5 http://jp.archive.ubuntu.com/ubuntu xenial-backports InRelease [102 kB] 
取得:6 http://jp.archive.ubuntu.com/ubuntu xenial-updates/main amd64 Packages [653 kB]
取得:7 http://archive.canonical.com/ubuntu xenial/partner amd64 Packages [3,120 B]
取得:8 http://archive.canonical.com/ubuntu xenial/partner i386 Packages [3,120 B]
取得:9 http://archive.canonical.com/ubuntu xenial/partner Translation-en [1,616 B]
取得:10 http://jp.archive.ubuntu.com/ubuntu xenial-updates/main i386 Packages [618 kB]
取得:11 http://jp.archive.ubuntu.com/ubuntu xenial-updates/main amd64 DEP-11 Metadata [307 kB]
取得:12 http://security.ubuntu.com/ubuntu xenial-security/main amd64 DEP-11 Metadata [60.2 kB]
取得:13 http://jp.archive.ubuntu.com/ubuntu xenial-updates/main DEP-11 64x64 Icons [222 kB]
取得:14 http://jp.archive.ubuntu.com/ubuntu xenial-updates/restricted amd64 Packages [8,064 B]
取得:15 http://jp.archive.ubuntu.com/ubuntu xenial-updates/restricted i386 Packages [8,084 B]
取得:16 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe amd64 Packages [544 kB]
取得:17 http://security.ubuntu.com/ubuntu xenial-security/main DEP-11 64x64 Icons [57.6 kB]
取得:18 http://security.ubuntu.com/ubuntu xenial-security/universe amd64 DEP-11 Metadata [51.4 kB]
取得:19 http://security.ubuntu.com/ubuntu xenial-security/universe DEP-11 64x64 Icons [72.1 kB]
取得:20 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe i386 Packages [517 kB]
取得:21 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe amd64 DEP-11 Metadata [174 kB]
取得:22 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe DEP-11 64x64 Icons [245 kB]
取得:23 http://jp.archive.ubuntu.com/ubuntu xenial-updates/multiverse amd64 Packages [16.2 kB]
取得:24 http://jp.archive.ubuntu.com/ubuntu xenial-updates/multiverse i386 Packages [15.3 kB]
取得:25 http://jp.archive.ubuntu.com/ubuntu xenial-updates/multiverse amd64 DEP-11 Metadata [5,888 B]
取得:26 http://jp.archive.ubuntu.com/ubuntu xenial-backports/main amd64 DEP-11 Metadata [3,328 B]
取得:27 http://jp.archive.ubuntu.com/ubuntu xenial-backports/universe amd64 DEP-11 Metadata [4,588 B]
3,908 kB を 6秒 で取得しました (636 kB/s)                                      
パッケージリストを読み込んでいます... 完了


$ sudo apt-get install adobe-flashplugin
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています                
状態情報を読み取っています... 完了
以下のパッケージが自動でインストールされましたが、もう必要とされていません:
  gir1.2-appindicator3-0.1 gir1.2-json-1.0 gir1.2-timezonemap-1.0
  gir1.2-xkl-1.0 gnome-settings-daemon-schemas gsettings-ubuntu-schemas
  libllvm3.8 libmircommon5 libsnapd-glib1 libtimezonemap-data libtimezonemap1
  libunity-settings-daemon1 nautilus-data python3-gi-cairo snapd
  snapd-login-service
これを削除するには 'sudo apt autoremove' を利用してください。
以下の追加パッケージがインストールされます:
  adobe-flash-properties-gtk
提案パッケージ:
  x-ttcidfont-conf msttcorefonts ttf-bitstream-vera | ttf-dejavu
  ttf-xfree86-nonfree xfs libnspr4-0d
以下のパッケージが新たにインストールされます:
  adobe-flash-properties-gtk adobe-flashplugin
アップグレード: 0 個、新規インストール: 2 個、削除: 0 個、保留: 6 個。
9,876 kB のアーカイブを取得する必要があります。
この操作後に追加で 36.1 MB のディスク容量が消費されます。
続行しますか? [Y/n] y
取得:1 http://archive.canonical.com/ubuntu xenial/partner amd64 adobe-flashplugin amd64 1:20171025.1-0ubuntu0.16.04.1 [9,734 kB]
取得:2 http://archive.canonical.com/ubuntu xenial/partner amd64 adobe-flash-properties-gtk amd64 1:20171025.1-0ubuntu0.16.04.1 [142 kB]
9,876 kB を 22秒 で取得しました (443 kB/s)                                     
以前に未選択のパッケージ adobe-flashplugin を選択しています。
(データベースを読み込んでいます ... 現在 160676 個のファイルとディレクトリがインストールされています。)
.../adobe-flashplugin_1%3a20171025.1-0ubuntu0.16.04.1_amd64.deb を展開する準備をしています ...
adobe-flashplugin (1:20171025.1-0ubuntu0.16.04.1) を展開しています...
以前に未選択のパッケージ adobe-flash-properties-gtk を選択しています。
.../adobe-flash-properties-gtk_1%3a20171025.1-0ubuntu0.16.04.1_amd64.deb を展開する準備をしています ...
adobe-flash-properties-gtk (1:20171025.1-0ubuntu0.16.04.1) を展開しています...
hicolor-icon-theme (0.15-0ubuntu1) のトリガを処理しています ...
desktop-file-utils (0.22-1ubuntu5.1) のトリガを処理しています ...
mime-support (3.59ubuntu1) のトリガを処理しています ...
adobe-flashplugin (1:20171025.1-0ubuntu0.16.04.1) を設定しています ...
update-alternatives: /usr/lib/mozilla/plugins/flashplugin-alternative.so (mozilla-flashplugin) を提供するために自動モードで /usr/lib/adobe-flashplugin/libflashplayer.so を使います
adobe-flash-properties-gtk (1:20171025.1-0ubuntu0.16.04.1) を設定しています ...

 

インストールが完了したので、Flashを使用しているWebサイトを表示してみる。動かない・・

ブラウザを再起動してから。Flashを使用しているWebサイトを表示してみる。動いた。

作業完了。

2017年4月10日月曜日

install Iron for Basix(Ubuntu)

UbuntuをベースにしているBasix上に、GoogleChromeブラウザからプライバシーとセキュリティの問題を取り除いたIronというブラウザをインストールした。

下記ページの

http://www.srware.net/software_srware_iron_download.php

「Linux-Nutzer klicken < hier >」をクリック。

下記のようにUbuntu用のdebパッケージの案内があったのでこれをダウンロードする。

Downloads für Debian-basierte Distributionen (Debian, Ubuntu, Mint etc.):
http://www.srware.net/downloads/iron.deb (32-Bit)
http://www.srware.net/downloads/iron64.deb (64-Bit)

 

wgetコマンドで64-Bit版debパッケージをダウンロード。

$ wget http://www.srware.net/downloads/iron64.deb
--2017-04-10 17:46:03--  http://www.srware.net/downloads/iron64.deb
www.srware.net (www.srware.net) をDNSに問いあわせています... 87.98.132.201
www.srware.net (www.srware.net)|87.98.132.201|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 64851160 (62M) [application/x-debian-package]
`iron64.deb' に保存中

iron64.deb          100%[===================>]  61.85M   661KB/s    in 2m 2s   

2017-04-10 17:48:06 (519 KB/s) - `iron64.deb' へ保存完了 [64851160/64851160]

 

ダウンロードしたdebパッケージをdpkgコマンドでインストール。

$ sudo dpkg -i iron64.deb
以前に未選択のパッケージ iron64 を選択しています。
(データベースを読み込んでいます ... 現在 160358 個のファイルとディレクトリがインストールされています。)
iron64.deb を展開する準備をしています ...
iron64 (61.0.3200-0) を展開しています...
iron64 (61.0.3200-0) を設定しています ...
desktop-file-utils (0.22-1ubuntu5.1) のトリガを処理しています ...
mime-support (3.59ubuntu1) のトリガを処理しています ...

インストールが完了したので、ランチャーから起動して動作確認。

問題なく動きました。作業完了。

2017年4月4日火曜日

Install Midori for Ubuntu

UbuntuをベースにしているBasixに軽量と言われているMidoriというブラウザをインストールしてみた。

Midoriのサイト(以下のURL)を開くと、「Dounload」があったのでクリック。「Dounload」のページに「Ubuntu」があったのでクリック。

http://midori-browser.org/

aptコマンドでppaからインストール可能なようだ。

install from PPA
By adding the repository ppa:midori/ppa, you will be kept up to date with the latest and greatest versions of Midori.

指示の通りに「apt-add-repository」してインストール。インストールのログは以下の通り。

$ sudo apt-add-repository ppa:midori/ppa 
 Midori Browser
    http://twotoasts.de/index.php/midori/

This PPA is signed. To add the GPG key to your apt keyring:
   sudo apt-key adv --recv-keys --keyserver keyserver.ubuntu.com A69241F1
Starting with Karmic, adding the PPA and its key is as simple as:
   sudo add-apt-repository ppa:midori

You may also want to use the WebKit-team PPA:
     https://launchpad.net/~webkit-team/+archive/ppa
You can find unstable Midori versions at
    https://launchpad.net/~midori/+archive/midori-dev
 詳しい情報: https://launchpad.net/~midori/+archive/ubuntu/ppa
[ENTER] を押すと続行します。ctrl-c で追加をキャンセルできます

gpg: 鍵リング「/tmp/tmpr8_ao5if/secring.gpg」ができました
gpg: 鍵リング「/tmp/tmpr8_ao5if/pubring.gpg」ができました
gpg: 鍵A69241F1をhkpからサーバkeyserver.ubuntu.comに要求
gpg: /tmp/tmpr8_ao5if/trustdb.gpg: 信用データベースができました
gpg: 鍵A69241F1: 公開鍵"Launchpad PPA for midori"をインポートしました
gpg: 究極的に信用する鍵が見つかりません
gpg: 処理数の合計: 1
gpg:               インポート: 1  (RSA: 1)
OK


$ sudo apt-get update
ヒット:1 http://jp.archive.ubuntu.com/ubuntu xenial InRelease
取得:2 http://jp.archive.ubuntu.com/ubuntu xenial-updates InRelease [102 kB]   
取得:3 http://jp.archive.ubuntu.com/ubuntu xenial-backports InRelease [102 kB] 
取得:4 http://security.ubuntu.com/ubuntu xenial-security InRelease [102 kB]    
無視:5 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial InRelease
取得:6 http://jp.archive.ubuntu.com/ubuntu xenial-updates/main i386 Packages [493 kB]
無視:7 http://ppa.launchpad.net/midori/ppa/ubuntu xenial InRelease             
無視:8 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial Release             
無視:9 http://ppa.launchpad.net/midori/ppa/ubuntu xenial Release               
無視:10 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 Packages 
取得:11 http://security.ubuntu.com/ubuntu xenial-security/main i386 Packages [228 kB]
取得:12 http://jp.archive.ubuntu.com/ubuntu xenial-updates/main Translation-en [202 kB]
無視:13 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main all Packages  
無視:14 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja_JP
取得:15 http://jp.archive.ubuntu.com/ubuntu xenial-updates/main i386 DEP-11 Metadata [289 kB]
無視:16 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja
無視:17 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-en
取得:18 http://jp.archive.ubuntu.com/ubuntu xenial-updates/main DEP-11 64x64 Icons [186 kB]
無視:19 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:20 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main DEP-11 64x64 Icons
取得:21 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe i386 Packages [437 kB]
無視:22 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 Packages   
無視:23 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main all Packages    
取得:24 http://security.ubuntu.com/ubuntu xenial-security/main Translation-en [100 kB]
無視:25 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja_JP
取得:26 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe Translation-en [172 kB]
無視:27 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja  
取得:28 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe i386 DEP-11 Metadata [160 kB]
無視:29 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-en  
取得:30 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe DEP-11 64x64 Icons [188 kB]
無視:31 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 DEP-11 Metadata
取得:32 http://jp.archive.ubuntu.com/ubuntu xenial-updates/multiverse i386 Packages [7,720 B]
取得:33 http://jp.archive.ubuntu.com/ubuntu xenial-updates/multiverse i386 DEP-11 Metadata [2,520 B]
取得:34 http://jp.archive.ubuntu.com/ubuntu xenial-backports/main i386 Packages [4,684 B]
取得:35 http://jp.archive.ubuntu.com/ubuntu xenial-backports/main Translation-en [3,216 B]
取得:36 http://jp.archive.ubuntu.com/ubuntu xenial-backports/main i386 DEP-11 Metadata [3,324 B]
無視:37 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main DEP-11 64x64 Icons
取得:38 http://security.ubuntu.com/ubuntu xenial-security/main i386 DEP-11 Metadata [54.6 kB]
無視:10 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 Packages 
無視:13 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main all Packages
取得:39 http://security.ubuntu.com/ubuntu xenial-security/main DEP-11 64x64 Icons [42.4 kB]
無視:14 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja_JP
無視:16 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja
取得:40 http://security.ubuntu.com/ubuntu xenial-security/universe i386 Packages [94.2 kB]
無視:17 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-en
取得:41 http://security.ubuntu.com/ubuntu xenial-security/universe Translation-en [54.7 kB]
無視:19 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:20 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main DEP-11 64x64 Icons
取得:42 http://security.ubuntu.com/ubuntu xenial-security/universe i386 DEP-11 Metadata [32.2 kB]
無視:22 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 Packages   
取得:43 http://security.ubuntu.com/ubuntu xenial-security/universe DEP-11 64x64 Icons [37.0 kB]
無視:23 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main all Packages    
無視:25 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja_JP
無視:27 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja  
無視:29 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-en  
無視:31 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:37 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main DEP-11 64x64 Icons
無視:10 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 Packages 
無視:13 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main all Packages  
無視:14 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja_JP
無視:16 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja
無視:17 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-en
無視:19 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:20 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main DEP-11 64x64 Icons
無視:22 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 Packages   
無視:23 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main all Packages    
無視:25 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja_JP
無視:27 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja  
無視:29 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-en  
無視:31 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:37 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main DEP-11 64x64 Icons
無視:10 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 Packages 
無視:13 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main all Packages  
無視:14 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja_JP
無視:16 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja
無視:17 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-en
無視:19 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:20 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main DEP-11 64x64 Icons
無視:22 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 Packages   
無視:23 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main all Packages    
無視:25 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja_JP
無視:27 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja  
無視:29 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-en  
無視:31 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:37 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main DEP-11 64x64 Icons
無視:10 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 Packages 
無視:13 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main all Packages  
無視:14 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja_JP
無視:16 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja
無視:17 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-en
無視:19 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:20 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main DEP-11 64x64 Icons
無視:22 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 Packages   
無視:23 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main all Packages    
無視:25 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja_JP
無視:27 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja  
無視:29 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-en  
無視:31 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:37 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main DEP-11 64x64 Icons
エラー:10 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 Packages
  404  Not Found
無視:13 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main all Packages  
無視:14 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja_JP
無視:16 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-ja
無視:17 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main Translation-en
無視:19 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:20 http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial/main DEP-11 64x64 Icons
エラー:22 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 Packages
  404  Not Found
無視:23 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main all Packages
無視:25 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja_JP
無視:27 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-ja
無視:29 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main Translation-en
無視:31 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main i386 DEP-11 Metadata
無視:37 http://ppa.launchpad.net/midori/ppa/ubuntu xenial/main DEP-11 64x64 Icons
3,098 kB を 20秒 で取得しました (153 kB/s)
パッケージリストを読み込んでいます... 完了
W: リポジトリ http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial Release には Release ファイルがありません。
N: このようなリポジトリから取得したデータは認証できないので、データの使用は潜在的に危険です。
N: リポジトリの作成とユーザ設定の詳細は、apt-secure(8) man ページを参照してください。
W: リポジトリ http://ppa.launchpad.net/midori/ppa/ubuntu xenial Release には Release ファイルがありません。
N: このようなリポジトリから取得したデータは認証できないので、データの使用は潜在的に危険です。
N: リポジトリの作成とユーザ設定の詳細は、apt-secure(8) man ページを参照してください。
E: http://ppa.launchpad.net/ikoinoba/ppa/ubuntu/dists/xenial/main/binary-i386/Packages の取得に失敗しました  404  Not Found
E: http://ppa.launchpad.net/midori/ppa/ubuntu/dists/xenial/main/binary-i386/Packages の取得に失敗しました  404  Not Found
E: いくつかのインデックスファイルのダウンロードに失敗しました。これらは無視されるか、古いものが代わりに使われます。
aicuryu@S:~$ sudo apt-get update -qq
W: リポジトリ http://ppa.launchpad.net/ikoinoba/ppa/ubuntu xenial Release には Release ファイルがありません。
W: リポジトリ http://ppa.launchpad.net/midori/ppa/ubuntu xenial Release には Release ファイルがありません。
E: http://ppa.launchpad.net/ikoinoba/ppa/ubuntu/dists/xenial/main/binary-i386/Packages の取得に失敗しました  404  Not Found
E: http://ppa.launchpad.net/midori/ppa/ubuntu/dists/xenial/main/binary-i386/Packages の取得に失敗しました  404  Not Found
E: いくつかのインデックスファイルのダウンロードに失敗しました。これらは無視されるか、古いものが代わりに使われます。


$ sudo apt-get install midori
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています                
状態情報を読み取っています... 完了
以下のパッケージが自動でインストールされましたが、もう必要とされていません:
  gir1.2-appindicator3-0.1 gir1.2-json-1.0 gir1.2-timezonemap-1.0
  gir1.2-xkl-1.0 libtimezonemap-data libtimezonemap1 python3-gi-cairo
これを削除するには 'sudo apt autoremove' を利用してください。
以下の追加パッケージがインストールされます:
  libdee-1.0-4 libjavascriptcoregtk-1.0-0 libwebkitgtk-1.0-0
  libwebkitgtk-1.0-common libzeitgeist-2.0-0 zeitgeist-core
提案パッケージ:
  zeitgeist-datahub
以下のパッケージが新たにインストールされます:
  libdee-1.0-4 libjavascriptcoregtk-1.0-0 libwebkitgtk-1.0-0
  libwebkitgtk-1.0-common libzeitgeist-2.0-0 midori zeitgeist-core
アップグレード: 0 個、新規インストール: 7 個、削除: 0 個、保留: 36 個。
11.4 MB のアーカイブを取得する必要があります。
この操作後に追加で 46.7 MB のディスク容量が消費されます。
続行しますか? [Y/n] y
取得:1 http://jp.archive.ubuntu.com/ubuntu xenial/main i386 libzeitgeist-2.0-0 i386 0.9.16-0ubuntu4 [124 kB]
取得:2 http://jp.archive.ubuntu.com/ubuntu xenial/main i386 libdee-1.0-4 i386 1.2.7+15.04.20150304-0ubuntu2 [79.6 kB]
取得:3 http://jp.archive.ubuntu.com/ubuntu xenial/main i386 zeitgeist-core i386 0.9.16-0ubuntu4 [135 kB]
取得:4 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe i386 libjavascriptcoregtk-1.0-0 i386 2.4.11-0ubuntu0.1 [1,898 kB]
取得:5 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe i386 libwebkitgtk-1.0-common all 2.4.11-0ubuntu0.1 [368 kB]
取得:6 http://jp.archive.ubuntu.com/ubuntu xenial-updates/universe i386 libwebkitgtk-1.0-0 i386 2.4.11-0ubuntu0.1 [7,680 kB]
取得:7 http://jp.archive.ubuntu.com/ubuntu xenial/universe i386 midori i386 0.5.11-ds1-2 [1,118 kB]
11.4 MB を 15秒 で取得しました (736 kB/s)                                      
以前に未選択のパッケージ libzeitgeist-2.0-0:i386 を選択しています。
(データベースを読み込んでいます ... 現在 167261 個のファイルとディレクトリがインストールされています。)
.../libzeitgeist-2.0-0_0.9.16-0ubuntu4_i386.deb を展開する準備をしています ...
libzeitgeist-2.0-0:i386 (0.9.16-0ubuntu4) を展開しています...
以前に未選択のパッケージ libdee-1.0-4:i386 を選択しています。
.../libdee-1.0-4_1.2.7+15.04.20150304-0ubuntu2_i386.deb を展開する準備をしています ...
libdee-1.0-4:i386 (1.2.7+15.04.20150304-0ubuntu2) を展開しています...
以前に未選択のパッケージ zeitgeist-core を選択しています。
.../zeitgeist-core_0.9.16-0ubuntu4_i386.deb を展開する準備をしています ...
zeitgeist-core (0.9.16-0ubuntu4) を展開しています...
以前に未選択のパッケージ libjavascriptcoregtk-1.0-0:i386 を選択しています。
.../libjavascriptcoregtk-1.0-0_2.4.11-0ubuntu0.1_i386.deb を展開する準備をしています ...
libjavascriptcoregtk-1.0-0:i386 (2.4.11-0ubuntu0.1) を展開しています...
以前に未選択のパッケージ libwebkitgtk-1.0-common を選択しています。
.../libwebkitgtk-1.0-common_2.4.11-0ubuntu0.1_all.deb を展開する準備をしています ...
libwebkitgtk-1.0-common (2.4.11-0ubuntu0.1) を展開しています...
以前に未選択のパッケージ libwebkitgtk-1.0-0:i386 を選択しています。
.../libwebkitgtk-1.0-0_2.4.11-0ubuntu0.1_i386.deb を展開する準備をしています ...
libwebkitgtk-1.0-0:i386 (2.4.11-0ubuntu0.1) を展開しています...
以前に未選択のパッケージ midori を選択しています。
.../midori_0.5.11-ds1-2_i386.deb を展開する準備をしています ...
midori (0.5.11-ds1-2) を展開しています...
libc-bin (2.23-0ubuntu7) のトリガを処理しています ...
man-db (2.7.5-1) のトリガを処理しています ...
hicolor-icon-theme (0.15-0ubuntu1) のトリガを処理しています ...
desktop-file-utils (0.22-1ubuntu5.1) のトリガを処理しています ...
mime-support (3.59ubuntu1) のトリガを処理しています ...
libzeitgeist-2.0-0:i386 (0.9.16-0ubuntu4) を設定しています ...
libdee-1.0-4:i386 (1.2.7+15.04.20150304-0ubuntu2) を設定しています ...
zeitgeist-core (0.9.16-0ubuntu4) を設定しています ...
libjavascriptcoregtk-1.0-0:i386 (2.4.11-0ubuntu0.1) を設定しています ...
libwebkitgtk-1.0-common (2.4.11-0ubuntu0.1) を設定しています ...
libwebkitgtk-1.0-0:i386 (2.4.11-0ubuntu0.1) を設定しています ...
midori (0.5.11-ds1-2) を設定しています ...
libc-bin (2.23-0ubuntu7) のトリガを処理しています ...

「インターネット」→「Midori」で起動してみる。動いた。動くのは当然か。

Bloggerのサイトを開く。・・・レイアウトが崩れまくりですよ。

メモリーの使用量はChromiumnの半分以下だし、表示も速そうなのだが、レイアウトが崩れるサイトは表示できないサイトもあるようだ。

Midoriを使いつつ、見れないサイトはChromiumnで開き直すか。面倒か。

と書いたが、レイアウトが崩れる原因判明。Midoriの設定のエクステンションの「広告ブロッカー」を有効にしたからのようだ。「広告ブロッカー」を無効にするとレイアウトが崩れずに表示される。しかし、広告表示を拒否するとまともに見れないサイトって・・・

2017年4月2日日曜日

Ubuntu(Linux)でのChromiumn多重起動

やりたい事は、Ubuntu(Linux)j上で複数のIDを使って同時にWebサイトにログイン。普通にブラウザを起動してもクッキーが共有されてしまい同時ログインできない。クッキーがID毎に別になるようにして同時ログインを実現するには、ブラウザの多重起動ができれば良い。

Windowsでは「X-Iron」(「SRWare Iron」をポータブル化したブラウザ)を使って実現していたが、「X-Iron」のUbuntu(Linux)版が用意されていない。Unix系OSでWindowsアプリケーションを動かすWineで「X-Iron」を動かそうとしたが、「X-Iron」は動かない。

ということでChromiumnを多重起動することにした。方法はChromiumnの起動オプションでデータディレクトリを指定すれば良いようだ。指定方法は以下の通り。

chromium-browser --user-data-dir=データディレクトリ

作業としては、Chromiumnの規定のデータディレクトリ「~/.config/chromium/Default」を適当な名前でコピーしこのディレクトリを「--user-data-dir」で指定する。データディレクトリを「「~/.config/chromium/abcd」」にコピーした場合は、以下のように指定してChromiumnを起動する。

chromium-browser --user-data-dir=~/.config/chromium/abcd

2017年3月28日火曜日

httpsに変わってWebスクレイピングエラー

phpで作成したWebスクレイピングのプログラムが動かなくなった。

htmlが何か変わったのかと思ってブラウザでHTMLを表示してみるが、変更点はないようだ。でも動かなくなった。何が悪いの?

phpで作成したWebスクレイピングのプログラムが動かなくなった。

Webスクレイピングのプログラムは以下のような感じでphpでcurlを使っている。

    $url = 'http://xxxx.xxxx.co.jp/xxxx/';
    $ch = curl_init();
    curl_setopt( $ch, CURLOPT_URL, $url );
    curl_setopt( $ch, CURLOPT_USERAGENT,
        'Mozilla/5.0 (Windows; U; Windows NT 5.1; rv:1.7.2)' );
    curl_setopt( $ch, CURLOPT_RETURNTRANSFER, true );
    $c = curl_exec( $ch )

とりあえず、curl_execの結果をprint文で表示してみる。

????どういうこと?何も表示されない。curl_execが失敗しているのか?

何がどうなってるのかわからないので、httpリクエストの応答がどうなっているのかtcpdumpコマンドで見てみる。以下のような感じ。

# tcpdump -i enp5s0 'src host xxxx.xxxx.co.jp and (((ip[2:2] - ((ip[0]&0xf)<<2)) - ((tcp[12]&0xf0)>>2)) != 0)' -A
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on enp5s0, link-type EN10MB (Ethernet), capture size 65535 bytes
21:41:18.770237 IP xxxx.xxxx.co.jp.http > localhost.localdomain.47766: Flags [P.], seq 638153757:638154510, ack 2066669371, win 32, options [nop,nop,TS val 3132218298 ecr 3703437694], length 753
E..%.d@.8.      ..O.{.....P..&  t.{..;...  ......
.......~HTTP/1.1 301 Moved Permanently
Date: Tue, 28 Mar 2017 12:38:17 GMT
P3P: policyref="http://xxxx.xxxx.co.jp/w3c/p3p_jp.xml", CP="CAO DSP COR CUR ADM DEV TAI PSA PSD IVAi IVDi CONi TELo OTPi OUR DELi SAMi OTRi UNRi PUBi IND PHY ONL UNI PUR FIN COM NAV INT DEM CNT STA POL HEA PRE GOV"
X-Content-Type-Options: nosniff
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Set-Cookie: B=5silu9pcdkm9p&b=3&s=1u; expires=Fri, 29-Mar-2019 12:38:17 GMT; path=/; domain=.xxxx.co.jp
Location: https://xxxx.xxxx.co.jp/xxxx/
Cache-Control: private
Content-Length: 0
Content-Type: text/html; charset=UTF-8
Age: 0
Connection: keep-alive
Via: http/1.1 edge2431.img.xxx.xxxx.co.jp (ApacheTrafficServer [c s f ])
Server: ATS

リダイレクトかよ。URL変わったのか。と思ったが変わってないぞ。どうなってんだ?と思って「Location: 」で返された文字列をコピーして、プログラム上にペーストして比較。

なんとhttpがhttpsになっていた。

ということで、Webスクレイピングのプログラムの取得するURLをhttpからhttpsに変更。

    $url = 'https://xxxx.xxxx.co.jp/xxxx/';
    $ch = curl_init();
    curl_setopt( $ch, CURLOPT_URL, $url );
    curl_setopt( $ch, CURLOPT_USERAGENT,
        'Mozilla/5.0 (Windows; U; Windows NT 5.1; rv:1.7.2)' );
    curl_setopt( $ch, CURLOPT_RETURNTRANSFER, true );
    $c = curl_exec( $ch )

動きましたよ。

動いたのは良いのだが、これでは通信内容が暗号化されているのでtcpdumpで応答を見ることができない。鬱陶しい世の中になってきたね。