風待ち

プログラミングの勉強や日々の出来事のログなど

scikit-learnのテキトーに作ったモデルを読み込んで、Flaskを使ってWebでもアクセスできるようにしてみる。

前に作ったモデルを読み込んで使う。 バッチ処理だけではなんなので、Webアプリに組み込んでみた。 import json from flask import Flask from flask import request from flask import abort import pandas as pd from sklearn.preprocessing import Standa…

scikit-learnのテキトーに作ったモデルを読み込んで使ってみる。

前に作ったモデルを読み込んで使ってみる。 まずは予測したい列を除いたCSVファイル(「target.csv」って名前にする)を用意する。 前に作った時には「target」カラムがあったけど、今回はそれを予測するためのデータなのでその行はない。 YYYY,MM,DD,DY 201…

テキトーなCSVファイルを用意してscikit-learnをテキトーに使ってみる

機械学習の本を読んでサンプルをいじっているだけでは、わかったつもりになるだけで実際に使えるようにはならないので、本当にテキトーなデータで機械学習してみる。 まず、テキトーなCSVデータ(「train.csv」って名前で保存)を用意する。下のは一部でこん…

PandasでシフトJISのCSVファイルを読み込む

Oracle SQL DeveloperでエクスポートしたCSVファイルがシフトJISだったので調べた。 エンコードを指定して読み込めばいいわけね。 import pandas as pd data = pd.read_csv("train.csv", encoding="SHIFT-JIS", sep=",")

vimを使いだして20年がすぎようとしている頃、emacsを使い始めた。そして、半年後、暗黒面に落ちた。

それを入れた時、最初は軽い気持ちだった。 けれど、 指は確かに覚えていた。 使い慣れた操作は、あのエディタに戻るべきかと思わせた。 しかし、冷静な心が言う。 emacsのエディタ部分以外は、vimよりもいいじゃないか。 今ではもう、ほとんど、emacsから外…

【emacs自分メモ】emacsで括弧を入力したら閉じ括弧も入力してくれる。コーテーションを入力したら閉じる方も入力してくれる設定

なぜ、半年使ってきて、この設定をしていないかったのか? なぜ、なんの疑問もなく、毎回、キーを叩いていたのか? vimの時には真っ先に設定してたのに。 init.el (electric-pair-mode 1)

【emacs自分メモ】emacsで文字をコピーした時に、OSのクリップボードにも入れる

クリップボードの履歴を残せるようなツールを使っていると、emacsと共有できた方が便利なので。 init.el (setq x-select-enable-clipboard t)

【emacs自分メモ】emacsのpackage-installでなんかわかんないけど、Not foundっていわれた時

パッケージの情報が古いんだよ。きっと。 M-x package-refresh-contents

emacsの*scratch*バッファでテンプレートエンジンのmustache.elを使って雑にSQLを作ってみる。

mustache.elを見つけたので使ってみる。 Emacs Lisp自体ほとんどわかっていないので勉強もかねてやってみた。 *scratch*バッファだから、順番に”C-j”して実行して行けば、テンプレートの{{key}}で書かれたところを埋めたSQLが手に入る。 利用したライブラ…

ちょっとだけ違う似たようなバッチをたくさん作らないといけなくなったので、Node.jsでHandlebars.jsを使えばいいやと思ったけど、どうやらPythonでもpybars3ってのでHandlebarsが使えるみたいなので、そっちでやってみる。

大量に似たようなバッチを作らないといけなくなり、Node.jsでやるかっと思ったら、目の前のPCには入ってない。 WinPythonは入っていて、WinPythonにはpybars3もインストール済みなようなので、日本語の情報がないことに不安を感じつつも使ってみることにした…

Windows7の32bitにWinPythonを入れてJupyter Notebookを使ってみようと思うも「ImportError: DLL load failed: 指定されたモジュールが見つかりません。」と出て起動してくれない時に解決した方法

Windowsでお手軽にPythonを始めるためにWinPythonをインストールした。 インストーラーはGithubからWinPython-32bit-3.5.4.1Qt5.exをダウンロードしてくる。 インストール先はわかりやすいように「C:\WinPython」にした。 その後、インストールしたフォルダ…

Oracleの簡単なSQLを実行するBashのシェルスクリプトを今年になってからいろんなところで書くので自分用のテンプレート

ちょっとした確認用のSQLを実行するのにSQL Developerを立ち上げるのが重いというのもあり、よく実行するものはシェルスクリプトにしている。 今年に入ってから、いろいろな場所で同じようなSQLばかり書いているので、面倒だと感じ始めたからシェルスプリク…

emacsでVB6のコードを見る。そのままでも見れるけど、やっぱり白黒ではあじけないのでvisual-basic-mode.elを入れてみる。

EmacsWikiからvisual-basic-mode.elをダウンロードする。 ダウンロードしたらどこでもいいけど「~/.emacs.d/elisp/visual-basic-mode.el」なんかに置く。 おもむろにinit.elに追記する。 (add-to-list 'load-path "~/.emacs.d/elisp") ;ファイルを置いたとこ…

PL/SQLでSELECT INTOをした時にORA-01422が出る場合には、一度、引数とか変数の名前をカラム名と同じにしていないか確認しよう。

ORA-01422がでるのは、PL/SQLで変数にどこかのテーブルの値を検索してセットする時なんかに、戻ってくる値が一意にならないからエラーになる。 例えば下記のようにするとエラーになる。 CREATE OR REPLACE PROCEDURE SAMPLE ( USER_ID IN NUMBER ) AS V_USER…

WindowsのCMDを使ってCOPYコマンドでファイルを連結する

file1とfile2を連結してfile3を作る CMD> COPY file1 + file2 file3 ただし、出来上がったfile3の最後に空白行が入る。 なので、例えば、CSVなんかを連結して、SQLLoderに食べさせる時にこれを使うと最後の行がエラーになるので注意が必要。 空白行を入れた…

ちょっとした計算をコマンドライン上でやりたい時のPowerShellとBashでのやり方の違いメモ

電卓を開くのが面倒な時に覚えておくと便利かも PowerShellはそのまま PS> 100 - 50 50 Bashは算術式展開?で書かないといけないみたい $ echo $((100 - 50)) 50 これだけ見るとPowerShellよりもBashの方が面倒か ちなみに変数に入れるのは PowerShell PS> $…

vimの:sort uをemacsではどうしたらいいか調べたのでメモ。

20年近く使ってきたvimからemacsに乗り換えようとしている。 けれど、ついつい使い慣れたvimを使ってしまう。 特に、急いでいる時はemacsで開いていても、vimで開き直してしまう事もある。 これは単に慣れの問題だと思うので少しづつでもemacsを使っていこう…

年末の大掃除のついでにシステムの監視用にログを取っているSQLiteのファイルも大きくなっていたので、こっちも掃除するかといらなくなったログデータを削除してもファイルサイズが小さくならなかったのでvacuumして小さくした。

複数のシステムを運用していると、バッチなんかで出力されるログが溜まっていく。 定期的に削除されるようにしているし、個別のファイルに吐かれているものだから検索も面倒なので使い勝手が悪い。 なので、そのログのファイル名と内容をけっこう雑にSQLite…

Raspberry Piにカメラをつけて、コマンドで撮影するのは問題なく上手く行ったけど、ピント合わせが面倒だったのでライブカメラにして合わせようと思ったらMotion-mmalが動かず、motionEyeを入れることでなんとか使えるようになった。

TechShareのRaspberry Pi用カメラモジュール(Standard,Adjustable Focus)というものを購入。 Amazonですすめられるままに買った。動作報告のレビューもあるし問題ないだろう。 届くと、説明書なんかはなくてURLが書かれているだけ。まぁ安いものだし。 Camer…

Raspberry Pi3でどうやってもWifiにつながらなかったので、network-managerに変更したらあっさりつながった。

ずっと有線で作業していて、いよいよWifiを使うとして、調べながらwpa_supplicant.confを書いても上手くいかず。 GUIで操作してSSIDをクリックするとパスワードを求められるが、それにパスワードを入力しても一切反応がない。 (最初はraspbian_liteを落とし…

Raspberry Piを買ったけど、ネットワークが細すぎてraspbianをブラウザでを落とそうとしてもエラーになったのでwgetで落とした。

FireFoxで落とそうとしたけど、13時間かかると出る。使ってるネットワークが細いことは知ってたけど、ここまでとは思わなかった。 そして、放置していたらいつの間にかエラーになって止まっていた。 再開しても、最初からやり直しになるので結局、2時間もた…

Visual Studio Codeで英数字と日本語で別のフォントを利用する Windows7

Visual Studio Codeを英数字は「Consolas」、日本語は「メイリオ」で使いたい。 VS Codeを起動して、ユーザー設定を開き下記を追記すると思ったように表示されるようになった。 "editor.fontFamily": "Consolas,メイリオ", 先に指定したフォントが優先で使わ…

emacsにdesertテーマを追加する。

vimのdesertテーマに出会ってから、他のエディタや開発環境を使う時でも、テーマの設定ができるものなら、desertテーマを追加している。 人気のあるカラーテーマではないとは思うけど、自分には長い時間見ていても疲れないし、一番しっくりくる色合いで、好…

emacsでHelmを使っていても、ファイルを開く時にはDiredを使いたい場合にinit.elに書く事

Helmは全部を同じように扱えるから便利。 だけど、たくさんのファイルを順番に編集する必要がある時には、Diredを開きっぱなしで作業した方が効率がいいと思う。 ウィンドウを分割して、片方でDiredを開いておいて、もう片方でファイルを表示させ、切り替え…

Windows7でemacsを起動した時に最前面にならない

git for windowsからemacsを起動した時にまれに、後ろに隠れてアクティブウィンドウにならず、いちいち切り替えるのが面倒なので調べてみた。 レジストリの HKEY_CURRENT_USER/Control Panel/Desktop/ForegroundLockTimeout を「200000」->「0」にして再起動…

npmのcacheフォルダの場所 Windows7

npm

npm installした時にエラーになって、どこにキャッシュされているのか気になったので調べてみた。 公式ドキュメント cache Default: ~/.npm on Posix, or %AppData%/npm-cache on Windows. The root cache folder. CMDを開いて場所を確認。 CMD> echo %AppDa…

Bootstrapのnavbarの中でプログレスバーを表示するには。

navbarの中にそのままprogress-barのタグを入れても表示されなかったのでメモ。 progressの一つ上のdivでwidthを100%にしてあげると表示される。 <nav class="navbar navbar-light bg-light"> <div style="width: 100%"> <div class="progress"> </div></div></nav>

PowerShellで複数ファイルを一括でgrepしていたのをBashでやるにはどうしたらいいのかわからなかったので調べたメモ。

複数ファイルのgrepはIDEを使った開発ならそこで検索すればいい。 けど、単にエディタで書いているだけの小さなバッチやSQLなんかは、やたらファイルの数だけはあって、変更箇所がどの程度影響するのかを調べるのは割と面倒。 そんな時、複数ファイルを一括…

PowerShellでファイルの行数を数えていたのをBashでやるにはどうしたらいいのかわからなかったので調べたメモ。

Git for Windowsを使うようになったので、PowerShellだったらこうだけど、Bashだとどうやるのかわからない事がある。都度、PowerShellを起動するのも面倒なので調べた。 仕事で開発している時に、たまにソースの行数を聞かれる。 行数で難易度や進捗がわかる…