个人博客

记录工作中的点点滴滴


  • 首页

  • 标签

  • 分类

  • 归档

  • 关于

  • 搜索

在pandas.DataFrame.to_sql时指定数据库表的列类型

发表于 2019-12-31 | 更新于: 2019-12-31 | 分类于 Python
| 字数统计: 845 字 | 阅读时长 ≈ 3 分钟

该文章转载自以下链接:https://www.jianshu.com/p/4c5e1ebe8470?utm_source=oschina-app

问题

在数据分析并存储到数据库时,Python的Pandas包提供了to_sql 方法使存储的过程更为便捷,但如果在使用to_sql方法前不在数据库建好相对应的表,to_sql则会默认为你创建一个新表,这时新表的列类型可能并不是你期望的。例如我们通过下段代码往数据库中插入一部分数据:

1
2
3
4
5
6
import pandas as pd
from datetime import datetime

df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]],
columns=['str', 'int', 'float', 'datetime', 'boolean'])
print(df.dtypes)

阅读全文 »

前端知识汇总

发表于 2019-12-31 | 更新于: 2019-12-31 | 分类于 HTML&CSS&JavaScript|JQuery
| 字数统计: 38.4k 字 | 阅读时长 ≈ 172 分钟

1. 前端开发概述

包括html、css、PC端及移动端布局技巧、javascript、jquery、js特效制作、ajax前后台交互等。

1.1 什么是前端开发?

前端开发也叫做web前端开发,它指的是基于web的互联网产品的页面(也可叫界面)开发及功能开发。

1.2 什么互联网产品?

互联网产品就是指网站为满足用户需求而创建的用于运营的功能及服务,百度搜索、淘宝、QQ、微博、网易邮箱等都是互联网产品。

1.3 互联网产品开发流程及前端开发岗位?

1.4 前端开发需要哪些技术?

前端工程师参照产品的效果图来开发页面(也可叫界面),效果图是由UI设计师用Photoshop(少量设计师用firework)来设计的,为了方便与UI设计师对接工作,前端需要掌握一些Photoshop的技能,Photoshop还可以辅助页面开发。把效果图布局成页面,需要用到HTML语言和CSS语言,页面功能的开发需要用到javascript,为了快速开发和系统开发,还需要学习一些前端的javascript库和框架。

阅读全文 »

使用nc传输超大文件

发表于 2019-12-31 | 更新于: 2019-12-31 | 分类于 Linux
| 字数统计: 3.7k 字 | 阅读时长 ≈ 15 分钟

说明

linux下的文件传输,大家首先会想到rsync、scp之类的工具,但这类工具有一个特点——慢,
因为这类工具都是加密传输,发送端加密,接收端解密,当我们传输一些非敏感文件的时候,完全可以不加密,直接在网络上传输。

安装

1. linux系统安装
# yum install -y nc | nmap-ncat
ps.ubuntu自带的nc是netcat-openbsd版,不带-c/-e参数。

2. windows系统安装
(1)下载
下载netcat。下载地址:https://eternallybored.org/misc/netcat/, 

(2)解压文件夹
(3)将文件夹所在路径添加到用户环境变量里
(4)打开命令界面:Windows+R  cmd。输入nc 命令即可
阅读全文 »

与房屋中介公司要押金的斗智斗勇

发表于 2019-12-31 | 更新于: 2019-12-31 | 分类于 生活
| 字数统计: 3.3k 字 | 阅读时长 ≈ 11 分钟

我是在2017年3月15号开始入住到福元路玉凤路战友苑小区南区的,签了一年的合同,当时还是纸质版的合同,这一年结交了几位朋友,其余没啥说的,直接略过。

进入到2018年,租房快到期了,我又续费一年,这一年就没有纸质合同了,而是电子合同,支付宝蘑菇租房的那种,在线查看合同租约,在线缴费等。合同上写明的有每次缴费的日期和金额。费用呢,房租还是跟上一年的一样,押一付三,物业费一次性交一年,还有水电燃气押金200元。

教训第一条:
物业费:不同的小区物业费不一样,我这个租的物业费TTMD的贵了,一年730元。后来我换地方租,也就是我现在租的这个,一年的物业费合计396元,相差334元。租房子的时候物业费这个一定要货比三家。

阅读全文 »

scrapy学习

发表于 2019-12-31 | 更新于: 2019-12-31 | 分类于 Python
| 字数统计: 5.8k 字 | 阅读时长 ≈ 23 分钟

scrapy是什么

Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指定网站的内容或图片。

scrapy架构图

绿线是数据流向

Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
阅读全文 »
1…202122…29
永夜初晗凝碧天

永夜初晗凝碧天

Linux,Python,MySQL,ELK Stack,K8S,Docker

141 日志
55 分类
60 标签
RSS
QQ E-Mail
友情链接
  • 博客园
  • 百度
近期文章
  • Elasticsearch IK 分词器
  • 为Elasticsearch启动https访问
  • FastAPI框架入门 基本使用, 模版渲染, form表单数据交互, 上传文件, 静态文件配置
  • Elasticsearch:使用_update_by_query更新文档
  • Solutions:安全的APM服务器访问
© 2019 — 2020 永夜初晗凝碧天
博客全站字数统计 : 412.1k 字 ||载入天数...载入时分秒...
本文总阅读量次 || 本站访客数人次 || 本站总访问量次